A. 产品经理必会的10种数据分析方法
产品经理必会的10种数据分析方法
随着人口和流量红利的下降,互联网行业必然会朝着精益化运营的方向发展。数据分析在很多互联网人的工作中越发显得重要,而对于产品经理来说,更是如此。
本文将为产品经理介绍数据分析的基本思路,并基于此,衍生出 2 个常见方法和 7 个应用手段,希望在数据分析的实际应用中能给大家带来帮助。
一、数据分析的基本思路数据分析应该以业务场景为起始思考点,以业务决策作为终点。
基本思路为 5 步,首先要挖掘业务含义、制定分析计划、从分析计划中拆分出需要的数据、再根据数据分析的手段提炼业务洞察,最终产出商业决策。
接下来我们用一个案例来具体说明这 5 步思路:某国内 P2P 借贷类网站,市场部在网络和 hao123 上都有持续的广告投放,吸引网页端流量;最近内部同事建议尝试投放 Google 的 SEM;另外,也需要评估是否加入金山网络联盟进行深度广告投放。在这种多渠道的投放场景下,产品经理该如何进行深度决策?1. 挖掘业务含义
首先要了解市场部想优化什么,并以此为核心的 KPI 去衡量。渠道效果的评估,最重要的是业务转化:对 P2P 类网站来说,是否‘发起借贷’远远比‘用户数量’重要。
所以无论是 Google 还是金山渠道,都要根据用户群体的不同,优化相应用户的落地页,提升转化。
2. 制定分析计划
以‘发起借贷’为核心转化点,分配一定的预算进行流量测试,观察对比注册数量及 ROI 效果,可以持续观察这部分用户的后续价值。
3. 拆分查询数据
根据各个渠道追踪流量、落地页停留时间、落地页跳出率、网站访问深度以及订单类型数据,进行用户分群。
4.提炼业务洞察
在不同渠道进行投放时,要根据 KPI 的变化,推测业务含义。比如谷歌渠道的效果不好,可能因为谷歌大部分的流量在海外,可能会造成转化率低。而金山网络联盟有很多展示位置,要持续监测不同位置的效果,做出最后判断。
5.产出商业决策
最后根据数据洞察,指导渠道的投放决策制。比如停止谷歌渠道的投放,继续跟进金山网络联盟进行评估,而落地页要根据数据指标持续地进行优化。
二、常见的数据分析方法(一)内外因素分解法内外因素分解法是把问题拆成四部分,包括内部因素、外部因素、可控和不可控,然后再一步步解决每一个问题。
社交招聘类网站,一般分为求职者端和企业端,向企业端收费方式之一是购买职位的广告位。业务端人员发现‘发布职位’数量在过去的 6 个月里有缓慢下降的趋势。
对于这类某一数据下降的问题,从产品经理的角度来说,可以如何拆解?
根据内外因素分解法分析如下:
1.内部可控因素
产品近期上线更新、市场投放渠道变化、产品粘性、新老用户留存问题、核心目标的转化;
2.外部可控因素
市场竞争对手近期行为、用户使用习惯的变化、招聘需求随时间的变化;
3.内部不可控因素
产品策略(移动端/PC端)、公司整体战略、公司客户群定位(比如只做医疗行业招聘);
4.外部不可控因素
互联网招聘行业趋势、整体经济形势、季节性变化;
(二)DOSSDOSS 是从一个具体问题拆分到整体影响,从单一的解决方案找到一个规模化解决方案的方式。
某在线教育平台,提供免费课程视频,同时售卖付费会员,为付费会员提供更多高阶课程内容。如果我想将一套计算机技术的付费课程,推送给一群持续在看 C++ 免费课程的用户,产品经理应该如何辅助分析?按 DOSS 的思路分解如下:
1.具体问题
预测是否有可能帮助某一群组客户购买课程。
2.整体
首先根据这类人群的免费课程的使用情况进行数据分析,之后进行延伸,比如对整体的影响,除了计算机类,对其他类型的课程都进行关注。
3.单一回答
针对该群用户进行建模,监控该模型对于最终转化的影响。
4.规模化
之后推出规模化的解决方案,对符合某种行为轨迹和特征的行为进行建模,将课程推荐模型加入到产品设计中。
三、数据分析的应用手段根据基本分析思路,常见的有 7 种数据分析的手段。(一)画像分群画像分群是聚合符合某中特定行为的用户,进行特定的优化和分析。
比如在考虑注册转化率的时候,需要区分移动端和 Web 端,以及美国用户和中国用户等不同场景。这样可以在渠道策略和运营策略上,有针对性地进行优化。(二)趋势维度
建立趋势图表可以迅速了解市场, 用户或产品特征的基本表现,便于进行迅速迭代;还可以把指标根据不同维度进行切分,定位优化点,有助于决策的实时性;(三)漏斗洞察通过漏斗分析可以从先到后的顺序还原某一用户的路径,分析每一个转化节点的转化数据;
所有互联网产品、数据分析都离不开漏斗,无论是注册转化漏斗,还是电商下单的漏斗,需要关注的有两点。第一是关注哪一步流失最多,第二是关注流失的人都有哪些行为。
关注注册流程的每一个步骤,可以有效定位高损耗节点。
(四)行为轨迹
行为轨迹是进行全量用户行为的还原。只看 PV、UV 这类数据,无法全面理解用户如何使用你的产品。了解用户的行为轨迹,有助于运营团队关注具体的用户体验,发现具体问题,根据用户使用习惯设计产品,投放内容;(五)留存分析留存是了解行为或行为组与回访之间的关联,留存老用户的成本要远远低于获取新用户,所以分析中的留存是非常重要的指标之一;
除了需要关注整体用户的留存情况之外,市场团队可以关注各个渠道获取用户的留存度,或各类内容吸引来的注册用户回访率,产品团队关注每一个新功能对于用户的回访的影响等。(六)A/B 测试A/B 测试是对比不同产品设计/算法对结果的影响。
产品在上线过程中经常会使用 A/B 测试来测试产品效果,市场可以通过 A/B 测试来完成不同创意的测试。
要进行 A/B 测试有两个必备因素:
1.有足够的时间进行测试;
2.数据量和数据密度较高;
因为当产品流量不够大的时候,做 A/B 测试得到统计结果是很难的。而像 LinkedIn 这样体量的公司,每天可以同时进行上千个 A/B 测试。所以 A/B 测试往往公司数据规模较大时使用会更加精准,更快得到统计的结果。
(七)优化建模当一个商业目标与多种行为、画像等信息有关联性时,我们通常会使用数据挖掘的手段进行建模,预测该商业结果的产生;
例如:作为一家 SaaS 企业,当我们需要预测判断客户的付费意愿时,可以通过用户的行为数据,公司信息,用户画像等数据建立付费温度模型。用更科学的方式进行一些组合和权重,得知用户满足哪些行为之后,付费的可能性会更高。
以上这几种数据分析的方法论,仅仅掌握单纯的理论是不行的。产品经理们需要将这些方法论应用到日常的数据分析工作中,融会贯通。同时学会使用优秀的数据分析工具,可以事半功倍,更好的利用数据,实现整体增长。
B. 如何进行大数据分析及处理
1.可视化分析
大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计 学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。
另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如 果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。
3. 预测性分析
大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战,我们需要一套工具系统的去分析,提炼数据。
语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。
大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面,当然更加深入大数据分析的话,还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
大数据的技术
数据采集: ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
数据存取: 关系数据库、NOSQL、SQL等。
基础架构: 云存储、分布式文件存储等。
数据处理: 自然语言处理(NLP,Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。
处理自然语言的关键是要让计算机”理解”自然语言,所以自然语言处理又叫做自然语言理解也称为计算语言学。
一方面它是语言信息处理的一个分支,另一方面它是人工智能的核心课题之一。
统计分析: 假设检验、显着性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。
数据挖掘: 分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像,视频,音频等)
模型预测 :预测模型、机器学习、建模仿真。
结果呈现: 云计算、标签云、关系图等。
大数据的处理
1. 大数据处理之一:采集
大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的 数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。
比如,电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除 此之外,Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中,其主要特点和挑战是并发数高,因为同时有可能会有成千上万的用户 来进行访问和操作,比如火车票售票网站和淘宝,它们并发的访问量在峰值时达到上百万,所以需要在采集端部署大量数据库才能支撑。
并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。
2. 大数据处理之二:导入/预处理
虽然采集端本身会有很多数据库,但是如果要对这些海量数据进行有效的分析,还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。
也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。
3. 大数据处理之三:统计/分析
统计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于 MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。
4. 大数据处理之四:挖掘
与前面统计和分析过程不同的是,数据挖掘一般没有什么预先设定好的主题,主要是在现有数 据上面进行基于各种算法的计算,从而起到预测(Predict)的效果,从而实现一些高级别数据分析的需求。
比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。
该过程的特点和挑战主要是用于挖掘的算法很复杂,并 且计算涉及的数据量和计算量都很大,常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤,才能算得上是一个比较完整的大数据处理。
C. 如何正确进行数据分析
大数据分析处理解决方案
方案阐述
每天,中国网民通过人和人的互动,人和平台的互动,平台与平台的互动,实时生产海量数据。这些数据汇聚在一起,就能够获取到网民当下的情绪、行为、关注点和兴趣点、归属地、移动路径、社会关系链等一系列有价值的信息。
数亿网民实时留下的痕迹,可以真实反映当下的世界。微观层面,我们可以看到个体们在想什么,在干什么,及时发现舆情的弱信号。宏观层面,我们可以看到当下的中国正在发生什么,将要发生什么,以及为什么?借此可以观察舆情的整体态势,洞若观火。
原本分散、孤立的信息通过分析、挖掘具有了关联性,激发了智慧感知,感知用户真实的态度和需求,辅助政府在智慧城市,企业在品牌传播、产品口碑、营销分析等方面的工作。
所谓未雨绸缪,防患于未然,最好的舆情应对处置莫过于让舆情事件不发生。除了及时发现问题,大数据还可以帮我们预测未来。具体到舆情服务,舆情工作人员除了对舆情个案进行数据采集、数据分析之外,还可以通过大数据不断增强关联舆情信息的分析和预测,把服务的重点从单纯的收集有效数据向对舆情的深入研判拓展,通过对同类型舆情事件历史数据,及影响舆情演进变化的其他因素进行大数据分析,提炼出相关舆情的规律和特点。
大数据时代的舆情管理不再局限于危机解决,而是梳理出危机可能产生的各种条件和因素,以及从负面信息转化成舆情事件的关键节点和衡量指标,增强我们对同类型舆情事件的认知和理解,帮助我们更加精准的预测未来。
用大数据引领创新管理。无论是政府的公共事务管理还是企业的管理决策都要用数据说话。政府部门在出台社会规范和政策时,采用大数据进行分析,可以避免个人意志带来的主观性、片面性和局限性,可以减少因缺少数据支撑而带来的偏差,降低决策风险。通过大数据挖掘和分析技术,可以有针对性地解决社会治理难题;针对不同社会细分人群,提供精细化的服务和管理。政府和企业应建立数据库资源的共享和开放利用机制,打破部门间的“信息孤岛”,加强互动反馈。通过搭建关联领域的数据库、舆情基础数据库等,充分整合外部互联网数据和用户自身的业务数据,通过数据的融合,进行多维数据的关联分析,进而完善决策流程,使数据驱动的社会决策与科学治理常态化,这是大数据时代舆情管理在服务上的延伸。
解决关键
如何能够快速的找到所需信息,采集是大数据价值挖掘最重要的一环,其后的集成、分析、管理都构建于采集的基础,多瑞科舆情数据分析站的采集子系统和分析子系统可以归类热点话题列表、发贴数量、评论数量、作者个数、敏感话题列表自动摘要、自动关键词抽取、各类别趋势图表;在新闻类报表识别分析归类:标题、出处、发布时间、内容、点击次数、评论人、评论内容、评论数量等;在论坛类报表识别分析归类:帖子的标题、发言人、发布时间、内容、回帖内容、回帖数量等。
解决方案
多瑞科舆情数据分析站系统拥有自建独立的大数据中心,服务器集中采集对新闻、论坛、微博等多种类型互联网数据进行7*24小时不间断实时采集,具备上千亿数据量的数据索引、挖掘分析和存储能力,支撑政府、企业、媒体、金融、公安等多行业用户的舆情分析云服务。因此多瑞科舆情数据分析站系统在这方面有着天然优势,也是解决信息数量和信息(有价值的)获取效率之间矛盾的唯一途径,系统利用各种数据挖掘技术将产生人工无法替代的效果,为市场调研工作节省巨大的人力经费开支。
D. 详细数据分析步骤(一)-数据获取
数据分析师如今风靡全网,那么什么是数据分析呢?此合集将会顷蚂对数据分析的框架做一个细致解析并推荐相关文章以便入门学习。
一、数据获取
现如今大数据时代已经到来,企业需要数据来分析用户行为、雀大埋自己产品的不足之处以及竞争对手的信息等,而这一切的首要条件就是数据的采集。常用的数据获取手段有数据仓库和操作日志,监测与爬取(即爬虫),填写、埋点和计算
1、数据仓库和操作日志
数据仓库(Data Warehouse,DW)长期储存在计算机内,有组织、可共享的数据集合,是为决策支持系统提供基础数据的分析型数据库。
数据仓库有几个定义特征,即 :
推荐阅读:一、数据仓库 - 架构艺术 - 博客园
日志和数据仓库具有相同的作用,但相比之下日志的记录比数据仓库精简,且在出现故障时更容易定位问题。
2.监测与爬取
爬虫是指: 通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程。
根据使用场景,网络爬虫可分为通用爬虫和聚焦爬虫两种。
通用爬虫是捜索引擎抓取系统(Bai、Google等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 简单来讲就是尽可能的;把互联网上的所有的网页下载下来,放到本地服务器里形成备分,再对这些网页做相关处理(提取关键字、去掉广告),最后提供一个用户检索接口。
聚焦爬虫,是"面向特定主题需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。
推荐阅读:爬虫(爬虫原理与数据抓取) - lclc - 博客园
爬虫 - Z-J-H - 博客园
3.填写、埋点
这两个都是对用户行为进行记录。
填写是指用户在注册时填写信息或者对相关问卷进行填写。 通过问卷调查、抽样调查获取的数据是有限的,并且有时也不能够保证真实性。
埋点主要指 APP或网页埋点,跟踪app或网页被使用情况,以便优化。通常记录访客、页仿喊面查看、跳出率等等页面统计和操作行为)。直接记录用户与网络产品的交互过程,几乎可以复现,从而 获得用户的行为模式,购买记录、搜索习惯等。这些数据都是用户自己产生的,可以保证数据的真实性。
推荐阅读:6大步骤:快速学会如何进行数据埋点
4.计算
很多数据无法直接获取,需要通过已有数据计算得到。例如企业的投入产出比。
最后,需要强调的是进行数据分析的数据必须真实、准确且具有时效性。数据获取后使用个人信息要遵守以下5大原则:
(1)合法、公开原则。
(2)目的限制原则。
(3)最小数据原则。
(4)数据安全原则。
(5)限期存储原则。
下一篇文章将会对数据分析中的数据预处理做一个简单梳理
E. 如何对百万级的数据进行数据分析
1.可视化分析
大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统
计
学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如
果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。
3. 预测性分析
大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战,我们需要一套工具系统的去分析,提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面,当然更加深入大数据分析的话,还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
大数据的技术
数据采集: ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
数据存取: 关系数据库、NOSQL、SQL等。
基础架构: 云存储、分布式文件存储等。
数
据处理: 自然语言处理(NLP,Natural Language
Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言,所以自然语言处理又叫做自然语言理
解也称为计算语言学。一方面它是语言信息处理的一个分支,另一方面它是人工智能的核心课题之一。
统计分析:
假设检验、显着性检验、差异分析、相关分析、T检验、 方差分析 、
卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、
因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。
数
据挖掘: 分类
(Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity
grouping or association rules)、聚类(Clustering)、描述和可视化、Description and
Visualization)、复杂数据类型挖掘(Text, Web ,图形图像,视频,音频等)
模型预测 :预测模型、机器学习、建模仿真。
结果呈现: 云计算、标签云、关系图等。
大数据的处理
1. 大数据处理之一:采集
大
数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的
数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。比如,电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除
此之外,Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中,其主要特点和挑战是并发数高,因为同时
有可能会有成千上万的用户
来进行访问和操作,比如火车票售票网站和淘宝,它们并发的访问量在峰值时达到上百万,所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间
进行负载均衡和分片的确是需要深入的思考和设计。
2. 大数据处理之二:导入/预处理
虽然采集端本身会有很多数据库,但是如果要对这些
海量数据进行有效的分析,还是应该将这
些来自前端的数据导入到一个集中的大型分布式数据库,或者分布式存储集群,并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使
用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大,每秒钟的导入量经常会达到百兆,甚至千兆级别。
3. 大数据处理之三:统计/分析
统
计与分析主要利用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通
的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于
MySQL的列式存储Infobright等,而一些批处理,或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。
4. 大数据处理之四:挖掘
与
前面统计和分析过程不同的是,数据挖掘一般没有什么预先设定好的主题,主要是在现有数
据上面进行基于各种算法的计算,从而起到预测(Predict)的效果,从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于
统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂,并
且计算涉及的数据量和计算量都很大,常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤,才能算得上是一个比较完整的大数据处理。