公司产品开发中需要挖掘哪些数据

1. 产品数据分析的内容有哪些

1、计划

比如公司的采购计划、订货计划、上市计划、营销计划、活动计划、清货计划等等。计划的要点是计划的合理性，绝不是大门一关苦思冥想出来的。比如说订货计划，我们需要考虑1-2年的同期数据，结合现在最新的市场信息来规划。对不同的品类、价位、深宽度进行规划。

2、反馈

公司的计划出来了需要在不同的节点收集数据进行匹配，是否符合计划预期。比如说原先的营销计划在时间A点的库存率要求是50%。现在的数据是55%。比计划高了，这样的比较主要是进行预警用。避免发现的太晚。还有一类反馈是与计划无关的。是常态的商品营销信息反馈。

3、总结

每一季的结束或者一个月的结束商品需要做个总结。其实现在很多反映商品数据没发挥作用的人来说他们做了太多的统计总结，但总结的结论却不能够用来做计划。就行公司是不是的去做数据反馈，但是不能起到预警的作用。

2. 干货 零售行业的数据挖掘七步走

干货：零售行业的数据挖掘七步走

文 | @ETwise
对于沃尔玛、华润万家、百佳等零售大超市而言，每天都有很多客户通过会员卡进行购买，不断积累了很多销售数据，如何利用这些数据，从数据中挖掘金矿，很值得每个商家去思考。尽管目前零售商有不少的IT系统去支撑企业常规的分析（如销售量、销售额、热销SKU等），但实际上还是未能从数据角度深入挖掘客户的价值，仅仅从经营分析的角度来满足了常规分析工作。
本文从个人的角度去谈一下如何使用数据挖掘帮助零售商提升生意，让数据真正地去指导企业经营，最大限度地发挥数据提供商业决策的作用。
第一、开展会员制能够帮助企业采集更多会员数据，更有利于开展数据挖掘的工作，同时也有利于培养客户忠诚度。
第一、开展会员制能够帮助企业采集更多会员数据，更有利于开展数据挖掘的工作，同时也有利于培养客户忠诚度。
在实施会员制的时候，必须要特别注意两个关键信息的采集：会员卡ID、客户联系号码或者邮箱，因为这两个关键信息对信息采集及后期的精准营销有很大的帮助作用。而微信、微博等社交媒体的横行，若零售商能够通过相关活动让客户关注企业的微信、微博，对培养客户忠诚度也是有很大的帮助。
会员制有助于为企业培养众多忠实的顾客，建立起一个长期稳定的市场，提高企业的竞争力。通过会员制，可以有效稳定老客户，同时开发新顾客。因为零售商给会员提供的是优惠的价格，对新顾客吸引力很大，同时大部分会员卡是可以外借的，也给新客户提供了机会，大大增加其成为会员的可能性。
会员制营销能够促进企业与顾客双向交流。顾客成为会员后，通常能定期收到商家有关新商品的信息并了解商品信息和商家动态，有针对性地选购商品。除此之外，企业能够及时了解消费者需求的变化，以及他们对产品、服务等方面的意见，为改进企业的营销模式提供了依据。
输入标题
第二、开展零售商的数据挖掘项目，必须要重点提供以下几个表的关键信息：
销售表：卡号、销售店ID、销售日期、产品名称、产品价格、销售数量、销售金额、折扣等信息。
产品表：产品ID、产品名称、建议零售价、实际销售价、一级类别、二级类别、三级类别、四级类别、品牌等信息。
客户表：卡号、发卡店ID、城市、号码、邮箱、企业或个人标识、企业名称、所在行业、地址等。
零售店表：店ID、店名、所属城市、店等级等。
其中销售表、产品表、客户表比较重要，而产品表梳理对数据分析及数据挖掘团队而言，是做好项目的关键，必须要耗费大量的时间。
输入标题
第三、与零售商明确数据挖掘目的，能够让分析团队与零售商之间获得更大的信任，同时有利于项目的顺利开展。
成熟的分析团队，比较关注零售商的商业出发点，从客户商业价值出发，抓住客户关注点，一点一点地做好相应的落地分析工作。
客户最常见想让数据帮助其解答的几大问题：
如何让活跃的客户购买更多的产品，最大程度地释放其价值？
如何唤醒沉默客户，让其转化为活跃客户？
哪些客户是我的重点客户群？其有什么样的特征？
哪些重点客户流失了？为什么流失？后期怎样开展挽留手段？
……
输入标题
第四、通过数据开展客户细分，明确各个群体的特征。
对于零售数据而言，必须要深入零售行业两大客户群：企业及个人。企业客户的特征和个人客户的特征有很大的区别。
企业特征主要表现：采购量比较大，经常进行团购或批发，销售量和销售额都比较大，为零售商的重点客户群。尽管数量不多，但是却贡献了零售商的60%以上的销售额。而企业的行为经常有：超大型采购、中型采购、一般采购。对企业数据挖掘，需要深入了解企业的所属行业、采购额度、采购规律、采购产品偏好、是否流失、流失的原因调查等信息，有助于帮助零售商开展相应的营销策略。
对于个人，则需要关注哪些是活跃客户、哪些是新增客户、哪些是沉默客户、客户价值是怎样的、哪些节日是重点高峰期、偏好的产品是哪些等等，这些有助于零售商开展销售、备货等工作。
第五、结合5W1H分析法开展零售分析与挖掘。
What：销售情况怎么样？有多少用户？来了多少次？每次消费多少钱？买了什么东西…….
Where：哪些门店销售最好？为什么呢？（交通、地区等）…….
When：哪个月份销售得最好？哪个节日是销售高峰期…….
Who：是哪些客户？有什么样的特征？偏好买哪些产品？产品规格是怎么样的…….
Why：为什么买哪些产品？为什么买那么多？会不会继续购买…….
How：怎样提高客户重购？怎样唤醒客户？怎么进行交叉销售？怎样帮助铺货……
第六、协助零售商开展营销活动设计、营销活动执行、营销评估与优化。
因为数据挖掘是一个闭环的流程，不是撰写挖掘报告、输出营销客户名单就是项目成功的，必须协助零售商开展相应的营销设计、营销活动执行、营销评估及优化工作。从而确保数据挖掘有效落地，为客户真实产生商业价值，扩大生意规模。
营销活动设计常有：优惠打折、派发试用装、赠送礼品、多倍积分等，可以通过不同的细分客户群有针对性地开展不同的营销活动，并计算不同群体及不同活动的投入产出比，便于后期不断优化数据挖掘规则。
第七、关键成果固化IT系统，实现数据挖掘成果固化落地。
对于零售商而言，数据挖掘是个不大不小的投入，对于关键的成果输出，总希望能够把成果规则进行IT固化，实现自动代替手工操作，这个时候经常需要搭建一个成果固化模块或系统，让数据挖掘能够最大限度帮助企业。

3. 数据挖掘的入门概念

数据挖掘的入门概念
1 数据挖掘
数据挖掘(Data Mining，简称DM)，是指从大量的数据中，挖掘出未知的且有价值的信息和知识的过程。
2 机器学习 与 数据挖掘
与数据挖掘类似的有一个术语叫做”机器学习“，这两个术语在本质上的区别不大，如果在书店分别购买两本讲数据挖掘和机器学习的书籍，书中大部分内容都是互相重复的。具体来说，小的区别如下：
机器学习：更侧重于技术方面和各种算法，一般提到机器学习就会想到语音识别，图像视频识别，机器翻译，无人驾驶等等各种其他的模式识别，甚至于谷歌大脑等AI，这些东西的一个共同点就是极其复杂的算法，所以说机器学习的核心就是各种精妙的算法。
数据挖掘：更偏向于“数据”而非算法，而且包括了很多数据的前期处理，用爬虫爬取数据，然后做数据的清洗，数据的整合，数据有效性检测，数据可视化(画图)等等，最后才是用一些统计的或者机器学习的算法来抽取某些有用的“知识”。前期数据处理的工作比较多。
所以，数据挖掘的范畴要更广泛一些。
3 数据挖掘所覆盖的学科
数据挖掘是一门交叉学科，覆盖了统计学、计算机程序设计、数学与算法、数据库、机器学习、市场营销、数据可视化等领域的理论和实践成果
4 数据挖掘的误区
误区一：算法至上论。认为数据挖据是某些对大量数据操作的算法，这些算法能够自动地发现新的知识。
误区二：技术至上论。认为数据挖据必须需要非常高深的分析技能，需要精通高深的数据挖掘算法，需要熟练程序开发设计。
这两种认知都有一定的偏颇。实际上，数据挖掘本质上是人们处理商业问题的方法，通过适量的数据挖掘来获得有价值的结果，技术在随着大数据时代的来临变得愈发重要，但是最好的数据挖掘工程师往往是那些熟悉和理解业务的人。
5 数据挖掘能解决什么问题
商业上的问题多种多样，例如：
“如何能降低用户流失率?”
“某个用户是否会响应本次营销活动?“
"如何细分现有目标市场?"
“如何制定交叉销售策略以提升销售额?”
“如何预测未来销量?”
从数据挖掘的角度看，都可以转换为五类问题：
分类问题
聚类问题
回归问题
关联分析
推荐系统
5.1 分类问题
简单来说，就是根据已经分好类的一推数据，分析每一类的潜在特征建立分类模型。对于新数据，可以输出新出具属于每一类的概率。
比如主流邮箱都具备的垃圾邮件识别功能：一开始，正常邮件和垃圾邮件都是混合在一起的，如果我们手工去点击哪些是垃圾邮件，逐渐的，垃圾邮件就会自动被识别放到垃圾文件夹。如果我们对于混在正常邮件中的垃圾持续进行判断，系统的识别率就会越来越高。我们人工点击判断，相当于预先分类(两类：垃圾邮件和非垃圾邮件)，系统就会自己学习两类邮件的特征建立模式，对于新邮件，会根据模式判断属于每个类别的可能性。

分类算法示意
5.2 聚类问题
和分类算法是不同概念，但是工作中业务人员经常误用。 聚类的的目的也是把数据分类，但类别并不是预先定义的，算法根据“物以类聚”的原则，判断各条数据之间的相似性，相似的就归为一类。
比如我有十万消费者的信息数据，比如包括性别，年龄，收入，消费等，通过聚类的方法事可以把这些数据分成不同的群，理论上每群用户内都是相似性较高的，就可以覆盖分群用户制定不同的策略

聚类算法示意
5.3 回归问题
回归问题和分类问题有点类似，但是回归问题中的因变量是一个数值，而分类问题，最终输出的因变量是一个类别。简单理解，就是定义一个因变量，在定义若干自变量，找到一个数学公式，描述自变量和因变量之间的关系。
比如，我们要研究房价(Y)，然后收集房子距离市中心的距离(X1)，面积(X2)，收集足够多的房子的数据，就可以建立一个房价和距离、面积的方程式(例如Y=aX1+bX2)，这样给出一个新的距离和面积数据，就可以预测这个房子的价格。

回归问题示意
5.4 关联分析
关联分析主要就是指”购物篮分析“，很有名气案例是【啤酒与尿布】的故事，”据说“这是一个真实的案例：沃尔玛在分析销售记录时，发现啤酒和尿布经常一起被购买，于是他们调整了货架，把两者放在一起，结果真的提升了啤酒的销量。后来还分析背后的原因，说是因为爸爸在给宝宝买尿布的时候，会顺便给自己买点啤酒……
所以，关联分析就是基于数据识别产品之间潜在的关联，识别有可能频繁发生的模式。
5.5 推荐系统
利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。也就是平时我们在浏览电商网站、视频网站、新闻App中的"猜你喜欢"、“其他人也购买了XXX”等类似的功能。
5.6 数据挖掘的工作流程
数据挖掘的通用流程叫做CRISP-DM(Cross Instry Standard Process-Data Mining)数据挖掘方法论。

CRISP-DM
6.1 商业理解
商业理解阶段主要完成对商业问题的界定，以及对企业内外部资源进行评估与组织，最终确定将企业的商业目标转化为数据挖掘目标，并制定项目的方案
6.2 数据理解
了解企业目前数据现状，提出数据需求，并尽可能多的收集数据。通过初步的数据探索，快速了解数据的质量
6.3 数据准备
在建立数据挖掘模型之前对数据做最后的准备工作，主要是把收集到的各部分数据关联起来，形成一张最终数据宽表。这个阶段其实是耗时最长的阶段，一般会占据整个数据挖掘项目的70%左右的时间，包括数据导入、数据抽取、数据清洗、数据合并、新变量计算等工作。
6.4 模型构建
模型构建是数据挖掘工作的核心阶段。主要包括准备模型的训练集和验证集，选择并使用适当的建模技术和算法，模型建立，模型效果对比等工作
6.5 模型评估
模型评估主要从两个方面进行评价：
1)技术层面：
- 设计对照组进行比较。
- 根据常用的模型评估指标进行评价，如命中率、覆盖率、提升度等
2)业务经验：业务专家凭借业务经验对数据挖掘结果进行评估
6.6 模型部署
将数据挖掘成果程序化，将模型写成存储过程固化到IT平台上，并持续观察模型衰退变化，在发生模型衰退时，引入新的变量进行模型优化。

4. 如何自动挖掘其中的数据呢

QUEST是IBM公司Almaden研究中心开发的一个多任务数据挖掘系统，目的是为新一代决策支持系统的应用开发提供高效的数据开采基本构件。系统具有如下特点：提供了专门在大型数据库上进行各种开采的功能：关联规则发现、序列模式发现、时间序列聚类、决策树分类、递增式主动开采等。各种开采算法具有近似线性（O(n)）计算复杂度，可适用于任意大小的数据库。算法具有找全性，即能将所有满足指定类型的模式全部寻找出来。为各种发现功能设计了相应的并行算法。.MineSetMineSet是由SGI公司和美国Standford大学联合开发的多任务数据挖掘系统。MineSet集成多种数据挖掘算法和可视化工具，帮助用户直观地、实时地发掘、理解大量数据背后的知识。MineSet有如下特点：MineSet以先进的可视化显示方法闻名于世。提供多种 萃诰蚰J健0 ǚ掷嗥鳌⒒毓槟J健⒐亓 嬖颉⒕劾喙椤⑴卸狭兄匾 取?br> 支持多种关系数据库。可以直接从Oracle、Informix、Sybase的表读取数据，也可以通过SQL命令执行查询。多种数据转换功能。在进行挖掘前，MineSet可以去除不必要的数据项，统计、集合、分组数据，转换数据类型，构造表达式由已有数据项生成新的数据项，对数据采样等。操作简单、支持国际字符、可以直接发布到Web。DBMinerDBMiner是加拿大SimonFraser大学开发的一个多任务数据挖掘系统，它的前身是DBLearn。该系统设计的目的是把关系数据库和数据开采集成在一起，以面向属性的多级概念为基础发现各种知识。DBMiner系统具有如下特色：能完成多种知识的发现：泛化规则、特性规则、关联规则、分类规则、演化知识、偏离知识等。综合了多种数据开采技术：面向属性的归纳、统计分析、逐级深化发现多级规则、元规则引导发现等方法。提出了一种交互式的类SQL语言——数据开采查询语言DMQL。能与关系数据库平滑集成。实现了基于客户/服务器体系结构的Unix和PC（Windows/NT）版本的系统。

5. 产品经理要掌握那些数据知识

在我看来，作为产品经理，必须要知道的是数据和产品之间的关系问题，这也是我认为产品经理需要知道的数据知识。

我的团队里经常有技术人员和我抱怨说，某某产品经理又过来要数据了，今天已经是第三回了。

我问要什么数据了？

他会告诉我说，某某群体用户的数据，不同群体要的类似数据要了3回了……

我一听就知道，这又是一个很让人无奈的产品经理，没有概念，不愿意整理思路，又只把技术当技术使唤的人。

从这些方面出发，你才能构思，你到底需要了解哪些数据知识。

1、用户的数据信息

2、收益的数据信息

3、用户和收益之间的关系

4、产品发布前后的收益变化

5、产品发布前后的用户变化

6、产品的稳定性情况

……

都是需要你去挖掘和理解的。

所以，简单的将上面的话总结一下就是，产品经理必须知道：数据是什么？来源是什么？指标是什么？上级想要什么？如何展示出来。