数据产品如何打造

Ⅰ 产品运营中的数据分析该怎么做

产品运营中的数据分析该怎么做

移动互联网产品发展过程是一个证伪的过程，根据设想的用户需求开发产品或服务，只有在市场中才能验证最初的假设是否成立，进而不断的优化和调整，而这一切要依赖于统计分析产生的量化数据。

统计分析的发展也随移动应用的发展走向个性化和精细化，个性化可以满足不同垂直领域的特定需求，更具适用性。而精细化则是加强了分析的深度和细度，能够更微观的看到问题。同时在社交网络大规模发展的今天，社会化的统计变得尤为重要。

移动应用统计分析到底能为开发者解决什么问题呢？首先是让开发者知道宏观数据，然后是细致的App功能分析，更重要的是精准定位用户和了解其需求。让开发者不仅要知道产品运营的基本状况和使用状况，更要了解到用户到底是谁，发现用户深入的需求，进而提供个性化的服务。

移动开发者们常问：“统计分析平台,可以帮助我们实现什么?”这是很难一言以蔽之的问题，以使用友盟统计分析平台的经验，在此分享三个最重要的功能和益处：

1.1 快速打造数据运营的框架

其实每一个公司都应该有一个基于自己的数据运大迅悔营的系统，来帮助相关部门随时查看产品或者业务的进展.由于部门和公司的角色不同，对数据的需求既有区别又有共通。比如一个做移动应用的公司，所有人都会关注新用户的增长，有多少用户是活跃用户等，这些都是跟产品的发展息息相关。借助统计分析平台，开发者可以快速建立一个清晰的基础数据展示。比如新增用户，活跃用户，设备，地域，联网方式等。

1.2 用数据推动产品迭代和市场推广

基础的数据运营框架对公司产品的整体发展状况会有一个很好的展现，但是我们应该关注更加细节的部分。比如谁在用我们的产品？他们是否喜欢？他们是如何使用的？市场推广带来的用户是否充分的使用了我们的产品？哪些渠道带来的用户质量更高…….我们都应该用数据来回答这些问题。产品设计人员可以有针对性的对产品使用情况进行统计分析，了解用户对不同功能的使用，行为特征和使用反馈。这样可以为产品的改进提供很好的方向。昌饥市场推广人员也不应该仅仅关注“什么渠道带来了多少用户”，更应该关注的是哪一个渠道带来的用户质量更高一些，ROI更理想。

1.3 产品盈利推手

产品盈利是创业者的最终目的。无论一款产品是否已经探讨出一个成熟的商业模式，我们都应该借助数据让产品的盈利有一个更好进程。在产品货币化的路上，数据可以帮助创业者完成两件事：一，发现产品盈利的关键路径；二，优化现有的盈利模式。

移动应用统计分析平台能够为开发者提供数据帮助了解用户的使用行为，并根据用户行为优化产品，可以概括为如下几方面：

首先可以让开发者了解到应用的基本数据，如新增用户、活跃用户、启动次数、留存用户等，对用户的规模和质量有一个清晰的认识；

其次是一些详细的用户使用数据，如使用时长、使用频率、使用间隔、页面访问等，帮助开发者了解用户的使用习惯，深入认识用户群体；

再次可以通过自定义事件收集自定义信息，如推广信息点击情况、查看的商品类别、付款行为触发等，来收集开发者所关心的用户行为；

然后还可以获得用户的终端信息，如设备、运营商、联网方式等，对用户的终端有所了解，在适配及排查问题方面为开发者节约成本；

最后通过对各个渠道的数据分析，把控不同渠道的用户质量，为渠道推广提供参考依据。

移动应用运营可以重点关注如下指标：

3.1 新增用户、活跃用户、启动次数

这些指标是KPI的主要评估标准；关注这些指标的每日趋势，您可以了解到应用每天发展是否正常、是否符合预期。

3.2 留存用户、留存率

留存用户和留存率是评定一个应用用户质量的重要标准，用户留存率越高，说明应用越吸引用户。开发者在查看留存率时，可以关注留存率在一段时间内的变化趋势，并可以通过对比不同应用版本、不同分发渠道的用户留存率来评估版本和渠道质量或定位应用某些指标值下降的原因。

3.3 自定义事件、漏斗模型、页面访问路径

自定义事件是开发者为了达到收集某些数据的目的而设定的，比如推广链接的点击、去购物车结算的行为等，通过统计这些自定义行为的数据，获得更有针对性的信息。

漏斗模型是多个自定义事件按照一定顺序依次触发的流程中的量化转化模型。我们可以通过漏斗对应用中的一些关键路径进行分析，如注册流程、购滚正物流程等，把控应用中的关键行为信息。

页面访问路径展示了用户是按照什么顺序访问了哪些页面，各页面的使用状况如何及页面之间是如何跳转的，能够帮助开发者了解各页面之间的跳转是否合理，主要流程是否容易被用户触发等。

以美丽说为例，美丽说客户端用户的主要使用路径是：打开客户端→ 浏览最热最新→ 查看点击单品→点击去淘宝。利用友盟统计平台的漏斗模型发现，用户在点击查看单品，及点击去淘宝这两步转化率不理想。经过分析发现，美丽说 App 中点击去往淘宝的按钮上的文字是“去购买”，这样的文字让用户压力大，于是尝试将文字改成“查看详情”，暗示用户点击后有更多有利于购买决策的信息，且不一定要购买。修改上线后，点击去淘宝的通过率提升了50%，从10%上升到15%。

3.4 其他指标

在日常运营中，开发者关注以上指标就能获得大部分所需要的信息。但其实还有很多其他指标如使用时长、使用频率、终端属性、地域等，能帮助您获得更多用户使用行为的数据，为您升级版本时的终端适配提供依据、推广时针对不同用户群体的推送提供数据支持等。

以上是小编为大家分享的关于产品运营中的数据分析该怎么做的相关内容，更多信息可以关注环球青藤分享更多干货

Ⅱ 数据产品的定义和种类

我以前也看到过不少讨论数据产品的文章，说实话，总感觉每个人对数据产品的理解都不一样，也没有很统一的一个概念定义。所以，在这里，我也只是想简单地说一说，我眼中的数据产品是怎么样的。

按照我的理解，我主要把数据产品分为三类，报表型数据产品、服务型数据产品和智能型数据产品。下面我来进行一一说明。首先，报表型数据产品，主要是指静态报表、即席查询等，这种数据产品相对来说比较浅显，作用并不是很大。其次，服务型数据产品，服务型数据产品又被称为定制型服务数据产品，大多是基于用户更深层次的需求来为用户特别制定的。最后是智能型数据产品，智能型数据产品顾名思义产品中会更有智能性，当然，作用会更好些。

Ⅲ 大数据怎么实现的

搭建大数据分析平台的工作是循序渐进的，不同公司要根据自身所处阶段选择合适的平台形态，没有必要过分追求平台的分析深度和服务属性，关键是能解决当下的问题。大数据分析平台是对大数据时代的数据分析产品（或称作模块）的泛称，诸如业务报表、OLAP应用、BI工具等都属于大数据分析平台的范畴。与用户行为分析平台相比，其分析维度更集中在核心业务数据，特别是对于一些非纯线上业务的领域，例如线上电商、线下零售、物流、金融等行业。而用户行为分析平台会更集中分析与用户及用户行为相关的数据。企业目前实现大数据分析平台的方法主要有三种：（1）采购第三方相关数据产品例如Tableau、Growing IO、神策、中琛魔方等。此类产品能帮助企业迅速搭建数据分析环境，不少第三方厂商还会提供专业的技术支持团队。但选择此方法，在统计数据的广度、深度和准确性上可能都有所局限。例如某些主打无埋点技术的产品，只能统计到页面上的一些通用数据。随着企业数据化运营程度的加深，这类产品可能会力不从心。该方案适合缺少研发资源、数据运营初中期的企业。一般一些创业公司、小微企业可能会选择此方案。（2）利用开源产品搭建大数据分析平台对于有一定开发能力的团队，可以采用该方式快速且低成本地搭建起可用的大数据分析平台。该方案的关键是对开源产品的选择，选择正确的框架，在后续的扩展过程中会逐步体现出优势。而如果需要根据业务做一些自定义的开发，最后还是绕不过对源码的修改。（3）完全自建大数据分析平台对于中大型公司，在具备足够研发实力的情况下，通常还是会自己开发相关的数据产品。自建平台的优势是不言而喻的，企业可以完全根据自身业务需要定制开发，能够对业务需求进行最大化的满足。对于平台型业务，开发此类产品也可以进行对外的商业化，为平台上的B端客户服务。例如淘宝官方推出的生意参谋就是这样一款成熟的商用数据分析产品，且与淘宝业务和平台优势有非常强的结合。在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本的功能，来决定平台搭建过程中使用的大数据处理工具和框架。

Ⅳ 如何打造优秀的大数据团队

如何打造优秀的大数据团队
对于企业来说,要建设自己的大数据平台,需要的不只是技术解决方案,更重要的是组建一支优秀的数据团队。那么,数据团队有哪些成员组成?他们的工作方式是什么?采用怎样的组织架构来开展工作?
1. 数据团队成员这里只讨论数据团队中核心成员的角色和他们的工作职责。1)基础平台团队主要负责搭建稳定、可靠的大数据存储和计算平台。核心成员包括:数据开发工程师负责Hadoop、Spark、Hbase和Storm等系统的搭建、调优、维护和升级等工作,保证平台的稳定。数据平台架构师负责大数据底层平台整体架构设计、技术路线规划等工作,确保系统能支持业务不断发展过程中对数据存储和计算的高要求。运维工程师负责大数据平台的日常运维工作2)数据平台团队主要负责数据的清洗、加工、分类和管理等工作,构建企业的数据中心,为上层数据应用提供可靠的数据。数据开发工程师负责数据清洗、加工、分类等开发工作,并能响应数据分析师对数据提取的需求。数据挖掘工程师负责从数据中挖掘出有价值的数据,把这些数据录入到数据中心,为各类应用提供高质量、有深度的数据。数据仓库架构师负责数据仓库整体架构设计和数据业务规划工作。3)数据分析团队主要负责为改善产品体验设计和商业决策提供数据支持。业务分析师主要负责深入业务线,制定业务指标,反馈业务问题,为业务发展提供决策支持。建模分析师主要负责数据建模,基于业务规律和数据探索构建数据模型,提升数据利用效率和价值。2. 数据团队的工作方式数据团队的工作可以分成两大部分,一部分是建设数据存储和计算平台,另一部分是基于数据平台提供数据产品和数据服务。平台的建设者包括三种人群:基础平台团队对hadoop、spark、storm等各类大数据技术都非常熟悉,负责搭建稳定、可靠的大数据存储和计算平台。数据平台团队主要负责各类业务数据进行清洗、加工、分类以及挖掘分析,然后把数据有组织地存储到数据平台当中,形成公司的数据中心,需要团队具有强大的数据建模和数据管理能力。数据产品经理团队主要是分析挖掘用户需求,构建数据产品为开发者、分析师和业务人员提供数据可视化展示。平台的使用者也可以包括三种人群:数据分析团队通过分析挖掘数据,为改善产品体验设计和商业决策提供数据支持。运营、市场和管理层可以通过数据分析师获得有建设性的分析报告或结论,也可以直接访问数据产品获得他们感兴趣的数据,方便利用数据做决策。数据应用团队利用数据平台团队提供的数据开展推荐、个性化广告等工作。3. 数据分析团队的组织架构在整个大数据平台体系中的团队:基础平台、数据平台、数据应用和数据产品经理团队都可以保持独立的运作,只有数据分析团队的组织架构争议比较大。数据分析团队一方面要对业务比较敏感,另一方面又需要与数据平台技术团队有深度融合,以便能获得他们感兴趣的数据以及在数据平台上尝试实验复杂建模的可能。从他们的工作方式可以看出,数据分析团队是衔接技术和业务的中间团队,这样的团队组织架构比较灵活多变:1)外包公司自身不设立数据分析部门,将数据分析业务外包给第三方公司,当前电信行业,金融行业中很多数据分析类业务都是交给外包公司完成的。优势: 很多情况下,可以降低公司的资金成本和时间成本;许多公司内部缺乏相关的知识与管理经验,外包给专业的团队有助于公司数据价值的体现 。劣势:一方面外包人员的流动和合作变数,对数据的保密性没有保证;另外一方面,外包团队对需求的响应会比较慢,处理的问题相对通用传统,对公司业务认知不如内部员工深入,创新较低。2)分散式每个产品部门独立成立数据分析团队,负责响应自己产品的数据需求,为业务发展提供决策支持。优势:数据分析团队与开发团队、设计团队以及策划团队具有共同的目标,团队整体归属感强,绩效考核与产品发展直接挂钩,有利于业务的发展。劣势:在业务规模比较小的情况下,数据分析师比较少,交流的空间也比较小。因为身边的同事都不是该领域的人才,无法进行学习交流,所以成长空间会比较小,分析师的流失也会比较严重,最终陷入招募新人——成长受限——离职——招募新人的恶性循环。另一方面,每个产品团队都零星地招募几个分析师,整体来看给员工的感觉是公司并不是特别重视数据化运营的文化,对数据的认同感会被削弱,不利于公司建立数据分析平台体系。3)集中式数据分析团队与产品团队、运营团队各自独立,团队的负责人具有直接向分管数据的副总裁或CEO直接汇报的权限,团队负责响应各业务部门的数据需求。优势:分析团队具有充分的自主权,可以专心建设好公司级别的数据平台体系,研究数据最具有价值的那些问题,有权平衡业务短期需求和平台长期需求直接的关系。另一方面,这种自上而下建立起来组织架构,可以向全体员工传达数据在公司的重要位置,有利于建立数据化运营的文化。劣势:产品业务团队会觉得他们对数据的掌控权比较弱,一些业务数据需求得不到快速响应,认为分析团队的反应太慢无法满足业务发展的需要。随着业务发展越来越大,产品团队会自己招募分析师来响应数据需求,逐渐替代分析团队的工作,这样势必会导致分析团队的工作被边缘化。4)嵌入式数据分析团队同样独立于产品团队存在,但只保留部分资深数据专家,负责招聘、培训数据分析师,然后把这些人派遣到各产品团队内部,来响应各类业务数据需求。优势:团队的灵活性比较好,可以根据公司各业务线的发展情况合理调配人力资源,重点发展的项目投入优秀的人才,一些需要关闭的项目人才可以转移到其他项目中去。劣势:分析师被嵌入到产品团队内部,受产品团队主管的领导,从而失去了自主权,导致沦落为二等公民。人事关系在公司数据分析团队中,却要被业务团队主管考核,但业务团队主管并不关心他们的职业发展,导致分析师的职业发展受到限制。那么,到底采取哪一种组织架构比较合适呢?可以根据公司数据化运营进展的深度灵活采取一种或几种方式。除了外包模式,其他组织架构我都经历过,简单来说,早期采用分散式、中期采用集中式、后期采用分散式或嵌入式以及两则并存。早期:公司对数据体系的投入一般是比较谨慎的,因为要全面建设数据体系需要投入大量的人力和财力,公司不太可能还没有看清楚局势的情况下投入那么多资源。所以,往往都是让每个产品团队自己配置分析师,能解决日常的业务问题就行。杭研院早期的网易云阅读、印像派等项目中就是采用的这种分散的模式。中期:随着业务的发展、公司对数据的认识有所提高并且重视程度不断加大,就开始愿意投入资源来构建公司级别的数据体系。这个阶段采用集中式有利于快速构建数据分析平台,为公司各个产品团队提供最基础的数据分析体系,能在未来应对业务的快速发展。杭研院花了两年时间完成了这个阶段的主要工作,并在网易云音乐和易信产品发展阶段起到了至关重要的作用。后期:一旦公司级别的数据分析平台构建完成,消除了早期分散模式中分析师缺少底层平台支持的窘境,他们能够在分析平台上自助完成大量的数据分析工作。而且经历过集中式阶段的洗礼,公司上上下下对数据的认识都有了很大的提高。此时,在回到分散模式时,原先的很多弊端已基本消除,此外,采用嵌入模式也是可以的。目前杭研院在网易云音乐、网易云课堂、考拉海购等几个产品中就是分散式和嵌入式并存的架构。总之,没有最好的组织架构,只有适合自己的组织架构。

Ⅳ 产品运营如何做好数据挖掘与分析

产品经理在日常工作中，最重要的是要提高数据分析能力，除了数据产品经理，其他产品经理并不需要数据挖掘能力。而提高数据分析能力，则要建立数据分析的知识体系和方法论。

这两年，随着大数据、精益化运营、增长黑客等概念的传播，数据分析的胡御思维越来越深入人心。处于互联网最前沿的产品经理们接触了大量的用户数据，但是却一直困扰于如何做好数据分析工作。

那么产品经理该如何搭建自己的数据分析知识体系？数据分析的价值又在哪里？产品经理做数据分析有哪些具体的方法？又如何学习数据分析？本文将和大家分享一下这些问题。

Part1|数据分析体系：道、术、器

“道”是指价值观。产品经理要想是做好数据分析，首先就要认同数据的意义和价值。一个不认同数据分析、对数据分析的意义缺乏理解的人是很难做好这个工作的。

“术”是指正确的方法论。现在新兴的“GrowthHacker”（增长黑客）概念，从AARRR框架(获取、激活、留存、变现与推荐五个环节）入手进行产品分析，这是一个非常好的分析方法。

“器”则是指数据分析工具。一个好的数据分尺做慧析工具应该能帮助产品经理进行数据采集、数据分析、数据可视化等工作，节省产品经理的时间和精力，帮助产品经理更好理解用户、更好优化产品。

Part2|数据分析的价值

产品经理不能为了数据分析而分析，而要将落脚点放到产品和用户上。数据分析应该帮助产品经理不断优化产品设计和迭代，驱动产品和用户增长。

当我们上线了一个新的产品（proct）或者功能时，需要对其进行数据监控和衡量（measure）。然后从监控中采集到产品的用户行为数据（data），并对这些数据进行分析和总结（learn）。最后从分析中得出结论和观点（idea），如果数据证明我们的新产品/功能是优秀的，那么可以大力推广；如果数陵答据说明我们的产品还存在问题，就需要对产品进行新一轮的优化（build）。

在“产品——数据——结论”的不断循环中，我们不断用数据来优化我们的产品，加快产品迭代的步伐、提升用户体验。

Part3|数据分析的方法

1.流量分析

a.访问/下载来源，搜索词

网站的访问来源，App的下载渠道，以及各搜索引擎的搜索关键词，通过数据分析平台都可以很方便的进行统计和分析，分析平台通过归因模型判断流量来源，产品经理在分析这些流量时，只需要用自建或者第三方的数据平台追踪流量变化即可，第三方平台如GoogleAnalytics、GrowingIO等；

b.自主投放追踪

平时我们在微信等外部渠道投放文章、H5等，许多产品都会很苦恼无法追踪数据。

分析不同获客渠道流量的数量和质量，进而优化投放渠道。常见的办法有UTM代码追踪，分析新用户的广告来源、广告内容、广告媒介、广告项目、广告名称和广告关键字。

c.实时流量分析

实时监测产品的访问走势，尤其要关心流量异常值。举个例子，某互联网金融平台因为一个产品Bug导致用户疯狂抢购造成的流量峰值，产品经理发现实时数据异常后迅速下线该产品修复Bug，避免了损失扩大。

2.转化分析

无论是做网站还是App，产品里面有很多地方需要做转化分析：注册转化、购买转化、激活转化等等。一般我们借助漏斗来衡量用户的转化过程。

影响转化率的因素很多，我们总结了三个大的方面：渠道流量、用户营销、网站/APP体验。以渠道流量为例，通过优选渠道并且量化分配我们的投放资源，可以有效提升总体的转化率。

3.留存分析

在互联网行业里，通常我们会通过拉新把客户引过来，但是经过一段时间可能就会有一部分客户逐渐流失了。那些留下来的人或者是经常回访我们公司网站/App的人就称为留存。

在一段时间内，对某个网站/App等有过任意行为的用户，称之为这个网站/App这段时间的活跃用户，这个任意行为可以是访问网站、打开App等等。

现在大家经常会用到所谓的“日活”（日活跃用户量，DAU）、“周活”（周活跃用户量，WAU）来监测我们的网站，有的时候会看到我们的“日活”在一段时期内都是逐渐地增加的，以为是非常好的现象，但是如果没有做留存分析的话，这个结果很可能是一个错误。

留存是产品增长的核心，用户只有留下来，你的产品才能不断增长。一条留存曲线，如果产品经理不做什么的话，那么用户就慢慢流失了。

这是一个常见的留存曲线，我把它分成了三个部分：第一部分是振荡期，第二部分是选择期，第三部分是平稳期。

从产品设计的角度出发，找到触发留存的关键行为，帮助用户尽快找到产品留存的关键节点。之前我们发现我们产品里面，使用过“新建”功能用户的留存度非常高；于是我们做了产品改进，将“新建”按钮置于首页顶部刺激用户使用，效果非常好。

硅谷流行的MagicNumber（魔法数字）也是留存分析的一部分，比如Facebook发现“在第一周里加10个好友”的新用户留存度非常高。作为产品经理，我们也需要通过数据分析来不断探索我们产品里面的魔法数字，不断提高用户留存度和活跃度。

更详细的留存分析方法，可以参考这篇文章你能找到的最深入的留存分析文章-留存·增长·MagicNumber?。

4.可视化分析

用户体验，是一个非常抽象的概念，我们可以对其进行形象化。目前一个普遍的方法就是对用户的数据进行可视化，以热图的形式呈现。

借助热图，产品经理可以非常直观了解用户在产品上的点击偏好，检验我们的产品设计或者布局是否合理。

5.群组分析&挖掘用户需求、改进及优化产品

千人千面，产品经理对用户精细化的分析必不可少。不同区域、不同来源、不同平台甚至不同手机型号的用户，他们对产品的使用和感知都可能存在巨大的差异。产品经理可以对不同属性的用户进行分群，观察不同群组用户的行为差异，进而优化产品。

之前我们做过一次分析，网站的总体注册转化率是6%；但是使用Chrome浏览器的新用户注册转化率高达12%，使用IE浏览器的新用户注册转化率才1%。这样一分的话，问题就很明显了，极有可能是浏览器兼容性的问题，产品经理应该关注一下这个问题。

Part4|数据分析的书籍

做好数据分析，不是一朝一日就可以的，需要在产品规划设计、产品升级迭代中不断实践。下面的这些书籍对于产品经理学习数据分析都有一定的帮助：

推荐1：

@范冰XDash

的《增长黑客》

这是国内对于增长黑客的第一本详细介绍，作者从AARRR的视角切入，描述了大量产品优化、产品增长的案例，对于产品经理非常有益。

推荐2：埃里克·莱斯的《精益数据分析》

在这本书里面，作者介绍数据分析的相关指标、不同行业的数据分析要点，并且有大量的数据分析案例和翔实数据。如果想要把数据分析落地，这本书对产品经理是非常有帮助的。

推荐3：我们一直在做互联网行业数据分析知识的普及，目前我们已经做了14期“GrowingIO数据分析公开课”，面向产品经理、运营等等，这里是GrowingIO的产品和分析师写的《互联网增长第一本数据分析手册》

这里面汇编了我们一年多来数据分析、产品优化的实战案例，里面不少文章被被大号转过，例如《如何成为一个优秀的数据产品经理》等等。

下载电子版的分析手册，请参考这里互联网增长的第一本数据分析手册。

推荐4：埃里克·莱斯的《精益创业》

作者提出了最小可行性产品（MVP）、小步快跑，快速迭代等产品设计和优化的理念，影响深远。

总之，数据分析是一门多学科、多领域的交叉学问，涉及到的东西非常多。产品经理要想做好数据分析，应该有一套完整的思维体系，在价值观、方法论和工具三个层面上储备相关知识。同时立足于产品和用户，用数据来打磨产品，用数据来检验迭代，不断提升用户体验，希望大家都能找到合适自己的岗位实现择优就业。

Ⅵ 如何打造高性能大数据分析平台

大数据分析系统作为一个关键性的系统在各个公司迅速崛起。但是这种海量规模的数据带来了前所未有的性能挑战。同时，如果大数据分析系统无法在第一时间为运营决策提供关键数据，那么这样的大数据分析系统一文不值。本文将从技术无关的角度讨论一些提高性能的方法。下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则（例如数据提取，数据清洗，处理，存储，以及介绍）。本文应作为一个通用准则，以确保最终的大数据分析平台能满足性能要求。

1. 大数据是什么？

大数据是最近IT界最常用的术语之一。然而对大数据的定义也不尽相同，所有已知的论点例如结构化的和非结构化、大规模的数据等等都不够完整。大数据系统通常被认为具有数据的五个主要特征，通常称为数据的5 Vs。分别是大规模，多样性，高效性、准确性和价值性。
互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果真的想做，可以来这里，这个手技的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，想说的是，除非想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。

据Gartner称，大规模可以被定义为“在本（地）机数据采集和处理技术能力不足以为用户带来商业价值。当现有的技术能够针对性的进行改造后来处理这种规模的数据就可以说是一个成功的大数据解决方案。

这种大规模的数据没将不仅仅是来自于现有的数据源，同时也会来自于一些新兴的数据源，例如常规（手持、工业）设备，日志，汽车等，当然包括结构化的和非结构化的数据。

据Gartner称，多样性可以定义如下：“高度变异的信息资产，在生产和消费时不进行严格定义的包括多种形式、类型和结构的组合。同时还包括以前的历史数据，由于技术的变革历史数据同样也成为多样性数据之一 “。

高效性可以被定义为来自不同源的数据到达的速度。从各种设备，传感器和其他有组织和无组织的数据流都在不断进入IT系统。由此，实时分析和对于该数据的解释（展示）的能力也应该随之增加。

根据Gartner，高效性可以被定义如下：“高速的数据流I/O(生产和消费)，但主要聚焦在一个数据集内或多个数据集之间的数据生产的速率可变上”。

准确性，或真实性或叫做精度是数据的另一个重要组成方面。要做出正确的商业决策，当务之急是在数据上进行的所有分析必须是正确和准确（精确）的。

大数据系统可以提供巨大的商业价值。像电信，金融，电子商务，社交媒体等，已经认识到他们的数据是一个潜在的巨大的商机。他们可以预测用户行为，并推荐相关产品，提供危险交易预警服务，等等。

与其他IT系统一样，性能是大数据系统获得成功的关键。本文的中心主旨是要说明如何让大数据系统保证其性能。

2. 大数据系统应包含的功能模块

大数据系统应该包含的功能模块，首先是能够从多种数据源获取数据的功能，数据的预处理（例如，清洗，验证等），存储数据，数据处理、数据分析等（例如做预测分析??，生成在线使用建议等等），最后呈现和可视化的总结、汇总结果。

下图描述了大数据系统的这些高层次的组件

描述本节的其余部分简要说明了每个组分，如图1。

2.1 各种各样的数据源当今的IT生态系统，需要对各种不同种类来源的数据进行分析。这些来源可能是从在线Web应用程序，批量上传或feed，流媒体直播数据，来自工业、手持、家居传感的任何东西等等。

显然从不同数据源获取的数据具有不同的格式、使用不同的协议。例如，在线的Web应用程序可能会使用SOAP / XML格式通过HTTP发送数据，feed可能会来自于CSV文件，其他设备则可能使用MQTT通信协议。

由于这些单独的系统的性能是不在大数据系统的控制范围之内，并且通常这些系统都是外部应用程序，由第三方供应商或团队提供并维护，所以本文将不会在深入到这些系统的性能分析中去。

2.2 数据采集第一步，获取数据。这个过程包括分析，验证，清洗，转换，去重，然后存到适合你们公司的一个持久化设备中（硬盘、存储、云等）。

在下面的章节中，本文将重点介绍一些关于如何获取数据方面的非常重要的技巧。请注意，本文将不讨论各种数据采集技术的优缺点。

2.3 存储数据第二步，一旦数据进入大数据系统，清洗，并转化为所需格式时，这些过程都将在数据存储到一个合适的持久化层中进行。

在下面的章节中，本文将介绍一些存储方面的最佳实践（包括逻辑上和物理上）。在本文结尾也会讨论一部分涉及数据安全方面的问题。

2.4 数据处理和分析第三步，在这一阶段中的一部分干净数据是去规范化的，包括对一些相关的数据集的数据进行一些排序，在规定的时间间隔内进行数据结果归集，执行机器学习算法，预测分析等。

在下面的章节中，本文将针对大数据系统性能优化介绍一些进行数据处理和分析的最佳实践。

2.5 数据的可视化和数据展示最后一个步骤，展示经过各个不同分析算法处理过的数据结果。该步骤包括从预先计算汇总的结果（或其他类似数据集）中的读取和用一种友好界面或者表格（图表等等）的形式展示出来。这样便于对于数据分析结果的理解。

3. 数据采集中的性能技巧

数据采集是各种来自不同数据源的数据进入大数据系统的第一步。这个步骤的性能将会直接决定在一个给定的时间段内大数据系统能够处理的数据量的能力。

数据采集??过程基于对该系统的个性化需求，但一些常用执行的步骤是 - 解析传入数据，做必要的验证，数据清晰，例如数据去重，转换格式，并将其存储到某种持久层。

涉及数据采集过程的逻辑步骤示如下图所示：

下面是一些性能方面的技巧：

来自不同数据源的传输应该是异步的。可以使用文件来传输、或者使用面向消息的（MoM）中间件来实现。由于数据异步传输，所以数据采集过程的吞吐量可以大大高于大数据系统的处理能力。 异步数据传输同样可以在大数据系统和不同的数据源之间进行解耦。大数据基础架构设计使得其很容易进行动态伸缩，数据采集的峰值流量对于大数据系统来说算是安全的。

如果数据是直接从一些外部数据库中抽取的，确保拉取数据是使用批量的方式。

如果数据是从feed file解析，请务必使用合适的解析器。例如，如果从一个XML文件中读取也有不同的解析器像JDOM，SAX，DOM等。类似地，对于CSV，JSON和其它这样的格式，多个解析器和API是可供选择。选择能够符合需求的性能最好的。

优先使用内置的验证解决方案。大多数解析/验证工作流程的通常运行在服务器环境（ESB /应用服务器）中。大部分的场景基本上都有现成的标准校验工具。在大多数的情况下，这些标准的现成的工具一般来说要比你自己开发的工具性能要好很多。

类似地，如果数据XML格式的，优先使用XML（XSD）用于验证。

即使解析器或者校等流程使用自定义的脚本来完成，例如使用java优先还是应该使用内置的函数库或者开发框架。在大多数的情况下通常会比你开发任何自定义代码快得多。

尽量提前滤掉无效数据，以便后续的处理流程都不用在无效数据上浪费过多的计算能力。

大多数系统处理无效数据的做法通常是存放在一个专门的表中，请在系统建设之初考虑这部分的数据库存储和其他额外的存储开销。

如果来自数据源的数据需要清洗，例如去掉一些不需要的信息，尽量保持所有数据源的抽取程序版本一致，确保一次处理的是一个大批量的数据，而不是一条记录一条记录的来处理。一般来说数据清洗需要进行表关联。数据清洗中需要用到的静态数据关联一次，并且一次处理一个很大的批量就能够大幅提高数据处理效率。

数据去重非常重要这个过程决定了主键的是由哪些字段构成。通常主键都是时间戳或者id等可以追加的类型。一般情况下，每条记录都可能根据主键进行索引来更新，所以最好能够让主键简单一些，以保证在更新的时候检索的性能。

来自多个源接收的数据可以是不同的格式。有时，需要进行数据移植，使接收到的数据从多种格式转化成一种或一组标准格式。

和解析过程一样，我们建议使用内置的工具，相比于你自己从零开发的工具性能会提高很多。

数据移植的过程一般是数据处理过程中最复杂、最紧急、消耗资源最多的一步。因此，确保在这一过程中尽可能多的使用并行计算。

一旦所有的数据采集的上述活动完成后，转换后的数据通常存储在某些持久层，以便以后分析处理，综述，聚合等使用。

多种技术解决方案的存在是为了处理这种持久（RDBMS，NoSQL的分布式文件系统，如Hadoop和等）。

谨慎选择一个能够最大限度的满足需求的解决方案。

4. 数据存储中的性能技巧

一旦所有的数据采集步骤完成后，数据将进入持久层。

在本节中将讨论一些与数据数据存储性能相关的技巧包括物理存储优化和逻辑存储结构（数据模型）。这些技巧适用于所有的数据处理过程，无论是一些解析函数生的或最终输出的数据还是预计算的汇总数据等。

首先选择数据范式。您对数据的建模方式对性能有直接的影响，例如像数据冗余，磁盘存储容量等方面。对于一些简单的文件导入数据库中的场景，你也许需要保持数据原始的格式，对于另外一些场景，如执行一些分析计算聚集等，你可能不需要将数据范式化。

大多数的大数据系统使用NoSQL数据库替代RDBMS处理数据。

不同的NoSQL数据库适用不同的场景，一部分在select时性能更好，有些是在插入或者更新性能更好。

数据库分为行存储和列存储。

具体的数据库选型依赖于你的具体需求（例如，你的应用程序的数据库读写比）。

同样每个数据库都会根据不同的配置从而控制这些数据库用于数据库复制备份或者严格保持数据一致性?这些设置会直接影响数据库性能。在数据库技术选型前一定要注意。

压缩率、缓冲池、超时的大小，和缓存的对于不同的NoSQL数据库来说配置都是不同的，同时对数据库性能的影响也是不一样的。

数据Sharding和分区是这些数据库的另一个非常重要的功能。数据Sharding的方式能够对系统的性能产生巨大的影响，所以在数据Sharding和分区时请谨慎选择。

并非所有的NoSQL数据库都内置了支持连接，排序，汇总，过滤器，索引等。

如果有需要还是建议使用内置的类似功能，因为自己开发的还是不灵。

NoSQLs内置了压缩、编解码器和数据移植工具。如果这些可以满足您的部分需求，那么优先选择使用这些内置的功能。这些工具可以执行各种各样的任务，如格式转换、压缩数据等，使用内置的工具不仅能够带来更好的性能还可以降低网络的使用率。

许多NoSQL数据库支持多种类型的文件系统。其中包括本地文件系统，分布式文件系统，甚至基于云的存储解决方案。

如果在交互式需求上有严格的要求，否则还是尽量尝试使用NoSQL本地（内置）文件系统（例如HBase 使用HDFS）。

这是因为，如果使用一些外部文件系统/格式，则需要对数据进行相应的编解码/数据移植。它将在整个读/写过程中增加原本不必要的冗余处理。

大数据系统的数据模型一般来说需要根据需求用例来综合设计。与此形成鲜明对比的是RDMBS数据建模技术基本都是设计成为一个通用的模型，用外键和表之间的关系用来描述数据实体与现实世界之间的交互。

在硬件一级，本地RAID模式也许不太适用。请考虑使用SAN存储。

5. 数据处理分析中的性能技巧

数据处理和分析是一个大数据系统的核心。像聚合，预测，聚集，和其它这样的逻辑操作都需要在这一步完成。

本节讨论一些数据处理性能方面的技巧。需要注意的是大数据系统架构有两个组成部分，实时数据流处理和批量数据处理。本节涵盖数据处理的各个方面。

在细节评估和数据格式和模型后选择适当的数据处理框架。

其中一些框架适用于批量数据处理，而另外一些适用于实时数据处理。

同样一些框架使用内存模式，另外一些是基于磁盘io处理模式。

有些框架擅长高度并行计算，这样能够大大提高数据效率。

基于内存的框架性能明显优于基于磁盘io的框架，但是同时成本也可想而知。

概括地说，当务之急是选择一个能够满足需求的框架。否则就有可能既无法满足功能需求也无法满足非功能需求，当然也包括性能需求。

一些这些框架将数据划分成较小的块。这些小数据块由各个作业独立处理。协调器管理所有这些独立的子作业?在数据分块是需要当心。

该数据快越小，就会产生越多的作业，这样就会增加系统初始化作业和清理作业的负担。

如果数据快太大，数据传输可能需要很长时间才能完成。这也可能导致资源利用不均衡，长时间在一台服务器上运行一个大作业，而其他服务器就会等待。

不要忘了查看一个任务的作业总数。在必要时调整这个参数。

最好实时监控数据块的传输。在本机机型io的效率会更高，这么做也会带来一个副作用就是需要将数据块的冗余参数提高（一般hadoop默认是3份）这样又会反作用使得系统性能下降。

此外，实时数据流需要与批量数据处理的结果进行合并。设计系统时尽量减少对其他作业的影响。

大多数情况下同一数据集需要经过多次计算。这种情况可能是由于数据抓取等初始步骤就有报错，或者某些业务流程发生变化，值得一提的是旧数据也是如此。设计系统时需要注意这个地方的容错。

这意味着你可能需要存储原始数据的时间较长，因此需要更多的存储。

数据结果输出后应该保存成用户期望看到的格式。例如，如果最终的结果是用户要求按照每周的时间序列汇总输出，那么你就要将结果以周为单位进行汇总保存。

为了达到这个目标，大数据系统的数据库建模就要在满足用例的前提下进行。例如，大数据系统经常会输出一些结构化的数据表，这样在展示输出上就有很大的优势。

更常见的是，这可能会这将会让用户感觉到性能问题。例如用户只需要上周的数据汇总结果，如果在数据规模较大的时候按照每周来汇总数据，这样就会大大降低数据处理能力。

一些框架提供了大数据查询懒评价功能。在数据没有在其他地方被使用时效果不错。

实时监控系统的性能，这样能够帮助你预估作业的完成时间。

6. 数据可视化和展示中的性能技巧

精心设计的高性能大数据系统通过对数据的深入分析，能够提供有价值战略指导。这就是可视化的用武之地。良好的可视化帮助用户获取数据的多维度透视视图。

需要注意的是传统的BI和报告工具，或用于构建自定义报表系统无法大规模扩展满足大数据系统的可视化需求。同时，许多COTS可视化工具现已上市。

本文将不会对这些个别工具如何进行调节，而是聚焦在一些通用的技术，帮助您能打造可视化层。

确保可视化层显示的数据都是从最后的汇总输出表中取得的数据。这些总结表可以根据时间短进行汇总，建议使用分类或者用例进行汇总。这么做可以避免直接从可视化层读取整个原始数据。

这不仅最大限度地减少数据传输，而且当用户在线查看在报告时还有助于避免性能卡顿问题。

重分利用大化可视化工具的缓存。缓存可以对可视化层的整体性能产生非常不错的影响。

物化视图是可以提高性能的另一个重要的技术。

大部分可视化工具允许通过增加线程数来提高请求响应的速度。如果资源足够、访问量较大那么这是提高系统性能的好办法。

尽量提前将数据进行预处理，如果一些数据必须在运行时计算请将运行时计算简化到最小。

可视化工具可以按照各种各样的展示方法对应不同的读取策略。其中一些是离线模式、提取模式或者在线连接模式。每种服务模式都是针对不同场景设计的。

同样，一些工具可以进行增量数据同步。这最大限度地减少了数据传输，并将整个可视化过程固化下来。

保持像图形，图表等使用最小的尺寸。

大多数可视化框架和工具的使用可缩放矢量图形（SVG）。使用SVG复杂的布局可能会产生严重的性能影响。

7. 数据安全以及对于性能的影响

像任何IT系统一样安全性要求也对大数据系统的性能有很大的影响。在本节中，我们讨论一下安全对大数据平台性能的影响。

- 首先确保所有的数据源都是经过认证的。即使所有的数据源都是安全的，并且没有针对安全方面的需求，那么你可以灵活设计一个安全模块来配置实现。

- 数据进过一次认证，那么就不要进行二次认证。如果实在需要进行二次认证，那么使用一些类似于token的技术保存下来以便后续继续使用。这将节省数据一遍遍认证的开销。

- 您可能需要支持其他的认证方式，例如基于PKI解决方案或Kerberos。每一个都有不同的性能指标，在最终方案确定前需要将其考虑进去。

- 通常情况下数据压缩后进入大数据处理系统。这么做好处非常明显不细说。

- 针对不同算法的效率、对cpu的使用量你需要进行比较来选出一个传输量、cpu使用量等方面均衡的压缩算法。

- 同样，评估加密逻辑和算法，然后再选择。

- 明智的做法是敏感信息始终进行限制。

- 在审计跟踪表或登录时您可能需要维护记录或类似的访问，更新等不同的活动记录。这可能需要根据不同的监管策略和用户需求个性化的进行设计和修改。

- 注意，这种需求不仅增加了数据处理的复杂度，但会增加存储成本。

- 尽量使用下层提供的安全技术，例如操作系统、数据库等。这些安全解决方案会比你自己设计开发性能要好很多。

8. 总结

本文介绍了各种性能方面的技巧，这些技术性的知道可以作为打造大数据分析平台的一般准则。大数据分析平台非常复杂，为了满足这种类型系统的性能需求，需要我们从开始建设的时候进行考量。

本文介绍的技术准则可以用在大数据平台建设的各个不同阶段，包括安全如何影响大数据分析平台的性能。

Ⅶ 如何做一名优秀的数据产品经理

如何成为一名优秀的产品经理？
心里要有 Ownership，就是要用心。
什么叫用心？如果你千辛万苦、呕心沥血攒下几十万做首付买了套房子，你每天花很多时间在网上搜索，每天到建材城和卖建材的人斗智斗勇，用什么瓷砖和灯具，装什么马桶和家具，价格、材质、种类等等，无所不晓。我敢肯定，用不了多久，你就能成为一个装修专家，因为这是你自己的房子。只要心中有 Ownership，只要努力，哪怕是一个外行，也能够成为专家。我相信，如果一个人能拿出这样的精神来做产品，那么他没有理由不成为一个优秀的产品经理。
如果心中没有 Ownership，就是把自己看成是一个打工的，给老板打工，给领导打工，只要他们点头就OK，那永远都不可能成为一个优秀的产品经理。你可能会说，那我干别的，此处不养爷，自有养爷处。但只要抱着打工的心态做事，你到哪里都只能是混，要想出类拔萃，那就只能等下一辈子。
优秀的产品经理心里都有一个大我，他不是对老板负责，而是对产品负责，对用户负责，他甚至会把这个产品看成你自己的孩子。比如说，你如果是一个设计师，除了美化、润色、做方案，是不是也用心地去了解这个产品怎么回事？用户是什么样的人？用户为什么用这个产品？他在什么场景下用？这个产品给用户创造什么价值？如果说一个技术工程师只满足于堆出一堆代码实现了一个产品功能，但根本没有想过自己在这个过程中通过积极参与可以让产品得到很多改善，或者对于自己认为不对的地方，也不想提出自己反对意见，这样的技术工程师就不要抱怨自己是 IT 民工，因为这样思维方式就注定了他一定是一个 IT 民工。
将心比心，学会从用户角度看问题。
一个优秀的产品经理，除了心里有一个大我，敢于承担责任，心里还要有个小我，甚至忘我、无我，这就是说要将心比心，把自己当成用户，从用户的角度来看问题。用户体验这个词这几年很流行，但为什么叫做用户体验，而不是叫产品经理体验，或者叫老板体验？因为我们做产品，无论有多么好的技术，有多么好的设计，最终评价好还是不好的，是用户，不是产品经理，更不是老板。老板、产品经理、行业专家选择一个产品的理由，与用户选择一个产品的理由，很多时候是大相径庭。你觉得好的产品，用户不一定买账。如何学会从用户的角度出发，换位思考，说起来是一件很简单的事，但是实际上很难做到。因为每个人不管成不成功，都会积累自己的人生阅历和经验，他的思维会越来越惯性，突破既有思维模式难度大。通俗地讲，这就是自我太强大了。在这种强大的自我下做产品，产品做着做着就变成了给自己做。
要突破这种惯性思维，我的建议是，第一要多读书、多看报、多与其他人交流，用外来的一个崭新的思维力量来打破自己头脑里的框框。我建议产品经理们看报纸杂志的时候，少看行业类高端杂志，多看面向普通用户的杂志，类似《电脑迷》、《电脑爱好者》、《电脑软件》等，上面的内容对于技术员来说，可能简单得可笑，但这些内容真的是普通用户遇到的问题。多读这样的刊物，就能帮助你从用户的角度出发看问题，正如我2012年1月在极客公园的活动上所说的，只有这样做，你才能从用户需求中找到真正的创新。
第二要适度的患上精神分裂症。以我自己为例，按理说我是程序员出身，做过产品，懂技术，什么软件到我手里都不在话下。但是，当我看360软件的时候，我会不自觉地就像变了一个人，变成了一个不懂计算机也没有耐心的普通用户，稍微有地方觉得不顺眼或者没找到想要的功能，就要摔鼠标、砸键盘，心里有一种冲过去卸载的冲动。这是我多年练出来的宝贵经验，我认为其实任何人都能够做到。从用户角度出发来考虑问题，这对很多人来说不是能力问题，也是一个心态问题。所以，我教育公司里的很多人，要“像白痴一样去思考，像专家一样去行动”。这就是要求360的产品经理，要从对计算机一无所知的普通用户角度看问题，发现问题后，要像技术专家一样迅速采取行动。
处处留心，寻找改善用户体验的机会。
对于优秀的产品经理来说，改善用户体验的机会无处不在。一个优秀的产品经理，他的头脑是开放的，他的视野并不局限在自己的行业和产品上。前几年，我不幸摔伤了腿，架着拐杖楼上楼下跑，什么挂号、门诊、划价、缴费、拍片，要问很多人才能找到科室，要跑很多路才能把这些事儿办完。还有北京着名的西直门立交桥，司机上桥就跟进了丛林一样，等你知道走错了，已经来不及了。可以说，这些都是糟糕的用户体验。在日常生活中，用户体验无处不在。我们是产品经理，但当我们走出办公室，我们就是使用其他产品的用户。但我们不要做一个抱怨的用户，我们要提升一个层次，抱怨完了之后，想一想其他人是不是像我们一样去抱怨，我们应该怎么其改善。你可能会说，嗨，这些事又不是我管，说了也没用。谁说的？你不去尝试，怎么知道不管用？而且，这是一种思维训练，我相信如果你能看到道路、交通、遥控器、汽车驾驶面板等很多糟糕的地方，你肯定能找到自己产品需要改进的地方。
脸皮厚，不怕骂，没心没肺。
一个优秀的产品经理，最重要的一个素质就是具备强大的心理素质，不怕骂，而且善于从骂声中找到改善产品的机会。最好的产品虽然能解决用户问题，但它不是完美的。没有缺点的产品并不存在。优秀的产品经理追求的是极致，而不是完美。这就是说，做产品一定在某些打动用户的点上做到最好，做到连竞争对手都望尘莫及，甚至绝望到不再追了。这个时候，真正的用户使用产品不爽了就会抱怨，会骂；竞争对手也会雇很多人，模仿用户的口吻来骂。面对铺天盖地的骂声，有些产品经理会产生恐惧心里，觉得是不是产品在方向不对。这个时候，我会鼓励团队说，竞争对手是我们的磨刀石，负面的信息里，即使是对手的枪稿，也要找到可以改进产品的启发点。我们一定要研究他们的骂声，想想产品有什么地方可以改进的，最后让他骂不出。这样，竞争对手就成了我们的磨刀石，把我们的刀磨得越来越锋利，我们手起刀落，就能把敌人斩于马下。
没心没肺的另一个含义，就是不怕失败。因为好的产品是不断打磨出来的，好的用户体验绝对不是一次到位的。真正创新的产品，在刚问世的时候一定是粗糙的、丑陋的，看一看第一代苹果电脑、Windows的早期版本、苹果的第一部手机等等，粗糙、丑陋不要紧，可以改进，关键是一定要解决用户的问题。
一个产品最后能成功，靠的不是一招制敌，更不可能是一炮而红，它至少经过三年五年不间断的打磨、不间断的失败、不间断的尝试。没有坚忍不拔的心态，一个产品经理很难做出来好产品。有人说，做产品应该像做艺术品一样，但艺术品可以只展示给少数人看，甚至艺术品是艺术家孤芳自赏，做给自己看的。但是，判断一个产品是否成功，终究还是要看它在商业上是否取得成功，因此它必须要获得大众的认同。因此，产品经理必须要跟大众沟通，，要能忍受来自各种用户建议，哪怕这种建议看起来多么乖张；要能忍受竞争对手的骂声，哪怕这种骂声是谣言。《弟子规》里面有句话说：“闻誉恐，闻过欣。”这么高的道德要求，咱们普通人很难达到。但是作为产品经理，我们可以抱着一种欣喜的心态来看待批评，因为我们都知道，批评存在着改进产品的机会。
所以，优秀的产品经理要有一颗粗糙的心，要能够做到没心没肺。