如何分析大数据

‘壹’ 专业人士告诉你如何才能做好大数据分析

大数据，想必大家近几年都有所耳闻或者已经如雷贯耳了，诚然，大数据的的火爆基本上可谓在大城市人尽皆知了，但是大家可能不知道的是，大数据分析得定义或概念到底是什么。且不说新出的人工智能，就大数据而言，我们一直在强调大数据的技术，大数据技术其实是我们的畅想而已，而且人工智能也离不开大数据分析的支撑，但是大数据怎么去分析呢，如何才能做好大数据分析？一般需要对数据进行获取、打通、整合、找到规律，以及立即决策。
大数据定义是什么
很多科学家对于大数据都有一定的定义，比如麦肯锡对于大数据的定义就是“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。”其实就是将获取的数据进行打通、整合、找寻规律、立即决策。这样，通过大数据的分析去找到自己想要的信息。
一、如何进行数据获取呢？

数据的获取一般需要找到数据源。一般来说，数据源可分类三类：
1.通过广告投放来获得数据
很多的数据都是通过广告来获得的，从广告获取数据的途径有很多，比如广告的展示量，活动页的点击率，广告的来源等方面。很多的公司企业将这些通过广告获得的数据作为第三方数据，也存在有些广告监测公司会这些此数据和人群数据进行整合，通过构建自己的数据库去给别人进行分析，这样的公司一般被称为第三方公司。
2.通过用户的行为获取数据
很多用户的行为也可以从中提取出一些数据，比如某个用户在购买的理财产品的时候，通过记录购买的时间、姓名、电话等数据，大体就能够掌握某一个群体的行为习惯，这些数据可以叫做用户行为数据。这些数据经常被搜集并且备用。从而为大数据分析提供很多不错的，有价值的数据。
3.公开数据
公开数据就是我们能够从各种渠道直接获取的数据，例如行业协会的数据，或者互联网行为数据。

二、数据的打通
数据的打通就是利用数据的重要部位的采集整合数据。一般来说，可以通过手机号将一方和三方数据整合，或者利用cookie，或者imei号等将各个方面的数据整合。不过由于现在监管制度对手机号敏感数据的控制，使得很多数据之间的打通存在很大的挑战。
三、从数据中找寻规律
从数据中找寻规律的目的就是数据清理。清理数据就能够板数据中的肮脏数据进行清除，从而净化数据环境，一般来讲，把非结构化数据变成结构化数据，这样方便统计，在数据探索中找寻规律，形成数据分析报告观点。
四、从数据分析中立即决策
将数据分析报告中的观点系统化或产品化，目前而言，大部分公司还是会依靠人工决策。
很多人有会问，为什么需要大数据分析？看上去大数据分析似乎按照这些步骤来，但是从第一步的数据源来说，其实已经反应了大数据的特点，就是杂乱无章，那么怎么从这些数据找寻规律，分析的内容和目标是否对应上，就是我们研究分析大数据的意义。对于大数据的分析主题步骤就是上述提到的数据获取、数据打通、在数据中找寻规律、最后做出决策。希望这篇文章能够帮助大家更好的了解大数据。

‘贰’ 如何解析大数据

大数据分析的五个基本方面
（预测性分析能力）
数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
（数据质量和数据管理）
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。 AnalyticVisualizations（可视化分析）
不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。 SemanticEngines（语义引擎）
我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
DataMiningAlgorithms（数据挖掘算法）
可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。
2
大数据处理
大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，
要相关不要因果。具体的大数据处理方法其实有很多，但是根据长时间的实践，
笔者总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。
3
采集
大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
4
统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，
一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基MySQL
的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
5
导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，
还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，
每秒钟的导入量经常会达到百兆，甚至千兆级别。
6
挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，
主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes，主要使用的工具有HadoopMahout
等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，还有，常用数据挖掘算法都以单线程为主。

‘叁’ 如何进行大数据分析及处理

1可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。 2 数据如何进行大数据分析及处理？

‘肆’ 如何进行有效的大数据处理、分析

如何进行有效的大数据处理、分析

许多企业投下数百万美元用于大数据、大数据分析，并雇用数据分析家，但却感到很受挫。无可否认，他们现在得到了更多、更好的数据。他们的分析师和分析法也是一流的。但经理人对业务的想法和争论，似乎与过去的类型仍一样，只是他们使用的数据与分析法都比以前好得多。最终的决定可能是更加由数据驱动(data-driven)，但组织文化给人的感觉仍然相同。正如一位CIO最近告诉我的，“我们现在可以做实时的分析，那是我在五年前根本无法想象的，但这么所带来的影响力，仍与我的预期差距很远。”怎么回事?《财富》杂志1000大企业举办了几场大数据与大数据分析会议，并花费大量时间协助一些似乎对投资在分析法上的回报感到很满意的组织，结果一个明确的“数据启发法”(data heuristic)出现了。分析成果为平庸到中等的企业，用大数据和分析法来支持决策;而“分析报酬率”(Return on Analytics，简称ROA)良好的企业，使用大数据和分析法来推动并维持行为的改变。较好的数据驱动分析不仅仅是纳入既有的流程和检讨会，它们还被用来创造及鼓励不同类型的对话和互动。“要等到管理阶层确认想要改变、并清楚知道影响的行为是什么之后，我们才会去做分析或商业情报的工作，”一位金融服务公司的CIO说。“提高合乎法规的情况和改善财务报告，是很容易获得的成果。但是，这只意味着我们使用分析法去做我们已经做得比以前好的事情。”真正的挑战是洞察，利用大数据和分析法，以改善解决问题和决策的方式，会掩盖组织里一个现实情况，那就是新的分析法往往需要新的行为。公司人员可能需要作更多分享和协力合作;各部门可能需要设置不同的或互补的业务流程;经理人和高级主管可能需要确保，现有的激励措施不会破坏分析带来的成长机会和效率。例如，一家医疗用品供货商整合有关“能带来最多利润的客户”和“最赚钱产品”的分析，必须对业务人员与技术支持团队进行完整的再教育，两者都是为了“打扰”并“教育”客户有关附加价值较高的产品。这家公司了解，这些分析法不应该只是被用来支持现有的销售和服务实务，而应该被视为一种契机，可推动新型的促进式(facilitative)和顾问式(consultative)销售及支持组织。讽刺的是，大数据和分析法的质量，不如分析的目的来得重要。最有趣的紧张态势和争论，始终围绕着组织是否会因使用分析法而获得最大报酬，以使既有的流程行为(process behavior)更完善，或者改变公司人员的行为。但大致的共识是，最有成效的对话聚焦于分析如何改变行为，而非解决问题。“我们组织内的大多数人，历史课的表现优于数学课，”一位消费性产品分析主管告诉我。“要让公司人员了解新信息和指标可能会如何改变他们的做事方式，是比较容易的，要让他们了解根本的算法则比较困难……我们好不容易才学到，‘翻墙’(over-the-wall)数据和分析法，不是让我们的内部客户从工作中获得价值的好办法。”得到正确的答案，甚至是问正确的问题，原来不是拥有高ROA企业的主要关切点。无可否认，数据与分析法的问题、答案，都是重要的。但更重要的是，这些问题、答案及分析法，如何与个人与机构的行为协调一致(或彼此冲突)。有时候，即使是最好的分析法也可能引发适得其反的行为。

以上是小编为大家分享的关于如何进行有效的大数据处理、分析？的相关内容，更多信息可以关注环球青藤分享更多干货

‘伍’ 大数据分析如何实现

搭建大数据分析平台的工作是循序渐进的，不同公司要根据自身所处阶段选择合适的平台形态，没有必要过分追求平台的分析深度和服务属性，关键是能解决当下的问题。

大数据分析平台是对大数据时代的数据分析产品（或称作模块）的泛称，诸如业务报表、OLAP应用、BI工具等都属于大数据分析平台的范畴。与用户行为分析平台相比，其分析维度更集中在核心业务数据，特别是对于一些非纯线上业务的领域，例如线上电商、线下零售、物流、金融等行业。而用户行为分析平台会更集中分析与用户及用户行为相关的数据。

企业目前实现大数据分析平台的方法主要有三种：

（1）采购第三方相关数据产品

例如Tableau、Growing IO、神策、中琛魔方等。此类产品能帮助企业迅速搭建数据分析环境，不少第三方厂商还会提供专业的技术支持团队。但选择此方法，在统计数据的广度、深度和准确性上可能都有所局限。例如某些主打无埋点技术的产品，只能统计到页面上的一些通用数据。

随着企业数据化运营程度的加深，这类产品可能会力不从心。该方案适合缺少研发资源、数据运营初中期的企业。一般一些创业公司、小微企业可能会选择此方案。

（2）利用开源产品搭建大数据分析平台

对于有一定开发能力的团队，可以采用该方式快速且低成本地搭建起可用的大数据分析平台。该方案的关键是对开源产品的选择，选择正确的框架，在后续的扩展过程中会逐步体现出优势。而如果需要根据业务做一些自定义的开发，最后还是绕不过对源码的修改。

（3）完全自建大数据分析平台

对于中大型公司，在具备足够研发实力的情况下，通常还是会自己开发相关的数据产品。自建平台的优势是不言而喻的，企业可以完全根据自身业务需要定制开发，能够对业务需求进行最大化的满足。

对于平台型业务，开发此类产品也可以进行对外的商业化，为平台上的B端客户服务。例如淘宝官方推出的生意参谋就是这样一款成熟的商用数据分析产品，且与淘宝业务和平台优势有非常强的结合。

在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本的功能，来决定平台搭建过程中使用的大数据处理工具和框架。

‘陆’ 如何进行大数据的分析

大数据有一大特点是多维度，所以分析大数据也要从不同的维度来分析，不能把数据看成平面的。但是在分析的时候不能脱离了数据，得到的结论要用数据作为依据，才能显示出结论的科学性和有效性。