大数据的尽头是什么

⑴ 大数据时代发展历程是什么

大数据技术发展史：大数据的前世今生

今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapRece和NoSQL数据库系统BigTable。

你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。

现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。

因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。 这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。

当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapRece的功能。

两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapRece。

当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。

如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。

我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。

Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，网络和阿里巴巴也开始使用Hadoop进行大数据存储与计算。

2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。

同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。

这个时候，Yahoo的一些人觉得用MapRece进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的操作，Pig经过编译后会生成MapRece程序，然后在Hadoop上运行。

编写Pig脚本虽然比直接MapRece编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapRece的计算程序。

这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。

随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapRece工作流调度引擎Oozie等。

在Hadoop早期，MapRece既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapRece自己完成。但是这样不利于资源复用，也使得MapRece非常臃肿。于是一个新项目启动了，将MapRece执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。

同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapRece进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapRece每执行一次Map和Rece计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapRece主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapRece在企业应用中的地位。

一般说来，像MapRece、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。

而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。

在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。

除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。

我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。

事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。

但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。

正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。

上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。

此外，大数据要存入分布式文件系统（HDFS），要有序调度MapRece和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。

图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。

希望对您有所帮助！~

⑵ 大数据的局限性是什么

计算机数据分析擅长于衡量社会交往的“数量”而不是“质量”。网络科学家可以在76%的时间里测量你与6个同事的社交互动，但他们不太可能捕捉到你对你一年只见两次的儿时朋友内心深处的感觉，更不用说但丁对比阿特丽斯的感觉了。所以，不要愚蠢到放弃你在社会决策中头脑中的神奇机器，而在工作中信任它。

1、大数据的局限性——大数据不理解背景

人类的决策不是离散的事件，而是根植于时间序列和环境中。经过数百万年的进化，人类的大脑已经适应了这个现实。人们擅长讲故事，有很多原因，也有很多场景。数据分析不知道如何讲故事，也不知道思维是如何浮现的。即使在一本普通的小说中，这种想法也无法用数据分析来解释。

2、大数据的局限性——大数据将创造更大的干草垛

这个想法是由着名商业思想家Nassim Taleb提出的，他是《黑天鹅:如何应对不可知的未来》一书的作者。我们拥有的数据越多，我们就能发现更显着的统计相关性。很多这样的关系都是毫无意义的，在解决问题时还会让人误入歧途。随着越来越多的数据可用，作弊行为呈指数级增长。在大海捞针的过程中，我们要找的针埋得越来越深。大数据时代的一个特征是，“重大”发现的数量被数据扩张的噪音淹没了。

3、大数据的局限性——大数据不能解决大问题

如果你只是想分析哪些邮件产生了最多的竞选捐款，你可以做一个随机对照试验。但如果目标是在衰退期间刺激经济，你不会找到一个平行世界社会作为对照组。最好的刺激方案是什么?关于这个问题有很多争论，尽管数据泛滥，但据我所知，这场辩论中没有一个主要的辩手根据统计分析改变了立场。

4、大数据的局限性——大数据往往是一种趋势，而不是杰作

当大量的个人迅速对一种文化产品产生兴趣时，数据分析可以对这种趋势敏感。但是一些重要的(有利可图的)产品一开始就从数据中被丢弃了，仅仅是因为它们的怪癖不为人所知。

5、大数据的局限性——大数据掩盖了价值

“原始数据”的意义在于，它永远不可能是“原始的”;它总是根据一个人的倾向和价值观来构建的。数据分析的结果看似客观公正，但实际上，价值选择贯穿于从构建到解读的全过程。

这篇文章并不是要批评大数据不是一个伟大的工具。但是，像任何工具一样，大数据也有它的长处和弱点。正如耶鲁大学(Yale University)的爱德华•塔夫特(Edward Tufte)所说:“世界比任何其他学科都更有趣。”

大数据的局限性有哪些?这才是大数据工程师必须了解的内容，计算机数据分析擅长于衡量社会互动的“数量”而不是“质量”。网络科学家可以在76%的时间里测量你与6个同事的社交互动，你能处理好吗?如果您还担心自己入门不顺利，可以点击本站其他文章进行学习。

⑶ 大数据发展的根基是什么

大数据发展的根基是什么

大数据活在“云端”！唯有云计算能让大数据找到自己的轨迹和存在的真正价值；但大数据不是无根的浮云，它有自己的根，源源不断输送数据的根。

那么，大数据的“根”在哪里？日前国务院出台的《促进大数据发展行动纲要》(以下简称《行动纲要》)或许可以让我们找到答案。

《行动纲要》明确提出了促进大数据发展的三大重点任务和十项工程。三大重点任务之首即加快政府数据开放共享，推动资源整合；十项工程前四大工程涉及政府信息，即：政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程。不难发现，三大重点任务、十项工程的关键词就是共享，而政府数据的开放共享是核心。

共享是大数据的“根”

大数据与云计算，或许就像一枚神奇的金币之正反面，让许多人感觉“云里雾里”、亦真亦幻，却又能真切地感受到金币的光芒。

什么是大数据？按照维基网络的定义，大数据是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的基本特点可以概括为“4V”：大量化(Volume)多样化(Variety)、快速化(Velocity)、价值化(Value)，即海量的数据规模、快速的数据流动和动态的数据体系、多样的数据类型、巨大的数据价值。

而《大数据时代》的作者维克托·迈尔·舍恩伯格给出的解释或许更易于理解，他认为，“大数据”并不是很大或者很多数据，并不是一部分数据样本，而是关于某个现象的所有数据。比如说关于一家企业的数据信息，除了企业名称、法定代表人、注册资本、经营范围等基本信息外，还包括财务信息、经营信息、外部关联关系、诚信状况等信息。大量、多维、立体、交织信息的汇集，就可以为不同主体、基于不同需求分析企业提供数据基础。

如果将单个或局部领域的数据及其挖掘处理视为小数据，那么关于某一主体的大数据就是由成千上万、相互关联、相互交织的小数据汇聚而成的。小数据的充分融合，就是大数据形成的根基。譬如一滴水，唯有与别的水滴融合在一起，才能形成水流，才能汇成江河、海洋，才能发挥水的价值。这种融合就是共享。没有小数据的共享，就没有大数据生长的“根”。

要从海量的数据中快速地分析、挖掘出有用的信息，单台计算机已难以胜任，必须采用分布式架构，依托云计算的分布式处理、分布式数据和云存储、虚拟化技术，即透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算、分析之后将处理结果回传给用户。这就是与大数据相依相存的云计算。显然，如果没有数据的共享，云计算也是“无米之炊”。

当然，数据能否共享，涉及到数据的开放性、法律边界、数据价值实现等问题，还面临诸多现实障碍。

谁阻碍了数据共享？

当我们沉醉于大数据的奇妙与魔法无边的时候，现实世界却给了我们一记响亮的耳光！我们会沮丧地发现，许多政府公共信息仍处于零散、分割、封闭状态！

各级政府部门在履职过程中掌握了大量的数据信息，其中涉及企业(个人)的数据最为丰富。目前普遍认为比较有用的企业信息大致包括四个方面。

一是反映企业基本情况的信息。包括：工商部门提供的企业注册登记信息，注册资本、股东及高管变更情况等；环保部门提供的企业环境违法处罚信息、环评审批、排污许可证和排污权抵押登记情况等；质监、安监、食品药监、卫生等部门提供的各项资质信息。

二是反映企业真实经营状况的信息。包括：税务部门提供的企业应税销售额，纳税、退税情况等；人力社保部门提供的企业社保缴纳、劳动争议情况、劳动保障书面审查信息等；海关部门提供的进出口信息、企业报关情况等；水、电、气部门提供的缴费及欠费情况等。

三是反映企业及企业主资信状况及守法情况的信息。包括：公安、法院等部门提供的企业或企业主的司法诉讼、执行、查封信息等；工商、环保、人社、税务、质监、安监、食品药监、卫生、海关等部门提供的处罚信息。

四是反映企业融资、财产抵质押、对外担保等情况的信息。包括：人民银行[微博]征信系统提供的贷款、质押信息，工商部门提供的股权转让、抵押、查封信息等；房产部门提供的房地产权属、抵押、查封、租赁信息等。

这些涉及企业的各种信息资源散落在不同的政府管理部门，总体处于彼此分割、孤立、封闭状态，没有实现数据之间的共享、连接和融合，更谈不上大数据价值的体现。

尽管近年来，各级政府都在积极搭建公共信用信息平台，推动社会征信体系建设，特别是《国务院关于印发社会信用体系建设规划纲要(2014—2020年)的通知》出台后，步伐进一步加快，各部门也大多建立了自身的信息管理系统，但部门之间信息不共享或共享不充分仍是常态。即使有一些全国性、地区性的统一信息平台，如“全国企业信用信息公示系统”“信用浙江”等，所含企业信息也非常有限，且不完整、不及时。

这种信息割裂的状态，不仅不利于大数据的发展，从眼前看，则对具体运用大数据的相关主体的发展形成阻碍。比如，银行业在服务实体经济特别是小微企业过程中，面临的突出瓶颈之一，就是信息瓶颈。银行业开展小微企业信贷业务面临的最大困惑是信息不对称。信息的不对称使银行在发放小微企业贷款时难免“如履薄冰”，顾忌甚多。因此，能否切实掌握和了解反映企业真实经营状况、企业及企业主资信状况等相关信息，在很大程度上决定了银行对小微企业放贷的意愿以及介入小微企业信贷领域的深度。

目前客观存在的企业信息难共享之格局，根源在于部门利益。相关政府部门在参与公共信用信息平台建设时，出于种种原因，往往叫得响、做得少。一些部门出于自身商业利益，将自身所拥有的大量公共信息视为“私有财产”，以有偿作为提供信息的条件；或以维护商业秘密、涉及部门机密为由，不愿将拥有的、本属于公共资源的企业信息与其他部门共享，或者象征性地扔几根“骨头”，人为造成了企业信息的分割、残缺，也造就了许多“僵尸”信息平台；有些信息的共享按说不应存在障碍，只因为一些数据拥有的部门感觉“吃力不讨好”，缺乏主动提供数据的动力。

当然，也不排除个别地方政府从局部利益出发，对可能影响当地企业发展的行政处罚类负面、失信信息的公开加以阻扰，影响信息数据的共享。深层的原因，则是社会信用体系建设法制化步伐缓慢，公共信息征集机制不健全，对相关部门提供、公开相关政务信息缺乏有效的约束，以及信用信息使用在公开与保密之间的法律边界不清晰。

怎样走向数据共享？

《行动纲要》把加快政府数据开放共享、推动资源整合列为首要任务，把推动政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程等工程建设作为促进大数据发展的基础设施工程。说明政府高层对信息共享问题的高度关注。

显然，推动数据共享的起点是政府部门间的信息共享，而这恰恰是难点所在。这是一个系统性艰巨工程，也是一个渐进的过程，既需要加快社会征信体系的法制化进程，更需要政府及相关部门创新思维。

搭建统一、公开、透明的社会信用信息共享平台，有效整合政府各部门信息。对于拥有各种管理资源的政府而言，搭建一个比较完备的信息平台框架似乎并不难，难就难在能否实现信息的充分共享。如何让信息平台所涉及的政府部门主动、及时、充分地将自身所拥有、可公开的数据信息共享到统一的信息平台，关键是要强化信息征集的行政约束力，建立公共信息共享平台的保障机制。

在现行体制下，笔者以为政绩考核“指挥棒”或是推动信息共享之“神器”。应以推动《社会信用体系建设规划纲要(2014—2020年)》实施、落实政务公开制度为抓手，将公共信用信息共享系统数据信息的报送纳入政府对相关部门的考核，前提是要充分研究和界定各类信息公开的法律边界，特别是在对各类违法违规信息、不诚信行为信息的公开方面，应明确可以采取的共享方式和程度，以打消信息发布各方的顾虑。在此基础上，制定清晰的公共信息共享清单，明确相应的责任与义务。

小数据不能共享，大数据必是空谈。所以，看大势、顾大局、破本位，推进小数据共享，是政府部门在大数据时代应有的思维。

以上是小编为大家分享的关于大数据发展的根基是什么的相关内容，更多信息可以关注环球青藤分享更多干货

⑷ 什么是大数据时代

世界包含的多得难以想象的数字化信息变得更多更快……从商业到科学，从政府到艺术，这种影响无处不在。科学家和计算机工程师们给这种现象创造了一个新名词：“大数据”。大数据时代什么意思?大数据概念什么意思?大数据分析什么意思?所谓大数据，那到底什么是大数据，他的来源在哪里，定义究竟是什么呢?

七：最后北京开运联合给您总结一下

不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

1、从大数据的价值链条来分析，存在三种模式：

1)手握大数据，但是没有利用好;比较典型的是金融机构，电信行业，政府机构等。

2)没有数据，但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。

3)既有数据，又有大数据思维;比较典型的是Google，Amazon，Mastercard等。

2、未来在大数据领域最具有价值的是两种事物：

1)拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益;

2)还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。

大数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域，有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇，需要不断跟踪研究大数据，不断提升对大数据的认知和理解，坚持技术创新与应用创新的协同共进，加快经济社会各领域的大数据开发与利用，推动国家、行业、企业对于数据的应用需求和应用水平进入新的阶段。