将大数据看作原油过程是什么

‘壹’ 大数据被称为21世纪的石油和金矿它具有哪四大特征

价值，多样，大量，高速。
石油是指气态、液态和固态的烃类混合物，具有天然的产状。石油又分为原油、天然气、天然气液及天然焦油等形式，但习惯上仍将“石油”作为“原油”的定义用。
金矿指金矿石或金矿床（山）。金矿石是具有足够含量黄金并可工业利用的矿物集合体。金矿山是通过采矿作业获得黄金的场所，是通过成矿作用形成的具有一定规模的可工业利用的金矿石堆积。

‘贰’ 大数据创业 数据哪里来

大数据创业：数据哪里来？需要跨过几道坎？

这篇文章考虑了很久也没下笔，一方面想写得干货一些，一方面又想写得引人入胜一些，纠结来纠结去，终于决定还是以一个中立的用户角度去写，尽量写得大众化一些。

2013年5月10日，在淘宝十周年晚会-马云退休演讲中，马云说：这是一个变化的时代。还有人没搞清楚PC，移动互联网来了；还没搞清楚移动互联网，大数据来了。而变化的时代是年轻人的时代。

马云说的这句话很关键，他不仅提到了大数据，而且更是用一句话阐述了互联网从PC时代，进化到移动互联网时代，然后从移动互联网时代进阶到了大数据时代。有几个关键点很重要：PC时代，全球催生了大量的互联网上市企业，包括谷歌、亚马逊、新浪、搜狐、新东方等等；

移动互联网时代，中国创业热潮风生水起，不仅有大量的移动互联网（包括手游）企业赴美上市，更是诞生了无数个创业奇迹。移动互联网不仅为我们的生活带来了便利，更是把创业热潮推向了历史最高峰。

现在问题来了，大数据时代，创业热潮是不是应该比移动互联网时代更加热闹呢？大数据时代如何创业？大数据创业的门槛又有哪些呢？

先回答第一个问题：大数据时代，创业热潮是不是应该比移动互联网时代更加热闹呢？

据我了解，不是。走在中关村创业大街上，你能收到的100份融资BP里，可能有99份都是APP和O2O项目，但99家里90%以上会重视大数据。

那么大数据时代如何创业呢？请先了解一下大数据的创业门槛。

大数据大数据，没有数据怎么玩？那么数据从哪里来呢？

像网络、腾讯和阿里巴巴这样的BAT企业，本身就积累了大量的数据，所以他们玩起大数据来，多半是“闷声发大财”。当然了，也可以说几句BAT企业玩大数据的例子，比如说网络旗下的“网络迁徙”、“网络精算”、“网络舆情”、“网络大数据预测引擎”等等，都是网络的大数据产品应用；阿里巴巴的话，“阿里云”、“支付宝-花呗”、“支付宝-借呗”“芝麻信用”、“蚂蚁金服”等等，都应有了大数据技术。而腾讯方面，“腾讯广点通”、“腾讯云分析”和微信等也都引用了大数据技术。

尔等屌丝没有数据，如何玩呢？

首先，你可以通过第三方购买数据，比如说，数据堂就有很多数据出售和分享；
其次，你可以用爬虫爬回一些数据来存储；
再者，通过给企业、开发者、站长等等授权使用大数据工具来积累数据。这方面的新创企业包括Talkingdata、友盟和DataEye等。
最后，使用免费的政府、企业、和机构开放数据。比如说高德数据的API接口和微博商业数据API接口等等。

总体来说，解决好数据源是大数据创业的必要门槛。关键看你创业的项目是什么。

在北京，我曾经参观过一家大数据初创企业，当时他们还没有拿到融资。我去他们的办公区发现一幕特别心酸的事情。他们的员工挤在一间很小的屋子里办公，而两件较大的屋子都用来安放大数据存储服务器。大数据的存储量是很惊人的，这对机房和硬件设备也提出了新的挑战。

这一点和移动互联网不太一样，你做一个APP，用电脑搞开发，服务器用云服务器就行，按需购买。但是大数据不行，你没法把自家的数据存储在别人的云服务器上，一方面是安全因素，另外一方面也有产权因素。

硬件也是大数据创业的门槛之一，但不是最大 的门槛。顺便补充一句，我曾经参观过的那家大数据新创企业，目前已完成百万美元的A轮融资，现在他们家的办公区特别宽敞，恭喜星图数据。

我认为大数据创业的最大门槛在于人才。和做APP不一样，大数据创业你一个人乃至几个人都是没法玩转的。初创企业你就往10-15人这样的团队先招人吧，这样的团队要包括Hadoop工程师、算法工程师，数据建模工程师、架构师、NoSQL工程师、BI工程师等等，全都是技术要求较高、薪资要求也很高的人才。

大数据人才有多贵？在美国，在R、NoSQL和MapRece方面需求的专业人才薪水达到了每年约11万5千美元，在中国也便宜不到哪里去，没有年薪30万，你很难招到一个大数据人才。

也就是说，技术很牛的大数据人才，他的选择面很宽，要么早就进入BAT企业，要么也是在不错的企业拿着高薪，你要挖这样的人才，除了钱，股票、期权、福利等等，都是必须付出的代价。

2015年-2016年是大数据人才最为匮乏的两年，原因很简单，各大刚刚开通了大数据科目的院校，学生还没毕业；而招聘市场上的大数据人才需求量远远已经供不应求。除了BAT企业，通信企业、电力企业、金融银行行业、医疗行业、工业、游戏行业等等，哪个行业不是都在招大数据人才？创业公司要在这么严峻的人才环境中找到适合自己的大数据技术人才，门槛可不止是钱。

说了人才，就要说技术了。大数据技术不是你懂C++或者R语言就够了的，大数据有一整套自己的技术体系，包括统计、编程、JAVA、数据库、Hadoop、Spark、NoSQL、机器学习、自然语言处理、算法、数据可视化等等技术。光是Hadoop需要用到的技术和编程语言就有很多项。

而且市面上的大数据工具每家用的还不一样，用开源软件（如Hadoop、Spark）或者用SAP（SAP HANA）需要的技术也不一样。技术要求较高，而拥有大数据综合技术的人才又较少，这也成为了制约大数据创业的最大问题。

其实我不想写钱，但是又必须写钱。大数据行业创业不缺资本，只要你创业项目的商业模式没问题，并且技术能力强，且团队靠谱，无论在中国还是在美国，融个A轮还是没有问题的，资本关注度很热。但是你在拿到融资之前，自己启动的资金就需要一大笔。人才、硬件和技术成本都较高。

这么理解吧，如果说，几个好朋友凑50万花3个月可以做一个APP项目，那么要在大数据行业创业的话，请先准备600-800万再来玩。

中国互联网上最赚钱的行业是什么？我认为是电子商务和网络游戏。电子商务和网络游戏也是互联网变现最快的行业。而大数据，它的变现能力不如网络游戏和电子商务那般简单直接。在我拜访过的很多企业中，他们手里有钱、有数据、有人才也有技术，但是他们不知道自己手里的数据可以拿来做什么。

也就是说，大数据目前没有最明朗最直接的商业模式。大数据只有和业务场景结合，才能产生价值。

大数据就像石油原油一样，你知道它在哪里，你可以开采它，但是开采出来你还需要冶炼，并且经过减压蒸馏、加氢精制、溶剂精制、溶剂脱蜡等炼制过程，成为成品油后运送到各个加油站，让汽车加满油后产生了动力才实现最终价值。大数据也一样，需要一整套复杂 的过程才能实现商业价值。

那么你可能会问了，大数据交易算不算是商业模式呢？我个人觉得，要看交易的是什么东西？原始的非结构化的数据，后面数据清洗需要太多的工序，数据存储也是很大的成本，这样的交易代价太高。我相信无论是企业用户也好，还是个人用户也好，大家更倾向于购买“拿来就能用”的大数据数据源。

你说京东和腾讯完成首笔大数据交易，我觉得就是一个笑话，京东和腾讯的大数据不早就整合在一起了么？我用微信直接就能在京东购物，数据是互通的，何必交易？

所以说，大数据创业最难的还是在于商业模式的思考，如果你没有找到一条让大数据变现的渠道，那么千万不要忙着拉团队创业。大数据行业创业，光有idea是不够的，跑通整个商业模式才是关键。

以上是小编为大家分享的关于大数据创业 数据哪里来？的相关内容，更多信息可以关注环球青藤分享更多干货

‘叁’ 油气储运计算机技术应用是什么

油气储运过程中的安全问题，可以借助当前物联网、人工智能、可视化等前沿技术，辅助管理。

将大数据，云计算，物联网等先进技术与油气管道业务相融合，实现异常数据智能化预警、设备 GIS 信息动态展示等功能。从而达到降低运营成本，提高生产效率，减少安全隐患的目的，进而促进管道管理的标准化，规范化和智能化进程。

助力低碳生产：低碳目标下，能源领域的数字化、智能化转型作用更加凸显。能源数字化的意义，不仅在于把人从繁重体力劳动中解放出来，对企业还有诸多好处。通过油气管道数字孪生系统，对运维数据进行实时展示，可以提升管理效率和生产效率，促进绿色低碳转型。

站场智能管控：西气东输站场运维具有多气源、多用户、用户需求种类多的迅历特点，供气保障难度高，站场管控压力大。为了降低站场运行风险，团昌宏提高管网运营效率，基于运行数据，利用强大的渲染能力，搭建的可视化解决方案，形成了集中监视的高效管控模式，实现站场分输远程自动控制，推动输气管道站场管理智能化转型，使站场运营管控效率显着提升。

设备风险智能管控：通过对压缩机组运行数据进行关联性分析，建立智能健康感知模型，生成健康状态量化评估指标。

在数据可视化领域耕耘多年，面向油气储运用户，成功研发出智慧油气管道可视化管理系统。综合了物联网、人工智能、大数据、通信技术、GIS、可视化等多种技术，对油气管道运维全生命周期数据进行统一管理与维护，系统涵盖产量分析、能耗分析、设备运维、安全防护以及厂区监控等板块。

通过可视化技术实现对日常运维的辅助决策、智能状态感知、智能数据分析、智能信息发布、智能设备管理、智能业务管理六大功能。2D 面板采用曲线图、趋势图、统计图等多种图表，实现分输量数据、进出站压力、压缩机运行状态、设备完整性、电能波形、综合流程分析等数据的实时可视化展示。

随着西气东输的不断推进，我国油气管道里程数不断增加，传统管道运维过程中数据采集人工化、异常报警不及时、设备智能化水平等不断凸显。未来Hightopo将继续坚定不移推进智慧管道的智能化运营体系构建，努力为天然气与管道行业的高质量发展提供更多有益探索。

‘肆’ 什么和什么是数据收集的两大重要渠道引导了大数据时代的来临

让大数据区别于数据的，是其海量积累、高增长率和多样性

什么是数据？数据（data）在拉丁文里是“已知”的意思，在英文中的一个解释是“一组事实的集合，从中可以分析出结论”。笼统地说，凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的，就可称之为数据。古人“结绳记事”，打了结的绳子就是数据。步入现代社会，信息的种类和数量越来越丰富，载体也越来越多。数字是数据，文字是数据，图像、音频、视频等都是数据。

• 什么是大数据呢？量的增多，是人们对大数据的第一个认识。随着科技发展，各个领域的数据量都在迅猛增长。有研究发现，近年来，数字数据的数量每3年多就会翻一番。

• 大数据区别于数据，还在于数据的多样性。正如高德纳咨询公司研究报告指出的，数据的爆炸是三维的、立体的。所谓的三维，除了指数据量快速增大外，还指数据增长速度的加快，以及数据的多样性，即数据的来源、种类不断增加。

• 从数据到大数据，不仅是量的积累，更是质的飞跃。海量的、不同来源、不同形式、包含不同信息的数据可以容易地被整合、分析，原本孤立的数据变得互相联通。这使得人们通过数据分析，能发现小数据时代很难发现的新知识，创造新的价值。

通过数据来研究规律、发现规律，贯穿了人类社会发展的始终。人类科学发展史上的不少进步都和数据采集分析直接相关，例如现代医学流行病学的开端。伦敦1854年发生了大规模的霍乱，很长时间没有办法控制。一位医师用标点地图的方法研究了当地水井分布和霍乱患者分布之间的关系，发现有一口水井周围，霍乱患病率明显较高，借此找到了霍乱暴发的原因：一口被污染的水井。关闭这口水井之后，霍乱的发病率明显下降。这种方法，充分展示了数据的力量。

本质上说，许多科学活动都是数据挖掘，不是从预先设定好的理论或者原理出发，通过演绎来研究问题，而是从数据本身出发通过归纳来总结规律。近现代以来，随着我们面临的问题变得越来越复杂，通过演绎的方式来研究问题常常变得很困难。这就使得数据归纳的方法变得越来越重要，数据的重要性也越发凸显出来。

大数据是非竞争性资源，有助于政府科学决策、商家精准营销

大数据时代，数据的重要作用更加凸显，许多国家都把大数据提升到国家战略的高度。

政府合理利用大数据，引导决策的将是基于实证的事实，政府会更有预见性、更加负责、更加开放。中国古代治国就已经有重数据的思想，如商鞅提出，“强国知十三数……欲强国，不知国十三数，地虽利，民虽众，国愈弱至削”。大数据时代，循“数”治国将更加有效。小数据时代，政府做决策更多依凭经验和局部数据，难免头痛医头、脚痛医脚。比如，交通堵塞就多修路。大数据时代，政府做决策能够从粗放型转向集约型。路堵了，利用大数据分析，可以得知哪一时间、哪一地段最容易堵，或在这一地段附近多修路，或提前预警引导居民合理安排出行，实现对交通流的最佳配置和控制，改善交通。

对于商家来说，大数据使精准营销成为可能。一个有趣的故事，是沃尔玛超市的“啤酒、尿布”现象。沃尔玛超市分析销售数据时发现，顾客消费单上和尿布一起出现次数最多的商品，竟然是啤酒。跟踪调查后发现，有不少年轻爸爸会在买尿布时，顺便买些啤酒喝。沃尔玛发现这一规律后，搭配促销啤酒、尿布，销量大幅增加。大数据时代，每个人都会“自发地”提供数据。我们的各种行为，如点击网页、使用手机、刷卡消费、观看电视、坐地铁出行、驾驶汽车，都会生成数据并被记录下来，我们的性别、职业、喜好、消费能力等信息，都会被商家从中挖掘出来，以分析商机。

大数据也将使个人受益。从生物学、医学上讲，以前生物学家只是通过对单个或几个基因的操控来观察其对生物体的影响，很难发现整体的关联。现在由于技术的发展，可以分析很多，如遗传信息、全体基因的表达量信息、蛋白质族谱信息、全基因组甲基化信息、表观遗传信息等。同时还有个人健康指标、病历、药物反应等数据。如果真能达成生物学上多维多向数据的有机融合，就能够把个人完整地描述出来，从而实现精准医疗的目的。

大数据时代，审核数据的真实性也有了更有效的手段。大数据的特征之一是多样性，不同来源、不同维度的数据之间存在一定的关联度，可以交叉验证。例如，某地的工业产值虚报了一倍，但用电量和能耗却没有达到相应的规模。这就是数据异常，很容易被系统识别出来。发现异常后，相关部门再进行复核，就能更有针对性地防止、打击数据造假。

数据是一种资源，但数据又跟煤、石油等物质性资源不一样。物质性资源不可再生，你用多了，别人就用少了，因而很难共享。数据可以重复使用、不断产生新的价值。大数据资源的使用是非恶性竞争的，共享的前提下，更能够制造双赢。从另一个角度来说，数据如果不被融合、联系在一起，也不能称之为大数据。

大数据不能被直接拿来使用，统计学依然是数据分析的灵魂

现在社会上有一种流行的说法，认为在大数据时代，“样本 = 全体”，人们得到的不是抽样数据而是全数据，因而只需要简单地数一数就可以下结论了，复杂的统计学方法可以不再需要了。

在我看来，这种观点非常错误。首先，大数据告知信息但不解释信息。打个比方说，大数据是“原油”而不是“汽油”，不能被直接拿来使用。就像股票市场，即使把所有的数据都公布出来，不懂的人依然不知道数据代表的信息。大数据时代，统计学依然是数据分析的灵魂。正如加州大学伯克利分校迈克尔·乔丹教授指出的：没有系统的数据科学作为指导的大数据研究，就如同不利用工程科学的知识来建造桥梁，很多桥梁可能会坍塌，并带来严重的后果。

其次，全数据的概念本身很难经得起推敲。全数据，顾名思义就是全部数据。这在某些特定的场合对于某些特定的问题确实可能实现。比如，要比较清华、北大两校同学数学能力整体上哪个更强，可以收集到两校同学高考时的数学成绩作为研究的数据对象。从某种意义上说，这是全数据。但是，并不是说我们有了这个全数据就能很好地回答问题。

一方面，这个数据虽然是全数据，但仍然具有不确定性。入校时的数学成绩并不一定完全代表学生的数学能力。假如让所有同学重新参加一次高考，几乎每个同学都会有一个新的成绩。分别用这两组全数据去做分析，结论就可能发生变化。另一方面，事物在不断地发展和变化，同学入校时的成绩并不能够代表现在的能力。全体同学的高考成绩数据，仅对于那次考试而言是全数据。“全”是有边界的，超出了边界就不再是全知全能了。事物的发展充满了不确定性，而统计学，既研究如何从数据中把信息和规律提取出来，找出最优化的方案；也研究如何把数据当中的不确定性量化出来。

所以说，在大数据时代，数据分析的很多根本性问题和小数据时代并没有本质区别。当然，大数据的特点，确实对数据分析提出了全新挑战。例如，许多传统统计方法应用到大数据上，巨大计算量和存储量往往使其难以承受；对结构复杂、来源多样的数据，如何建立有效的统计学模型也需要新的探索和尝试。对于新时代的数据科学而言，这些挑战也同时意味着巨大的机遇，有可能会产生新的思想、方法和技术。

‘伍’ 大数据会改变人们的思维

大数据会改变人们的思维

一讲到大数据，通常都会提到4个V：量大（Volume），积累速度高（Velocity），数据的产生多源化（Variety），数据笼统噪音大（Voracity）。然而，这些只是对大数据在互联网时代超高速增长现象的描述。大数据真正的意义和价值是它改变了我们的思维方式。这就是大数据思维。

大数据思维能使我们在决策过程中超越原有思维框架的局限。每个人都是依据自己对现实的认识和判断而不是现实本身作出行动决策的。以数据为基础的智能决策有两个步骤。第一是对事物的理解和判断，第二是作出行动决策（不行动也是一种决策）。行动决策会受到决策者价值取向的影响。比如，二次大战末美国打到日本沿岸并调集了比攻打德国时诺曼地登陆更多的军舰云集太平洋准备对日本本土发起攻击。根据对攻占几个日本岛屿所造成伤亡数据的分析，美军预测攻占日本本土将要付出50万美军伤亡的代价。在这个判断的基础上，美国总统杜鲁门做出了向日本投原子弹的决定。结果是减少了美军的伤亡但造成了几十万日本平民的死亡和持续至今的辐射危害，其价值取向是很清楚的。

人们对事物的理解和判断会受制于自身思维框架的局限。一个物理学家在分析一件事物时，会很自然地应用物理定律来思考、理解和判断。所用的概念和语言也会有物理特征（时间、速度、场、重量、质量、作用力、反作用力等等）。一个社会科学家在分析一件事物时，脑子里出现的框架是人际关系、社会地位、历史背景、社会效益等等。所用的概念和语言带有社会人文特征。搞理论工作的和搞实际工作的思维框架也很不同，前者重视逻辑性、系统性，而后者更重视时间性和可行性。即使是同行业的人也会因年龄、经历、环境、学历不同而产生不同的思维框架。当同一现象和信息进入不同人的脑子里时，它会被不同的思维网路过滤、不同的思维方式处理，最后的结果是对同一现实产生不同解读。没有一个思维框架，我们无法理解和判断一件事物。但思维框架本身又对我们的认知产生了一个很难逾越的局限。

大数据思维不是从某个人的思维框架出发，而是让海量数据碰撞，寻找相关性，先看到结果再分析原因。这就冲破了原有思维框架的局限。比如，美国一家零售商在对海量的销售数据处理中发现每到星期五下午，啤酒和婴儿尿布的销量同时上升。通过观察发现星期五下班后很多青年男子要买啤酒度周末而这时妻子又常打电话提醒丈夫在回家路上为孩子买尿布。发现这个相关性后，这家零售商就把啤酒和尿布摆在一起，方便年轻的爸爸购物，大大提高了销售额。

大数据思维可以引发城市管理的新方法。自从美国大使馆每天公布PM2.5指数以后，城市空气污染的问题得到了中国各个城市政府和市民的重视。每天PM2.5检测数据的采集成为环境保护和管理的一个重要任务。如果一个统计学家按照原有思维框架来设计检测数据采集，他会从统计学原理出发在市区有代表性的不同地点定时采集和上报数据。其结果是数据量有限，费用高，检测覆盖率和准确率低。应用大数据思维，某市环保部门考虑将上万个手持检测仪发放给散居各处的市民检测并通过手机上传数据。通过手机定位，环保部门可以确定每个数据的测量地点和时间，大大提高数据采集的覆盖面和精确度。

大数据思维可以对历史数据的分析提供新思路。中国人讲究作学问要“读万卷书，行万里路”。用大数据思维，读万卷书在今天并非难事。美国的国会图书馆正在将藏书全部数码化。以后通过电脑“看书”搜索关键词，分析相关字条和数据将会非常容易，读万卷书可能只是几小时的“小任务”。美国匹兹堡大学公共卫生学院将记录在报纸、报告、微缩胶片上美国各地自1888年以来有关传染病发生和死亡的多元、碎片、海量的数据收集、整理并数码化。通过数据建模和分析，把一百多年的历史“死”数据变活，建立了1888至2010年美国50多种传染病电子数据档案库。用历史数据证明了免疫苗的发明和使用避免了一亿以上的美国人死于传染病。（见下图）

大数据思维能帮助开创新的商业模式。在美国出现的Uber打车服务和后来中国兴起的滴滴出行（原滴滴打车）是大数据思维产生的经典020（网上网下完美结合）新型商业模式。智能手机在移动互联网时代的普及使实时定位的数据传递和信息沟通成为可能。它为乘客和司机之间的商业交换提供了一个崭新的平台，改变了传统的电话叫车或路边招车，降低了沟通成本和空驶率，极大地节省了司机乘客双方的资源和时间。源源不断的乘车交易和时间地点的电子数据在高速地积累和储存。数据科学家们可以通过对海量数据的分析寻找规律以提高和改进乘客打车出行的体验，找到新的商机和推出新的服务。

大数据思维的核心是要意识到我们已经生活在一个互联网几乎无处不在的世界。互联网将各种信息仪器（手机、电脑、传感器、相机、摄像头、等等）联为一体（物联网），数码化的数据和信息在这个庞大的网上时时刻刻地传递、储存和积累。数码化数据可以被高速处理，而且已经成为新型的、甚至是最有价值的生产资料。矿物可以冶炼成金属、原油可以提炼出汽油，如何将数据加工成信息、产生智能、解决过去无法解决的老问题和开创新的管理和商业模式以产生新价值是对我们的挑战。而迎接这一挑战的第一步就是要懂得和理解大数据思维。

以上是小编为大家分享的关于大数据会改变人们的思维的相关内容，更多信息可以关注环球青藤分享更多干货