‘壹’ 大数据起源,给你解析到底什么是大数据
大数据,英文名big data。因为传播已经成为习惯,我们并没有过多的去思考为什么用big data去描述,但是现在我们仔细回味一下,会发现大数据这个大为什么不用large为什么不用海量vast呢?归根结底我们可能就需要从语法上,来分析一下,它们三个之间的区别。big形容大小。更多的时候,是一种比较行为上的大,是种相对来说的感觉,而large和vast更多的时候形容的是的是一种形体上的巨大。
那么现在来推敲一下big data这个词,大数据这个大其实是一种相对的说法是相对于传统的数据体量来说的,过去任何时候的数据相对于现在来说都显得太过于渺小,而现在我们所说的大数据是一种量变最后达到了质变的概念。
数据这个词最早在媒体上风靡应该是2007年左右。往上追溯应该就是05年谷歌参加有美国官方举办的一个机器翻译大赛,最终由于使用了海量的相关数据而夺得第一,在那之后大数据这个概念渐渐的被业内人士所传播。那么到底什么是大数据呢?
大数据顾名思义,最表象的特征就是数据量够大。但是仅仅数据量够大,并不能构成大数据整体的含义。如果是海量杂乱无章,互之间没有关联的数据,即便再怎么定义,它也算不上是大数据。就譬如一个人体内的基因图谱,详细的基因图谱数据如果记录出来是一个很大体量的,但是没有意义。
大数据而且还有个概念,那就是多维度。在十年前,如果说国内哪一家公司最有资格说大数据的,那无疑是网络了。作为一个独占13亿用户专属的搜索公司来说,网络对于用户画像的记录,无疑是多维的。网络搜索,至今记录了无数用户每天在互联网上搜索的问题,或者说知识。在时间维度上用户对某些词汇搜索的频次高低这些都是数据。它可以通过对注册用户的甄别就可以知道搜索这个词汇或者是这个问题的用户是男生还是女生?年龄分布是是小孩、青年抑或是一个中年大叔?再到后来个人电脑开始普及,通过记录ip等信息,根据ip搜索的网络的问题的分类,可以判断中国各个区域,是南方富裕一点,还是北方富裕点?是江苏人更爱吃,还是闽南人更喜欢谈论吃?网络完全可以根据自己的数据生成得到国内各种关于此类的数据,普查之后所能得到的答案这就是因为网络所具有的数据是一个多维度的数据。他的数据收集过程,是一个长期的持续性的工作。
除了网络之外,腾讯的qq确实每年都会有一个关于qq的城市报告。它会根据qq的用户数据,甚至于至于活跃地点。在一个大的范围内青年QQ用户的占比,最终可以得到中国城市年轻度排行榜。可以根据这些数据判断,哪一个城市是,年轻人毕业之后最愿意去的。可以判断哪一个城市的,年轻人毕业之后,是回归率最高的。也可以判断哪一个城市的人才流失率更低,更容易留住外来人才。这些都是大数据多维度的应用。
大数据还有一个非常重要的特点,那就是全面性。经常在某些大型活动之前我们都会遇到。某些公司对于这件事情,会做出预测。然后最终的结果让我们大失所望。预测无疑是需要基于数据基础的预测,如果这个数据不够全面的话,最终的预测结果肯定相差甚大。
关于数据全面性有一个最经典的案例这是12年美国大选大选事件。一个名叫斯威尔的年轻人,利用大数据预测。成功预测出了51个州的选举果,要知道这在之前是从来没有发生过的事情。美国大选在之前就一直有专业的预测机构做预测,但是就连这种长期做数据,分析的公司都从来没有如此成功的预测过。那是因为斯威尔将网上所有关于选举的数据,包括新闻稿,以及facebook和推特上面人们关于选举的言论,所有的数据都做了甄选处理。这份数据反映的是网民全面几乎没有遗漏的想法,最终得到了某种程度上来说,比较具有完备性的数据,所以能够如此成功的预测13年美国大选的结果。
‘贰’ 大数据主要来源于什么
来源:从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
(2)大数据起源是什么扩展阅读:
大数据离不开云处理,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。
想要系统的认知大数据,必须要全面而细致的分解它,着手从三个层面来展开:
第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。
第二层面是技术,技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。
第三层面是实践,实践是大数据的最终价值体现。在这里分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。
‘叁’ 大数据的三大主要来源
1、开源数据
开源数据包括了互联网数据、移动数据网数据,互联网平台和移动互联网平台通过采、编、发或者通过用户互动产生的数据,公之于众,供网民或用户访问、浏览。
2、业务数据
业务数据产生于各单位的信息化系统中,尤其是内部的信息化系统,我们统称为业务系统。在目前的单位业务系统中,存在于单位的OA系统或者CRM之中,其中蕴含了大量的工作数据和交易数据,以及客户管理数据,包括交易数据、流水数据、记帐数据、借款数据、贷款数据等业务数据,这些数据构建了每天的系统日志,同时又是帐户余额、信用额度、购买能力等的有力补充,这些数据不仅对生产系统起到计费支撑作用,同时也是用户(银行客户、电力客户、担保公司等)进行相关决策的重要基础,所以目前很多单位需要对这些数据进行查询统计和分析。
3、线路数据
无论是互联网还是各种内网,任何的网络行为都需要经过“线路”进行链接和交互,而在这条线路上,要经过无数的路由交换得以完成,这条线路在完成链接的同时,也记录与存贮了大量的数据,我们统称为线路数据。
‘肆’ 大数据的起源是金融还是公共管理,互联网
大数据的起源是互联网。大数据目的是为了更好了解客户喜好,它将海量碎片化的信息数据进行筛选、分析,并最终归纳、整理出企业需要的咨讯。而这些海量的信息则来源于互联网。
资料扩展
大数据主要的几个应用领域及发展前景
1.电商行业是最早利用大数据进行精准营销,它根据客户的消费习惯提前生产资料、物流管理等,有利于精细社会大生产。
2.大数据在金融行业应用范围是比较广的,它更多应用于交易,现在很多股权的交易都是利用大数据算法进行,这些算法现在越来越多的考虑了社交媒体和网站新闻来决定在未来几秒内是买出还是卖出。
3.大数据还被应用改善我们日常生活的城市。例如基于城市实时交通信息、利用社交网络和天气数据来优化最新的交通情况。目前很多城市都在进行大数据的分析和试点。
4.基因技术是人类未来挑战疾病的重要武器,科学家可以借助大数据技术的应用,从而也会加快自身基因和其它动物基因的研究过程,这将是人类未来战胜疾病的重要武器之一,未来生物基因技术不但能够改良农作物,还能利用基因技术培养人类器官和消灭害虫等。
‘伍’ 大数据来源于什么
早在1980年,着名未来学家托夫勒在其所着的《第三次浪潮》中就热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。2008年9月《自然》杂志推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇。
到了2011年6月,麦肯锡公司看到了各种网络平台记录的个人海量信息具备潜在的商业价值,于是投入大量人力物力进行调研,并发布了关于“大数据”的报告,该报告对“大数据”的影响、关键技术和应用领域等都进行了详尽的分析。麦肯锡的报告得到了金融界的高度重视,而后逐渐受到了各行各业关注。
‘陆’ 大数据信息来源于哪里为什么有虚假
大数据概念最初起源于美国,是由思科、威睿、甲骨文、IBM 等公司倡议发展起来的。大约从2009年始,“大数据”成为互联网信息技术行业的流行词汇。
大数据是一个不断演变的概念,当前的兴起,是因为从IT技术到数据积累,都已经发生重大变化。当今世界,大数据无处不在,它影响到了我们的工作、生活和学习,并将继续施加更大的影响。
关于“大数据”概念产生的来龙去脉:
“大数据”的名称来自于未来学家托夫勒所着的《第三次浪潮》
尽管“大数据”这个词直到最近才受到人们的高度关注,但早在1980年,着名未来学家托夫勒在其所着的《第三次浪潮》中就热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇.
最早应用“大数据”的是麦肯锡公司(McKinsey).对“大数据”进行收集和分析的设想,来自于世界着名的管理咨询公司麦肯锡公司。麦肯锡公司看到了各种网络平台记录的个人海量信息具备潜在的商业价值,于是投入大量人力物力进行调研,在2011年6月发布了关于“大数据”的报告,该报告对“大数据”的影响、关键技术和应用领域等都进行了详尽的分析。麦肯锡的报告得到了金融界的高度重视,而后逐渐受到了各行各业关注。
“大数据”的特点由维克托•迈尔-舍恩伯格和肯尼斯•库克耶在《“大数据”时代》中提出维克托•迈尔-舍恩伯格和肯尼斯•克耶编写的《大数据时代》中提出:“大数据”的4V特点:
Volume(数据量大)
Velocity(输入和处理速度快)
Variety(数据多样性)
Value(价值密度低)
‘柒’ 人人都在说大数据,那大数据概念是怎么产生的
概念产生:
“大数据”的名称来自于未来学家托夫勒所着的《第三次浪潮》 尽管“大数据”这个词直到最近才受到人们的高度关注,但早在1980年,着名未来学家托夫勒在其所着的《第三次浪潮》中就热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇。
‘捌’ 大数据有哪些来源
大数据分析的数据来源有很多种,包括公司或者机构的内部来源和外部来源。分为以下几类:
1)交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户关系管理(CRM)系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。
2)移动通信数据。能够上网的智能手机等移动设备越来越普遍。移动通信设备记录的数据量和数据的立体完整度,常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件,从运用软件储存的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)等。
3)人为数据。人为数据包括电子邮件、文档、图片、音频、视频,以及通过微信、博客、推特、维基、脸书、Linkedin等社交媒体产生的数据流。这些数据大多数为非结构性数据,需要用文本分析功能进行分析。
4)机器和传感器数据。来自感应器、量表和其他设施的数据、定位/GPS系统数据等。这包括功能设备会创建或生成的数据,例如智能温度控制器、智能电表、工厂机器和连接互联网的家用电器的数据。来自新兴的物联网(Io T)的数据是机器和传感器所产生的数据的例子之一。来自物联网的数据可以用于构建分析模型,连续监测预测性行为(如当传感器值表示有问题时进行识别),提供规定的指令(如警示技术人员在真正出问题之前检查设备)等。
5)互联网上的“开放数据”来源,如政府机构,非营利组织和企业免费提供的数据。