导航:首页 > 数据处理 > 大数据的期望膨胀期在多少年

大数据的期望膨胀期在多少年

发布时间:2022-04-29 13:24:28

1. 运营商发展大数据的核心价值在于商业化

运营商发展大数据的核心价值在于商业化
近年来,电信运营商利润率增幅放缓甚至下降,传统话音业务收入增长乏力,日趋边缘化、管道化;数据业务占比迅速增长,但量收的剪刀差持续扩大,投入多回报少。
在运营商转型路上,大数据技术的深入应用与商业模式的开发大有可为,可以说是运营商规避同质化竞争,打造智能数据管道,寻找差异化经营“蓝海”的必由之路。大数据的技术架构寻求高性能与低成本的统一,可以降低电信运营商庞大的IT资本开支压力。大数据的商业应用促使电信运营商从单纯提供网络资源、前向收费方式转变为基于网络资源和依据海量数据资源提供服务的灵活多样的混合模式,是一种新的商业模式。
国内运营商大数据应用受限
国内电信运营商在大数据应用方面主要受到了以下方面的限制。
第一,数据采集散乱、深度不足:电信运营商拥有海量数据的来源,但采集渠道散乱,通常分级、分地区、分系统建设,整体规划不足,数据标准化程度低,汇聚困难,无法形成有效的数据资产。
第二,数据分析能力不足:电信运营商建有以数据仓库为核心的经营分析系统,通常采用小型机加高性能存储架构建设,针对传统话单日志等结构化数据设计,还不具备非结构化数据与流数据的分析处理能力。
第三,数据商业应用不足:电信运营商大量数据尚没有充分发掘数据应有的价值,智能管道的建设正处在初期阶段。现有分析系统仅对内部提供服务,缺乏对外数据开放平台,大量数据未能有效进行商业利用。
电信运营商大数据发展探析
(1)大数据的政策支撑
电信运营商应积极寻求政府的支持,推动政府为大数据产业发展提供积极的政策支撑与引导、对关键技术的研发提供专项财政资金支持、对重点工程项目的实施提供支持与保障。电信运营商应高度重视大数据信息安全,推动政府部门牵头启动大数据立法,解决大数据信息权属与隐私保护问题;制定大数据技术标准与运营标准,规范大数据安全体系。通过政策支撑保障大数据产业的可持续发展。
2012年10月,中国计算机学会和中国通信学会均成立了大数据专家委员会,从行业学会的层面来组织和推动大数据的相关产学研用活动。运营商可以依托该平台推动企业内部大数据的发展。
(2)大数据技术架构与算法的研发
根据2012年美国市场调查咨询公司(Gartner)发布的新兴技术曲线,大数据技术正处于“期望膨胀期”,距离真正成熟尚需2~5年。电信运营商应抓住机遇加强技术研发,在开源技术的基础上,发展适合运营商的大数据技术;同时应积极对技术标准做出贡献,掌握技术主动权。在技术的拓展可主要集中在三个方面:(a)大数据的采集与传输技术。采集技术是指基于智能管道和物联网的大数据获取技术和算法;大数据传输技术研究应注重海量数据传输的安全可靠性,解决调度与控制问题。(b)大数据的存储与分析技术。存储技术主要指面向海量数据文件的有效存储与读取能力、大数据的新型表示方法和去冗降噪算法;分析技术的拓展方向应包括数据可用性和可计算性,计算复杂性问题,研究求解算法,进行高效处理等。(c)大数据的隐私安全技术。在大数据时代,如何保护用户隐私安全不仅是法规层面需要解决的问题,也是电信运营商在技术层面亟待解决的问题。
(3)大数据支撑运营中心
运营商要充分发挥大数据的价值,首要条件是具备采集、融合、存储、分析海量数据的能力。电信运营商可以在现有经分系统或数据仓库的基础上,针对目前数据采集散乱、采集深度不足、分析能力不足的问题,构建数据集中、平台统一的省级或全国级大数据支撑运营中心,为大数据的应用与商业化提供精确支撑。大数据支撑运营中心可以设置如下逻辑架构。
数据采集层:通过建设数据采集聚合网关,汇聚跨地区、跨系统的采集的丰富数据源。
数据融合层:建设海量结构化数据、非结构化数据以及流数据处理能力,建立数据标准化体系,进行统一处理和存储。
数据应用层:通过构建不同的数据挖掘与分析模型,融合结构化数据,形成数据仓库,对外提供统一服务能力。
资源管理层:提供统一监控、资源管理与运营等功能。
(4)大数据应用与商业化
大数据应用与商业化是大数据发展的核心价值与落脚点。电信运营商拥有极其丰富的数据资源,相比互联网公司更具天然优势。对大数据进行全面、深入、实时的分析和应用,以客户体验为核心发展流量经营,是电信运营商应对新形势下挑战避免沦为哑管道的关键。
通过大数据助力业务创新,提供市场营销与客户服务的精准支撑能力。在互联网社会中,拥有数据,就拥有了了解用户行为的基础,从足够多数据的叠加中可以探知一个人的过往行为,同时可以精准的预测出其未来的需求。通过对海量的行为和内容数据处理,可以获得用户的时间、位置、业务、终端等基础信息,分析出用户的身份、兴趣、社交圈等,这样可以开发出很多新的增值业务。
通过大数据提升企业管理水平,提供透明管控与科学运营的精准支撑能力。运营商可以融合市场、财务、网络等多个系统产生的海量数据,将相关联的数据进行处理分析,有利于运营商更全面、更准确、更快速地获得企业运营数据,为投资决策和网络优化方案提供更多视角。
通过大数据发展开放合作平台,开辟新的商业模式,助力电信运营商转型。电信运营商可以通过大数据支撑运营中心发展开放合作平台,为广大开发者提供海量数据资源,发挥大数据的价值,将数据作为资源,进而提升的运营商利润增长点。
大数据技术的发展及规模商用,使得电信运营商能够充分挖掘管道内容,创造新的业务增长模式,应对“去电信化”的趋势,转型为综合信息服务提供商,成为未来大数据时代中最大的赢家。但在推动商业化应用的过程中还应全面认识大数据的内涵,避免陷入单纯的计算能力和存储能力建设,要清醒认识大数据发展的成熟度,客观分析用户的应用需求,避免过度建设

2. 谈谈对当下大数据、云计算、云安全、智慧城市建设的理解

智慧城市是在数字城市、平安城市等基础框架之上建立的全新实体,通过物联网将现实世界与数字世界进行有效融合,自动和实时地感知现实世界中人和物的各种状态和变化,由云计算中心处理其中海量和复杂的计算与控制,为城市管理和公众提供各种智能化的服务。

从国家政策来看,中国“863计划”智慧城市项目总体技术体系架构在科技部863计划“智慧城市(一期)”项目的支持下,863计划智慧城市项目(一期)总体组提出了“六横两纵”的智慧城市技术框架。“六横”层层递进,最下层的是城市的感知层,再是传输层,再上面依次分别是处理层、支撑服务层、应用服务层,最上面是智慧应用层,贯穿全局的是安全保障体系以及标准与评测。

而要真正实现智慧城市,必须引入大数据技术,主要包含三大方面的需求,通过以下三个方面才能实现海量数据的搜集、处理、加工、分析,并真正作用于具体细分行业:

一、大数据融合技术

我国智慧城市建设面临的重大挑战之一,是城市系统之间由于标准问题无法有效集成,形成信息孤岛。因此,在大数据融合技术领域,一方面要加强大数据标准建设,另一方面要加强海量异构数据建模与融合、海量异构数据列存储与索引等关键技术研发,为给予底层数据集成的信息共享提供标准和技术保障。

二、大数据处理技术

大规模数据在智慧城市系统流动过程中,出于传输效率、数据质量与安全等因素的考虑,需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合,这也是目前国际产业界普遍采用的技术方案。

三、大数据分析和挖掘技术

大数据分析与挖掘技术为智慧城市治理提供了强大的决策支持能力。相比于大数据融合和处理技术,大数据分析与挖掘技术更为复杂,是国际学术界和产业界面临的极具挑战性的技术难题。

随着大数据技术的不断发展,以及行业用户对大数据技术的需求日渐明显,大数据行业应用遍地开花。小编通过金鹏信息在智慧城市大数据应用的探索,分享一些国内外的实际案例供借鉴。

1.国内的智慧城市

2013年3月,北京市的“智慧朝阳服务网”正式上线。通过大数据技术的处理、分析手段,从支撑库提炼出数据后发送到服务管理系统,然后通过服务门户,包括微信、微博、移动应用、服务网站、机顶盒等多元化的方式与不同的用户群体进行沟通。

2.国外的智慧城市

瑞典首都斯德哥尔摩市政府在通往市中心的道路上设置了18个路边控制站,通过使用RFID技术以及利用激光、照相机和先进的自由车流路边系统,自动识别进入市中心的车辆,自动向在周一至周五(节假日除外)6:30到18:30之间进出市中心的注册车辆收税。通过收取“道路堵塞税”减少了车流,交通拥堵降低了25%,交通排队所需的时间下降50%,道路交通废气排放量减少了8%-14%,二氧化碳等温室气体排放量下降了40%。

3.智慧医疗

金鹏信息医疗制定了基于英特尔大数据解决方案的区域卫生数据中心建设目标,在郑州区域卫生数据中心形成了完整的大数据解决方案。经过反复测试和调优,这一区域卫生大数据计算架构可以满足海量数据(一亿条以上记录数)的高并发检索和实时数据分析的性能要求,满足了“智慧”的大数据需求。

4.智慧警务

通过充分利用云计算、物联网、大数据和视频智慧分析技术、GIS(地理信息系统)、GPS(全球定位系统)、移动通信网络、移动警务智能系统、数字集成等前沿科技,实现警务工作现代化、智能化、流程化、可视化。

5.智慧交通

郑州建立智能公交系统,使公交车信息就在地图上显示出来:如最近的一辆公交车还有5分钟到站,满员;下一辆公交车还有10分钟到站,有空座,可以选择乘坐;下楼2分钟,走到站台1分钟,余下7分钟,还有时间坐下喝杯热茶。

6.智慧消防

郑州建立智能消防系统,报警人只需拨打119,系统将立刻定位报警人当前位置,并调用位置所在区域监控摄像头,确定灾情地点和火势情况。

7.智慧城市规划

在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息进行挖掘,可以为城市规划提供强大的决策支持,强化城市管理服务的科学性和前瞻性。
金鹏信息智慧城市解决方案

3. 大数据时代,面临的七个挑战和八大趋势

大数据时代,面临的七个挑战和八大趋势

大数据挑战和机遇并存,大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段,大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战,但前景依然非常乐观。

大数据发展的挑战

目前大数据的发展依然存在诸多挑战,包括七大方面的挑战:业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重,导致数据价值不能充分挖掘;数据可用性低,数据质量差,导致数据无法利用;数据相关管理技术和架构落后,导致不具备大数据处理能力;数据安全能力和防范意识差,导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值,但缺乏大数据相关的政策法规,导致数据开放和隐私之间难以平衡,也难以更好的开放。

挑战一:业务部门没有清晰的大数据需求

很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又是非盈利部门,企业决策层担心投入比较多的成本,导致了很多企业在搭建大数据部门时犹豫不决,或者很多企业都处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘自身的数据资产,甚至由于数据没有应用场景,删除很多有价值历史数据,导致企业数据资产流失。因此,这方面需要大数据从业者和专家一起,推动和分享大数据应用场景,让更多的业务人员了解大数据的价值。

挑战二:企业内部数据孤岛严重

企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不一样,这导致企业内部自己的数据都没法打通。如果不打通这些数据,大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。

挑战三:数据可用性低,数据质量差

很多中型以及大型企业,每时每刻也都在产生大量的数据,但很多企业在大数据的预处理阶段很不重视,导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型,对数据进行清洗和去噪,以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因,导致企业的数据的可用性差,数据质量差,数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息,还有对收集到的数据进行很好的预处理处理,才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明,高质量的数据的数据应用可以显着提升企业的商业表现,数据可用性提高10%,企业的业绩至少提升在10%以上。

挑战四:数据相关管理技术和架构

技术架构的挑战包含以下几方面:(1)传统的数据库部署不能处理TB级别的数据,快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库,并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术,在设计的开始就没有考虑数据类别的多样性,尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库,对数据处理时间要求不高,这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据,进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构,需要强大的数据中心来支撑,数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时,减少服务器的低负载情况,成为海量数据中心运维的一个重点工作。

挑战五:数据安全

网络化生活使得犯罪分子更容易获得关于人的信息,也有了更多不易被追踪和防范的犯罪手段,可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多,黑客犯罪的动机比以往都来的强烈,一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们,要加强大数据网络安全的建设。另外,大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。

挑战六:大数据人才缺乏

大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来,大数据将会出现约100万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据,所以拥有大数据的企业应该与学校联合培养人才。

挑战七:数据开放与隐私的权衡

在大数据应用日益重要的今天,数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用,不仅能促进相关产业的发展,也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划,系统之间缺乏统一的标准,形成了众多“信息孤岛”,而且受行政垄断和商业利益所限,数据开放程度较低,这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善,大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此,建立一个良性发展的数据共享生态系统,是我国大数据发展需要迈过去的一道砍。同时,开放与隐私如何平衡,也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私,逐步加强隐私立法,将是大数据时代的一个重大挑战。

大数据发展趋势

虽然大数据仍在起步阶段,存在诸多挑战,但未来的发展依然非常乐观。大数据的发展呈现八大趋势:数据资源化,将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合,行业定制化解决方案将涌现;数据将越来越开放,数据共享联盟将出现;大数据安全越来越受重视,大数据安全市场将愈发重要;大数据促进智慧城市发展,为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。

趋势一:数据资源化,将成为最有价值的资产

随着大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据,大影响》的报告宣传,数据已经成为一种新的资产类别,就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功,并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产,成为提升机构和企业竞争力的有力武器。

趋势二:大数据在更多的传统行业的企业管理落地

一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用,其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此,我们有理由相信,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学,相信大数据在科学管理企业方面有更显着的促进,让更多拥抱大数据的企业实现智慧企业管理。

趋势三:大数据和传统商业智能融合,行业定制化解决方案将涌现

来自传统商业智能领域者将大数据当成一个新增的数据源,而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案,即不仅要能收集、处理和分析企业内部的业务数据,还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外,还希望能结合移动设备的位置信息,这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟,无论是大数据还是商业智能,目的都是为分析服务的,数据全面整合起来,更有利于发现新的商业机会,这就是大数据商业智能。同时,由于行业的差异性,很难研发出一套适用于各行业的大数据商业智能分析系统,因此,在一些规模较大的行业市场,大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。

趋势四:数据将越来越开放,数据共享联盟将出现

大数据越关联越有价值,越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到,美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网,在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作,数据涉及地理位置、交通、经济统计和资格资质等数据;2014年,贵州省也加入数据开放之列,10月份云上贵州正式上线。对于不同的行业,数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息,那么就需要全国,甚至全世界的医疗信息共享,从而可以通过平台进行分析,获取更大的价值。我们相信数据会呈现一种共享的趋势,不同领域的数据联盟将出现。

趋势五:大数据安全越来越受重视,大数据安全市场将愈发重要

随着数据的价值的越来越重要,大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

趋势六:大数据促进智慧城市发展,为智慧城市的引擎

随着大数据的发展,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。

趋势七:大数据将催生一批新的工作岗位和相应的专业

一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求,高校也将逐步开设大数据相关的专业,以培养相应的专业人才。企业也将和高校紧密合作,协助高校联合培养大数据人才。如2014年,IBM 全面推进与高校在大数据领域的合作,引入强大的研发团队和业务伙伴,推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养,建设符合中国教学特色及人才需求的大数据相关学分课程,为未来建设特色专业方向做准备。

趋势八:大数据在多方位改善我们的生活

大数据不仅用于企业和政府,也应用于我们的生活。在健康方面:我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;在出行方面:我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优。在居家生活方面:大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如我们的冰箱可能会在每天一大早建议我们当天的菜谱。

以上是小编为大家分享的关于大数据时代,面临的七个挑战和八大趋势的相关内容,更多信息可以关注环球青藤分享更多干货

4. 大数据生命周期的多个阶段分析

大数据生命周期的多个阶段分析

如今,各个企业对于大数据的应用都甚为积极,但企业在建立大数据的生命周期时应注意,其中包括了这些部分:大数据组织、评估现状、制定大数据战略、数据定义、数据收集、数据分析、数据治理、持续改进这几方面,下面就来详细了解下。
大数据的现状评估和差距分析
在定战略之前,先要做必要的现状评估,评估前的调研包括三个方面:一是对外调研:了解业界大数据有哪些最新的发展,行业顶尖企业的大数据应用水平如何?行业的平均尤其是主要竞争对手的大数据应用水准如何?二是对内客户调研。管理层、业务部门、IT部门自身、我们的最终用户,对我们的大数据业务有何期望?三是自身状况摸底,了解自己的技术、人员储备情况。最后对标,作差距分析,找出gap。找出gap后,要给出成熟度现状评估。一个公司的大数据应用成熟度可以划分为四个阶段:初始期;探索期;发展期;成熟期。
大数据的发展战略
有了大数据组织、知道了本公司大数据现状、差距和需求,企业就可以制定大数据的战略目标了。大数据战略的制定是整个大数据生命周期的灵魂和核心,它将成为整个组织大数据发展的指引。大数据战略的内容,没有统一的模板,但有一些基本的要求:
要现实,这个目标经过努力是能达成的。
要简洁,又要能涵盖公司内外干系人的需求。
要明确,以便清晰地告诉所有人我们的目标和愿景是什么。
对于大数据的定义
如果不对大数据进行定义,你将无法采集到它,你没法采集它就不能分析它;而不能分析它,你就不能衡量它的价值,既然不能衡量它的价值,你也就无法真正的控制它;如果你不能很好的控制它,那么你就无法管理并且利用它。在需求和战略明确之后,数据定义就是一切数据管理的前提。

5. 大数据时代是什么意思大数据是在什么背景下提出的

大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据产生背景:

进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。

它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。

正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。

哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。

(5)大数据的期望膨胀期在多少年扩展阅读

大数据时代的特征

1、数据量大(Volume)

第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

2、类型繁多(Variety)

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

3、价值密度低(Value)

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。

参考资料来源:网络-大数据时代

6. 大数据的生命周期的九个阶段

大数据的生命周期的九个阶段
企业建立大数据的生命周期应该包括这些部分:大数据组织、评估现状、制定大数据战略、数据定义、数据收集、数据分析、数据治理、持续改进。

一、大数据的组织
没有人,一切都是妄谈。大数据生命周期的第一步应该是建立一个专门预算和独立KPI的“大数据规划、建设和运营组织”。包括高层的首席数据官,作为sponsor,然后是公司数据管理委员会或大数据执行筹划指导委员会,再往下就是大数据的项目组或大数据项目组的前身:大数据项目预研究团队或大数据项目筹备组。这个团队是今后大数据战略的制定和实施者的中坚力量。由于人数众多,建议引入RACI模型来明确所有人的角色和职责。
二、大数据的现状评估和差距分析
定战略之前,先要做现状评估,评估前的调研包括三个方面:一是对外调研:了解业界大数据有哪些最新的发展,行业顶尖企业的大数据应用水平如何?行业的平均尤其是主要竞争对手的大数据应用水准如何?二是对内客户调研。管理层、业务部门、IT部门自身、我们的最终用户,对我们的大数据业务有何期望?三是自身状况摸底,了解自己的技术、人员储备情况。最后对标,作差距分析,找出gap。
找出gap后,要给出成熟度现状评估。一般而言,一个公司的大数据应用成熟度可以划分为四个阶段:初始期(仅有概念,没有实践);探索期(已经了解基本概念,也有专人进行了探索和探讨,有了基本的大数据技术储备);发展期(已经拥有或正在建设明确的战略、团队、工具、流程,交付了初步的成果);成熟期(有了稳定且不断成熟的战略、团队、工具、流程,不断交付高质量成果)。
三、大数据的战略
有了大数据组织、知道了本公司大数据现状、差距和需求,我们就可以制定大数据的战略目标了。大数据战略的制定是整个大数据生命周期的灵魂和核心,它将成为整个组织大数据发展的指引。
大数据战略的内容,没有统一的模板,但有一些基本的要求:
1. 要简洁,又要能涵盖公司内外干系人的需求。
2. 要明确,以便清晰地告诉所有人我们的目标和愿景是什么。
3. 要现实,这个目标经过努力是能达成的。
四、大数据的定义
我认为:“数据不去定义它,你就无法采集它;无法采集它,你就无法分析它;无法分析它,你就无法衡量它;无法衡量它,你就无法控制它;无法控制它,你就无法管理它;无法管理它,你就无法利用它”。所以“在需求和战略明确之后,数据定义就是一切数据管理的前提”。
五、 数据采集
1. 大数据时代的数据源很广泛,它们可能来自于三个主要方面:现有公司内部网各应用系统产生的数据(比如办公、经营生产数据),也有来自公司外互联网的数据(比如社交网络数据)和物联网等。
2.大数据种类很多,总的来讲可以分为:传统的结构化数据,大量的非结构化数据(比如音视频等)。
3. 数据采集、挖掘工具很多。可以基于或集成hadoop的ETL平台、以交互式探索及数据挖掘为代表的数据价值发掘类工具渐成趋势。
4. 数据采集的原则:在数据源广泛、数据量巨大、采集挖掘工具众多的背景下,大数据决策者必须清楚地确定数据采集的原则:“能够采集到的数据,并不意味着值得或需要去采集它。需要采集的数据和能够采集到的数据的"交集",才是我们确定要去采集的数据。”
六、数据处理和分析
业界有很多工具能帮助企业构建一个集成的“数据处理和分析平台”。对企业大数据管理者、规划者来讲,关键是“工具要满足平台要求,平台要满足业务需求,而不是业务要去适应平台要求,平台要去适应厂商的工具要求”。那么这个集成的平台应该有怎样的能力构成呢?它应该能检索、分类、关联、推送和方便地实施元数据管理等。见下图:
七、 数据呈现
大数据管理的价值,最终要通过多种形式的数据呈现,来帮助管理层和业务部门进行商业决策。大数据的决策者需要将大数据的系统与BI(商业智能)系统和KM(知识管理)系统集成。下图就是大数据的各种呈现形式。
八、 审计、治理与控制
1.大数据的审计、治理和控制指的是大数据管理层,组建专门的治理控制团队,制定一系列策略、流程、制度和考核指标体系,来监督、检查、协调多个相关职能部门的目标,从而优化、保护和利用大数据,保障其作为一项企业战略资产真正发挥价值。
2.大数据的治理是IT治理的组成部分,大数据的审计是IT审计的组成部分,这个体系要统筹规划和实施,而不是割裂的规划和实施。
3.大数据的审计、治理与控制的核心是数据安全、数据质量和数据效率。
九、 持续改进
基于不断变化的业务需求和审计与治理中发现的大数据整个生命周期中暴露的问题,引入PDCA等方法论,去不断优化策略、方法、流程、工具,不断提升相关人员的技能,从而确保大数据战略的持续成功!

7. 现在大数据的发展趋势

2015年左右,大数据相关政策规划密集出台,同期为大数据企业新增数量顶峰时期。近年来,我国大数据产业迎来新的发展机遇期,产业规模日趋成熟。大数据产业主体从“硬”设施向“软”服务转变的态势将更加明显,面向金融、政务、电信、医疗等领域的大数据服务将实现倍增创新。

大数据企业数量持续增长,增速与政策出台密切相关

根据IT桔子统计,大数据企业的快速增长阶段出现在2013-2015年,增长速度在2015年达到最高峰。2015年后,市场日趋成熟,企业新增开始趋于放缓,大数据产业逐渐走向成熟。

—— 以上数据及分析均来自于前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。

阅读全文

与大数据的期望膨胀期在多少年相关的资料

热点内容
哪些硬币可以交易 浏览:886
去哪里学习电工技术比较好 浏览:942
光遇设备数据异常是什么意思 浏览:305
数据库查询学生表中有哪些年龄的同学 浏览:994
信息栏显示浮标是怎么回事 浏览:47
产品收缩如何更改模具 浏览:900
装修量房数据的H表示什么 浏览:346
三台涪江麦冬市场多少钱一斤 浏览:407
微信小程序哪里可以p头发 浏览:506
社保数据未采集怎么办 浏览:552
哪里可以获得全国的大学信息 浏览:978
程序员节送什么水果 浏览:661
期货短期交易看多少分钟 浏览:625
dwg藏有哪些信息 浏览:183
别人文章中数据如何处理 浏览:570
蜜植素怎么查是不是代理 浏览:658
个人收汇交易编码是多少 浏览:839
世界信教人数有多少最新数据 浏览:328
财务会计信息化应用哪里报名 浏览:49
c程序最前面应该写什么 浏览:504