❶ 如何应对大数据的挑战
大数据行业面临的五大挑战如下:
挑战一:数据来源错综复杂
丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧,每年新增数据量仅为美国的7%,欧洲的12%,其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说,还存在标准化、准确性、完整性低,利用价值不高的情况,这大大降低了数据的价值。
现如今,几乎任何规模企业,每时每刻也都在产生大量的数据,但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的信息,但前提是如何获取大量有价值的数据。
挑战二:数据挖掘分析模型建立
步入大数据时代,人们纷纷在谈论大数据,似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利,并且促成新的经济繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而,关于大数据分析,人们鼓吹其神奇价值的喧嚣声浪很高,却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点:一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察;其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展,正是大数据时代下我们面临的挑战。
挑战三:数据开放与隐私的权衡
数据应用的前提是数据开放,这已经是共识。有专业人士指出,中国人口居世界首位,但2010年中国新存储的数据为250PB,仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享,导致信息不完整或重复投资。2012年中国的数据存储量达到64EB,其中55%的数据需要一定程度的保护,然而目前只有不到一半的数据得到保护。
挑战四:大数据管理与决策
大数据的技术挑战显而易见,但其带来的决策挑战更为艰巨。大数据至关重要的方面,就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代,组织内作重大决策的人,都是典型的位高权重的人,要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是,在今时今日的商业世界中,高管的决策仍然更多地依赖个人经验和直觉,而不是基于数据。
挑战五:大数据人才缺口
如果说,以Hadoop为代表的大数据是一头小象,那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时,精通大数据技术的相关人才也成为一个大缺口。
❷ 作文200字如何应对大数据时代
,既是大数据的缔造者,因为我们的认知和行为方式都在源源不断地产生各种各样的数据;又是大数据的使用者,因为人的大脑几乎每时每刻都在对所观察到和所搜集到的各种数据进行分析,以期得出结论;更是大数据的直接受益者,因为通过对数据的分析和挖掘,大数据的大价值最终体现在指导人的行动并由此推动社会的不断进步。面对大数据时代在现如今面临的挑战,个人提出几点应对策略:
1、合理获取数据
在大数据时代,数据的产生速度飞快而且体量庞大,往往以TB或YB甚至是ZB来衡量。各种机构、个人都在不断地向外产生和发布结构化与非结构化的复杂数据,并进行数据交换,如人们当前最常用的数据来源渠道——互联网,每天的数据交换量已极为惊人。
在这种情况下,由于数据传播的速度极快,且在传播过程中本身已有可能通过交换发生多次变换而生成了更多的复杂数据,那么,对我们普通人来说,当数据充分融合在一起的时候就很难分辨其真正的来源。即使能够弄清楚数据的真正来源,你又将面临那些复杂的非结构化数据的考验。
大数据时代应以智慧创新理念融合大数据与云计算,在大数据洪流中提升知识价值洞察力,实施高效实时个性化运作,建立有效增值的商业模式。针对大数据时代的基本特征,加强全方位创新。包括IBM、EMC、HP、Microsoft等在内的IT巨头,纷纷加速收购相关大数据公司进行技术整合,寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用,已初显效益。将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等,建立智能平台,优化配置城市资源,向真正的智慧城市迈进。
电信运营商转型中流量经营已成共识,即以智能管道与聚合平台为基础,以扩大流量规模、提升流量层次及丰富流量内涵作为基本经营方向,并以释放流量价值为基本目标,可见大数据和云计算的深度融合与此流量经营目标十分吻合。实际上已经有一些运营商借助大数据Hadoop云工具管理与分析网络中的用户数据,为日常运维及制定市场战略等提供有效支撑。
借助大数据创新处理技术应对APT安全攻击。APT安全攻击的最主要特征为单点隐蔽能力强、攻击空间路径不确定、攻击渠道不确定;同时APT攻击一旦入侵成功则长期潜伏,攻击时间上具有持续性。目前,全流量审计方案具备强大的实时检测能力与事后回溯能力,并可将安全工作人员的分析能力、计算机存储与运算能力组合在一起,是一种较完整的解决方案。
❸ 如何有效应对大数据技术的伦理挑战
如何有效应对大数据技术的伦理挑战
大数据技术是一把“双刃剑”,既可以为人类服务,也可能给人类带来麻烦。近来,频繁的网络公司泄露个人信息事件引起广泛关注,也使人们意识到,正确认识和有效应对大数据技术带来的隐私伦理问题至关重要。
关注“算法”背后的隐私伦理
大数据分析可以对人进行数据成像,在聚类、相关性分析以及数据整合的基础上刻画人的行为特征与倾向,在商业智能推荐、人的行为预测等方面具有广泛的应用前景。中国社会科学院哲学研究所研究员段伟文认为,从现象上看,它是一种非常有效的分析工具,但如果使用这些技术的人动机不纯,就有可能带来不良后果。从本质上讲,大数据带来的负面影响源于数据本身的特殊性,数据中隐含着人的各种信息,而这些信息很容易作为引导、说服与控制人类行为的工具。这一本质特征往往会诱使商家和滥用权力者干预人的自主权和侵犯人的隐私权。
“在大数据技术背景下讨论隐私伦理问题,人们主要关注的是信息隐私方面的伦理问题,最集中地体现在数据的开放共享与个人信息保护两者如何平衡的问题上。一般所说的大数据技术是一把‘双刃剑’,也主要是从这个意义上说的。”北京师范大学哲学学院教授田海平表示,数据的开放共享只是大数据技术得以实现的一个方面。除此之外,它还包括通过数字化技术获取和存储数据,通过大数据平台对海量数据进行深度挖掘、预测以及反馈等更为深度和实质性的数据占有与使用。目前,这种获取和使用数据的方式,可以通过深度机器学习做到完全智能化。就大数据的占有和使用方面而言,大数据技术加上机器学习,不仅在数据共享方面,而且在数据深度挖掘方面,把个人信息保护和数据权的确权问题都交给了“算法”,这是一个值得关注的、更为深层次的问题。
找寻技术和规范两方面原因
大数据技术的应用给人类带来一系列的隐私伦理问题和挑战,这其中既有大数据技术自身的原因,也有制度规范等的原因。
江西财经大学马克思主义学院教授黄欣荣表示,大数据技术在推动人类社会发展的同时,也带来了数据采集权、保存权、使用权、知情权、所有权、删除权、隐私权等伦理问题。产生这些问题的原因在于,大数据技术是一种全新的信息技术,大数据的隐私伦理问题是全新的问题。传统的法律法规、伦理道德难以约束相关机构采集、存储、传输和使用数据,并且新技术带来的新问题还没有完全暴露,新的法律法规难以同步发展。
段伟文认为,目前造成大数据隐私伦理问题的主要原因有:一是基于大数据分析的智能化商业推荐系统带来了全新的营销模式,其营销效率较传统的营销模式具有指数倍增效应,巨大利益诱惑面前,包含个人隐私及敏感信息的数据被单纯地视为牟利的工具和随意转卖的商品,个人的数据保护往往被商家忽视,甚至被商家运用算法加以算计,使人的隐私权受到侵犯;二是合理可行的个人数据授权和保护机制尚未建立,很多数据在用于某一分析之后被用于其他不明领域;三是分散的数据被整合之后,也可能通过数据分析洞察出一些不一定准确但会对主体造成负面影响的特征,进而诱使对这些特征进行不良使用。
加强数据立法 坚守伦理底线
对于如何让大数据技术更好地为人类服务,黄欣荣认为,需要强化隐私观念,加强数据立法,坚守伦理底线。
田海平认为,尊重个人隐私权是一个毋庸置疑的底线伦理原则。只有我们的法律体系和道德体系在规范合理性的构建方面坚守这条底线,大数据技术的应用才能够真正做到趋利避害。“数据共享”与“隐私保护”构成了大数据时代无法割舍的两面性,它实际上凸显了将“数据共享的伦理”与“隐私保护的伦理”,既以一种价值方式又以一种技术方式在大数据时代同时实现的任务。
段伟文表示,首先,要进一步凸显主体数据权利保护意识,联系大数据技术发展中的各种伦理冲突,解剖典型案例,进而从理论上廓清符合大数据时代特征的新型数据权利、隐私权以及被遗忘权的基本概念以及实践范例。其次,建立起包括商家、政府法律部门、普通用户等相关利益群体的对话机制,制定在具体的、数据驱动的社会经济乃至治理活动中的数据保护规范与实现机制。最后,做好与危害数据权利、恶意侵犯个人隐私权行为长期斗争的准备,探寻从法律和伦理层面根治此类问题的有效策略,并使之作为治理法规积淀下来。