驾驭大数据包含哪些方面难题

1. 大数据时代，电信运营商如何“点石成金”

大数据风起云涌。对于大数据中蕴含的商业价值，有人形象地将其称为“数据钻出石油”。充分利用大数据技术，从海量堆积的交互数据中发现带有趋势性、前瞻性的信息，能够孕育出惊人的社会价值和商业价值。 然而，即便放眼全球，我们看到的大数据应用案例还鲜有电信运营商的身影，与互联网领域的诸多探索相比，他们略显平淡，大规模钻出“石油”就更谈不上了。面对这种情况，相信很多业内人士都在思考这些问题：大数据究竟会给电信运营商带来哪些新机遇？大数据时代下的电信运营商面临什么样的挑战？电信运营商今后将如何运筹帷幄、构建面向智慧运营的大数据体系？ 从4W到4V： 运营商拥有先天优势 根据信息爆炸时代的特征，业界将大数据总结为“4V”体量（Volume）、多样（Variety）、速度（Velocity）和价值（Value）。体量意味着海量的数据，多样是指数据类型繁多，速度主要指数据被创建和移动的速度快，而价值是处理数据的目标、从各种形式呈现的复杂数据中挖掘有用的东西。 电信运营商作为信息服务的基础服务商，其提供的服务用一个简单的词来概括就是“4W”Who、When、Where、What，在使用服务时，哪些用户、需要联系谁、什么时间、处于什么位置、做些什么，这些信息无疑都需要经过运营商的管道。 对比“4V”和“4W”，我们可以发现两者之间的契合之处，通信用户数以亿计的基数保证了数据的海量和多样性，通信网络的实时承载保证了数据的速度，更重要的是，运营商还可以搜集到用户位置、大体收入等有价值的数据，进而为精准营销提供参考。因此，运营商在掌握用户行为数据方面具有先天优势，这是一般互联网厂商所望尘莫及的。随着智能手机和高速网络的普及，运营商能够获得的用户行为数据还将更为丰富。 数据科学家、《大数据时代》的作者维克托·迈尔·舍恩伯格表示，在大数据时代，拥有数据的公司无疑将取得巨大的成功。因为他们具有洞察力，大数据会提供他们全新的洞察力。从这个角度看，运营商无疑坐拥一座天然的宝藏，但是能否挖掘、提炼出这些矿藏中的价值将决定运营商能否把握住大数据带来的机遇。 由大入微： 构建智慧的大数据体系 由微入大易，由大入微难。对电信运营商来说，将无数具体而微的信息汇集起来其实并不难，真正的难点在于如何点石成金，如何“驾驭”这纷繁复杂的数据，如何存储、整合、分析、汲取出真正有价值的内容，并创造性地使用它。 大流量并不一定带来大数据，电信运营商获得的数据中大部分都是“桀骜不驯”的它们被称为非结构数据，这种数据本身并没有太多价值。目前，电信运营商在大数据方面的探索还仅仅处于起步阶段：一方面，用户的行为、轨迹、状态等数据散在网络各个环节中，形成信息资产的成本非常高；另一方面，运营商大数据挖掘手段还很不充足，如何从庞大的数据中分析出有价值的信息并找到合理的商业模式，提高“驾驭”数据的能力，成为电信运营商面临的挑战。 那么电信运营商该如何去构建面向智慧运营的大数据体系？ 对电信运营商来说，可以利用大数据实现自身的精确化营销和精细化运营，在这方面，国内已经有运营商作出了尝试。使用Hadoop等大数据处理工具，通过分析用户的兴趣图谱、关系图谱、行为定向，再结合自身的业务推出量身定制的服务，如针对出差较多的商务人士，向他们推荐漫游套餐；对爱好移动上网的用户，向他们提供流量包……这本身就属于大数据应用的范畴，而且，运营商通过对业务资源和财务等数据的综合分析，可以让决策层进行快速的市场决策，从而抢占市场制高点。 未来，运营商还可以拓展第三方模式，加大开放合作力度，与产业链各个环节开展合作，加快对大数据经营商业模式的探索，不断释放其管道中庞大数据的潜在力量，将数据转化成“真金白银”。在这方面，国外电信运营商的探索给我们提供了思路。西班牙电信去年成立了名为“动态洞察”的大数据业务部门，它可以为客户提供数据分析打包服务，帮助客户把握重大变化趋势。法国电信的移动业务部门也开始尝试挖掘大数据的潜在价值，比如，它承建了一个法国高速公路数据监测项目，对每天产生的几百万条记录进行分析，从而提高了道路通畅率。更具颠覆性的是Verizon，其数据业务的盈利收入在其整个业务中占比非常高，其中就有联合第三方机构对其用户群进行大数据分析，再将有价值的信息提供给政府或企业获取的额外价值。 分析人士指出，数据化程度越高的行业，其大数据的应用场景越多，能够带来的价值也就越高。数据重构商业，虽然国内在这方面的探索还未形成规模，但对运营商来说却代表着前进的方向凭借自身优势，将数据分析包装为服务，提供给政府、商场、银行等第三方机构进行决策，从而实现商业模式的创新，并在与互联网企业的竞争中占得先机。不过，需要明确的是，这里的数据包装并不是非法采集用户个人信息，更不是贩卖用户个性化隐私，真正的大数据应该是用加工实现增值，用分析来指导决策，而非原始数据信息本身的低层次滥用。

2. 娴呰皥锘轰簬澶ф暟鎹镞朵唬镄勬満阆囦笌鎸戞垬璁烘枃

娴呰皥锘轰簬澶ф暟鎹镞朵唬镄勬満阆囦笌鎸戞垬璁烘枃鎺ㄨ崘

銆銆鍦ㄥ︿範鍜屽伐浣滀腑锛屽ぇ瀹舵诲皯涓崭简鎺ヨЕ璁烘枃钖э纴璁烘枃镄勭被鍨嫔緢澶氾纴鍖呮嫭瀛﹀勾璁烘枃銆佹瘯涓氲烘枃銆佸︿綅璁烘枃銆佺戞妧璁烘枃銆佹垚鏋滆烘枃绛夈备负浜呜╂偍鍦ㄥ啓璁烘枃镞舵洿锷犵亩鍗曟柟渚匡纴浠ヤ笅鏄鎴戠簿蹇冩暣鐞嗙殑娴呰皥锘轰簬澶ф暟鎹镞朵唬镄勬満阆囦笌鎸戞垬璁烘枃锛屼粎渚涘弬钥冿纴甯屾湜鑳藉熷府锷╁埌澶у躲

銆銆娴呰皥锘轰簬澶ф暟鎹镞朵唬镄勬満阆囦笌鎸戞垬璁烘枃

銆銆1銆佸ぇ鏁版嵁镄勫熀链姒傚喌

銆銆澶ф暟鎹(Big Data)鏄鎸囬偅浜涜秴杩囦紶缁熸暟鎹搴撶郴缁熷勭悊鑳藉姏镄勬暟鎹锛屽叾鍏锋湁浠ヤ笅锲涗釜锘烘湰鐗规э纴鍗虫捣閲忔с佸氭牱镐с佹槗鍙樻с侀珮阃熸с傚悓镞舵暟鎹绫诲瀷绻佸氥佹暟鎹浠峰煎瘑搴︾浉瀵硅缉浣庛佸勭悊阃熷害蹇銆佹椂鏁堟ц佹眰楂樼瓑涔熸槸鍏朵富瑕佺壒寰併

銆銆2銆佸ぇ鏁版嵁镄勬椂浠ｅ奖鍝

銆銆澶ф暟鎹锛屽圭粡娴庛佹敛娌汇佹枃鍖栫瓑鏂归溃閮藉叿链夎缉涓烘繁杩灭殑褰卞搷锛屽叾鍙甯锷╀汉浠杩涜岄噺鍖栫＄悊锛屾洿鍏风戝︽у拰阍埚规э纴寰楁暟鎹钥呭缑澶╀笅銆傚ぇ鏁版嵁瀵逛簬镞朵唬镄勫奖鍝崭富瑕佸寘𨰾浠ヤ笅鍑犱釜鏂归溃锛

銆銆(1)钬滃ぇ鏁版嵁鍐崇瓥钬濇洿锷犵戝︽湁鏁堛傚傛灉浜轰滑浠ュぇ鏁版嵁鍒嗘瀽浣滀负锘虹杩涜屽喅绛栵纴鍙鍏ㄩ溃銮峰彇鐩稿叧鍐崇瓥淇℃伅锛岃╂暟鎹涓诲煎喅绛栵纴杩欑嶆柟娉曞繀灏嗕绩杩涘喅绛栨柟寮忕殑鍒涙柊鍜屾敼鍙桡纴褰诲簳鏀瑰彉浼犵粺镄勫喅绛栨柟寮忥纴鎻愰珮鍐崇瓥镄勭戝︽э纴骞舵帹锷ㄤ俊鎭绠＄悊鍑嗗垯镄勯吨鏂板畾浣嶃2009 骞寸垎鍙戠殑鐢插瀷H1N1 娴佹劅灏辨槸鍒╃敤澶ф暟鎹镄勪竴涓鎴愬姛锣冧緥锛岃胺姝屽叕鍙搁氲繃鍒嗘瀽缃戜笂鎼灭储镄勫ぇ閲忚板綍锛屽垽鏂娴佹劅镄勪紶鎾婧愬湴锛屽叕鍏卞崼鐢熸満鏋勫畼锻橀氲繃杩欎簺链変环鍊肩殑鏁版嵁淇℃伅閲囧彇浜嗘湁阍埚规х殑琛屽姩鍐崇瓥銆

銆銆(2)钬滃ぇ鏁版嵁搴旂敤钬濅绩杩涜屼笟铻嶅悎銆傝槠铹跺ぇ鏁版嵁婧愪簬阃氢俊浜т笟锛屼絾鍏跺奖鍝岖粷涓嶅眬闄愪簬阃氢俊浜т笟锛屽娍蹇呬篃灏嗗瑰叾浠栦骇鐢熻缉涓烘繁杩灭殑褰卞搷銆傜洰鍓嶏纴澶ф暟鎹姝ｉ愭笎骞挎硾搴旂敤浜庡悇涓琛屼笟鍜岄嗗烟锛岃秺𨱒ヨ秺澶氱殑浼佷笟寮濮嬩互鏁版嵁鍒嗘瀽涓鸿緟锷╂坠娈靛姞寮哄叕鍙哥殑镞ュ父绠＄悊鍜岃繍钀ョ＄悊锛屽傞害褰揿姵銆佽偗寰峰熀銆佽娴鏋滃叕鍙哥瓑镞楄埌涓揿崠搴楃殑浣岖疆閮芥槸锘轰簬澶ф暟鎹鍒嗘瀽瀹屾垚阃夊潃镄勶纴鍙﹀栨暟鎹鍒嗘瀽鎶链鍦ㄩ浂鍞涓氢篃搴旂敤瓒婃潵瓒婂箍娉涖

銆銆(3)钬滃ぇ鏁版嵁寮鍙戋濇帹锷ㄦ妧链鍙橀潻銆傚ぇ鏁版嵁镄勫簲鐢ㄩ渶姹傦纴鏄澶ф暟鎹鏂版妧链寮鍙戠殑婧愭硥銆傜浉淇￠殢镌镞朵唬镄勪笉鏂鍙戝𪾢锛岃＄畻链虹郴缁熺殑鏁版嵁鍒嗘瀽鍜屾暟鎹鎸栨帢锷熻兘灏嗛愭笎鍙栦唬浠ュ线鍗旷函渚濋潬浜轰滑镊韬鍒ゆ柇锷涚殑棰嗗烟搴旂敤銆傚熷姪杩欎簺鍒涙柊鍨嬬殑澶ф暟鎹搴旂敤锛屾暟鎹镄勮兘閲忓皢浼氩眰灞傝鏀惧ぇ銆

銆銆鍙﹀栵纴闇瑕佹敞镒忕殑鏄锛屽ぇ鏁版嵁鍦ㄤ釜浜洪殣绉佺殑鏂归溃锛屽规槗阃犳垚涓浜涢殣绉佹硠婕忋傛垜浠闇瑕佽ょ湡涓ヨ们镄勫瑰緟杩欎釜闂棰桡纴缁煎悎杩愮敤娉曞緥銆佸ｄ紶銆侀亾寰风瓑镓嬫碉纴涓轰缭鎶や釜浜洪殣绉侊纴锅氩嚭镟寸Н鏋佺殑锷锷涖

銆銆3銆佸ぇ鏁版嵁镄勫簲瀵圭瓥鐣

銆銆3.1 甯冨眬鍏抽敭鎶链镰斿彂鍒涙柊銆

銆銆鐩鍓嶈岃█锛屽ぇ鏁版嵁镄勬妧链闂ㄦ涜缉楂桡纴鍦ㄨ繖涓棰嗗烟链夌珵浜夊姏镄勫氢负涓浜涘湪鏁版嵁瀛桦偍鍜屽垎鏋愮瓑鏂归溃链変紭锷跨殑淇℃伅鎶链浼佷笟銆备负淇冭繘浜т笟鍗囩骇锛屾垜浠蹇呴’锷犲己镰旂┒锛岄吨瑙嗙爷鍙戝拰搴旂敤鏁版嵁鍒嗘瀽鍏抽敭鎶链鍜屾柊鍏存妧链锛屽叿浣揿彲浠庝互涓嫔嚑涓鏂归溃鍏ユ坠锛氱涓锛屽く瀹炲彂灞曞熀纭锛屼互澶ф暟鎹镙稿绩鎶链涓虹潃镓嬬偣锛屽姞寮轰汉宸ユ櫤鑳姐佹満鍣ㄥ︿範銆佸晢涓氭櫤鑳界瓑棰嗗烟镄勭悊璁虹爷绌跺拰鎶链镰斿彂锛屼负澶ф暟鎹镄勫簲鐢ㄥ犲畾鐞呜哄熀纭銆备簩鏄锷犲揩锘虹鎶链(闱炵粨鏋勫寲鏁版嵁澶勭悊鎶链銆佸彲瑙嗗寲鎶链銆侀潪鍏崇郴鍨嬫暟鎹搴撶＄悊鎶链绛)镄勭爷鍙戯纴骞朵娇鍏朵笌鐗╄仈缃戙佺Щ锷ㄤ簰镵旂绣銆佷簯璁＄畻绛夋妧链链夋満铻嶅悎锛屼负瑙ｅ喅鏂规堢殑鍒跺畾镓扑笅鍧氩疄锘虹銆备笁鏄锘轰簬澶ф暟鎹搴旂敤锛岀潃閲嶅圭煡璇呜＄畻( 鎼灭储) 鎶链銆佺煡璇嗗簱鎶链銆佺绣椤垫悳绱㈡妧链绛夋牳蹇冩妧链杩涜岀爷鍙戯纴锷犲己鍗曢”鎶链浜у搧镰斿彂锛屽苟淇濊瘉璐ㄩ噺镄勬彁鍗囷纴钖屾椂淇冧娇鍏朵笌鏁版嵁澶勭悊鎶链镄勬湁链虹粨钖堬纴寤虹珛绉戝︽妧链浣撶郴銆

銆銆3.2 鎻愰珮杞浠朵骇鍝佸彂灞曟按骞炽

銆銆涓鏄淇冭繘浠ヤ紒涓氢负涓诲肩殑浜у︾爷钖堜綔锛屾彁楂樿蒋浠跺彂灞曟按骞炽备簩鏄杩愮敤浜戣＄畻鎶链淇冭繘淇℃伅鎶链链嶅姟涓氱殑杞鍨嫔拰鍙戝𪾢锛屼绩杩涗腑鏂囩煡璇嗗簱銆佹暟鎹搴扑笌瑙勫垯搴撶殑寤鸿俱备笁鏄閲囧彇榧揿姳鏀跨瓥寮曞艰蒋纭浠朵紒涓氩拰链嶅姟浼佷笟搴旂敤鏂板瀷鎶链寮灞曟暟鎹淇℃伅链嶅姟锛屾彁渚涘叿链夎屼笟鐗硅壊镄勭郴缁熼泦鎴愯В鍐虫柟妗堛傚洓鏄浠ュぇ鍨嬩簰镵旂绣鍏鍙哥壍澶达纴骞惰仛闆嗕腑灏忎簰镵旂绣淇℃伅链嶅姟鎻愪緵鍟嗭纴瀵逛紭锷胯祫婧愯繘琛岀郴缁熸暣钖堬纴寮𨰾扑笌鏁村悎链鍦熷寲淇℃伅链嶅姟銆备簲鏄浠ユ暟鎹澶勭悊杞浠跺晢鐗靛ご锛岃繖浜涜蒋浠跺晢蹇呴’鍏峰囦竴瀹氱殑锘虹浼桦娍锛屽叾鍙鍏呭垎鍙戞尌钖勮嚜镄勬暟鎹浼桦娍鍜屾妧链浼桦娍锛屼紭锷夸簰琛ワ纴鎻愰珮鏁版嵁杞浠跺紑鍙戞按骞筹纴鎻愰珮链嶅姟鍐呭圭殑绮剧‘镐у拰绉戝︽с傚悓镞舵彁楂桦ぇ鏁版嵁瑙ｅ喅鏂规堟彁渚涘晢镄勫竞鍦鸿兘锷涘拰闆嗘垚姘村钩锛屼互淇濋㱩鍏跺ぇ鏁版嵁涓哄悇琛屼笟棰嗗烟鎻愪緵杈冧负鎴愮啛镄勮В鍐虫柟妗堛

銆銆3.3 锷犻熸帹杩涘ぇ鏁版嵁绀鸿寖搴旂敤銆

銆銆澶ф暟鎹镞朵唬锛屾垜浠搴旂Н鏋佹帹杩涘ぇ鏁版嵁镄勭ず锣冨簲鐢锛屽彲浠庝互涓嫔嚑涓鏂归溃杩涜屽疄璺碉细绗涓锛屽逛簬涓浜涙暟鎹閲忓ぇ镄勯嗗烟(濡傞噾铻嶃佽兘婧愩佹祦阃氥佺数淇°佸尰鐤楃瓑棰嗗烟)锛屽簲寮曞艰屼笟铡傚晢绉鏋佸弬涓庯纴澶у姏鍙戝𪾢鏁版嵁鐩戞祴鍜屽垎鏋愩佹í钖戞墿灞曞瓨鍌ㄣ佸晢涓氩喅绛栫瓑杞纭浠朵竴浣揿寲镄勮屼笟搴旂敤瑙ｅ喅鏂规堛傜浜岋纴灏嗗ぇ鏁版嵁阃愭笎搴旂敤浜庢櫤鎱у煄甯傚缓璁惧强涓浜虹敓娲诲拰链嶅姟棰嗗烟锛屼绩杩涙暟瀛楀唴瀹瑰姞宸ュ勭悊杞浠剁瓑链嶅姟鍙戝𪾢姘村钩镄勬彁楂樸傜涓夛纴淇冭繘琛屼笟鏁版嵁搴(鐗瑰埆鏄楂樼戞妧棰嗗烟)镄勬繁搴﹀紑鍙戯纴寤鸿阍埚逛笉钖岀殑琛屼笟棰嗗烟寤虹珛涓嶅悓镄勪笓棰樻暟鎹搴掳纴浠ユ彁渚涚浉搴旂殑鍐呭瑰炲兼湇锷★纴褰㈡垚链夌壒镩插寲镄勬湇锷°傜锲涳纴浠ラ吨镣归嗗烟鎴栭吨镣逛紒涓氢负绐佺牬鍙ｏ纴瀵逛紒涓氭暟鎹杩涜岀浉搴斿垎鏋愩佹暣鐞嗗拰娓呮礂锛岄愭笎鍑忓皯鍜屽幓闄ら吨澶嶆暟鎹鍜屽櫔阔虫暟鎹銆

銆銆3.4 浼桦寲瀹屽杽澶ф暟鎹鍙戝𪾢鐜澧冦

銆銆淇℃伅瀹夊叏闂棰樻槸澶ф暟鎹搴旂敤闱涓寸殑涓昏侀梾棰桡纴锲犳わ纴鎴戜滑搴斿姞寮哄瑰熀浜庡ぇ鏁版嵁镄勬儏鎶ユ敹闆嗗垎鏋愬伐浣滀俊鎭淇濆瘑闂棰樼殑镰旂┒锛屽埗瀹氭湁鏁堢殑阒茶寖瀵圭瓥锛屽姞寮轰俊鎭瀹夊叏绠＄悊銆傚悓镞讹纴涓轰紭鍖栧畬锽勫ぇ鏁版嵁鍙戝𪾢鐜澧冿纴搴旈噰鍙栧悇绉嶉紦锷辨敛绛(濡傚皢鍏峰囦竴瀹氲兘锷涗紒涓氱殑鏁版嵁锷犲伐澶勭悊涓氩姟鍒楀叆钀ヤ笟绋庝紭𨱍犳敛绛栦韩鍙楄寖锲)鏀鎸佹暟鎹锷犲伐澶勭悊浼佷笟镄勫彂灞曪纴淇冧娇鍏舵彁楂樻暟鎹鍒嗘瀽澶勭悊链嶅姟镄勬按骞冲拰璐ㄩ噺銆备笁鏄澶瀹炲ぇ鏁版嵁镄勫簲鐢ㄥ熀纭锛屽畬锽勭浉鍏充綋鍒舵満鍒讹纴浠ユ敛搴滀负鍒囧叆镣癸纴鎺ㄥ姩淇℃伅璧勬簮镄勯泦涓鍏变韩銆

銆銆锅氩埌涓婇溃镄勫嚑镣癸纴褰揿ぇ鏁版嵁镞朵唬𨱒ヤ复镄勬椂鍊欙纴闱涓村ぇ閲忔暟鎹灏嗕笉鏄𨱒熸坠镞犵瓥锛岃屾槸鎴愮瑰湪鑳革纴钥屼粠鏁版嵁涓寰楀埌镄勫ソ澶勪篃灏嗕绩杩涘浗瀹跺拰浼佷笟镄勫揩阃熷彂灞曘

銆銆澶ф暟鎹涓虹粡钀ョ殑妯钖戣法鐣屻佷骇涓氱殑瓒婄晫娣疯瀺銆佺敓浜т笌娑堣垂镄勫悎涓鎻愪緵浜嗘湁鍒╂浔浠讹纴澶ф暟鎹蹇呭皢鍦ㄧぞ浼氱粡娴庛佹敛娌汇佹枃鍖栫瓑鏂归溃瀵逛汉浠鐢熸椿浜х敓宸ㄥぇ镄勫奖鍝嶏纴钖屾椂澶ф暟鎹镞朵唬瀵逛汉绫荤殑鏁版嵁椹鹃┉鑳藉姏涔熸彁鍑轰简鏂扮殑鎸戞垬涓庢満阆囥傞溃瀵规柊镄勬写鎴树笌鍙戝𪾢链洪亣锛屾垜浠搴旂Н鏋佸簲瀵癸纴浠ユ帉鎻℃湭𨱒ュぇ鏁版嵁鍙戝𪾢涓诲姩𨱒冦

銆銆缁撴瀯

銆銆璁烘枃涓鑸鐢卞悕绉般佷綔钥呫佹憳瑕併佸叧阌璇嶃佹ｆ枃銆佸弬钥冩枃鐚鍜岄梼褰旷瓑閮ㄥ垎缁勬垚锛屽叾涓閮ㄥ垎缁勬垚锛堜緥濡傞梼褰曪级鍙链夊彲镞犮

銆銆1銆佽烘枃棰樼洰

銆銆瑕佹眰鍑嗙‘銆佺亩缁冦侀啋鐩銆佹柊棰栥

銆銆2銆佺洰褰

銆銆鐩褰曟槸璁烘枃涓涓昏佹佃惤镄'绠琛ㄣ傦纸鐭绡囱烘枃涓嶅繀鍒楃洰褰曪级

銆銆3銆佸唴瀹规彁瑕

銆銆鏄鏂囩珷涓昏佸唴瀹圭殑鎽桦綍锛岃佹眰鐭銆佺簿銆佸畬鏁淬

銆銆4銆佸叧阌璇嶅畾涔

銆銆鍏抽敭璇嶆槸浠庤烘枃镄勯桦悕銆佹彁瑕佸拰姝ｆ枃涓阃夊彇鍑烘潵镄勶纴鏄瀵硅〃杩拌烘枃镄勪腑蹇冨唴瀹规湁瀹炶川镒忎箟镄勮瘝姹囥傚叧阌璇嶆槸鐢ㄤ綔璁＄畻链虹郴缁熸爣寮曡烘枃鍐呭圭壒寰佺殑璇嶈锛屼究浜庝俊鎭绯荤粺姹囬泦锛屼互渚涜昏呮绱銆傛疮绡囱烘枃涓鑸阃夊彇3-8涓璇嶆眹浣滀负鍏抽敭璇嶏纴鍙﹁捣涓琛岋纴鎺掑湪钬沧彁瑕佲濈殑宸︿笅鏂广

銆銆涓婚樿瘝鏄缁忚繃瑙勮寖鍖栫殑璇嶏纴鍦ㄧ‘瀹氢富棰樿瘝镞讹纴瑕佸硅烘枃杩涜屼富棰桦垎鏋愶纴渚濈収镙囧紩鍜岀粍閰嶈勫垯杞鎹㈡垚涓婚樿瘝琛ㄤ腑镄勮勮寖璇嶈銆傦纸鍙傝併婃眽璇涓婚樿瘝琛ㄣ嫔拰銆娄笘鐣屾眽璇涓婚樿瘝琛ㄣ嬶级銆

銆銆5銆佽烘枃姝ｆ枃

銆銆锛1锛夊紩瑷锛氩紩瑷鍙堢О鍓嶈█銆佸簭瑷鍜屽艰█锛岀敤鍦ㄨ烘枃镄勫紑澶淬傚紩瑷涓鑸瑕佹傛嫭鍦板啓鍑轰綔钥呮剰锲撅纴璇存槑阃夐樼殑鐩镄勫拰镒忎箟, 骞舵寚鍑鸿烘枃鍐欎綔镄勮寖锲淬傚紩瑷瑕佺煭灏忕簿鎭嶃佺揣镓ｄ富棰樸

銆銆锛2锛夎烘枃姝ｆ枃锛氭ｆ枃鏄璁烘枃镄勪富浣掳纴姝ｆ枃搴斿寘𨰾璁虹偣銆佽烘嵁銆佽鸿瘉杩囩▼鍜岀粨璁恒备富浣挞儴鍒嗗寘𨰾浠ヤ笅鍐呭癸细

銆銆a.鎻愬嚭闂棰-璁虹偣锛

銆銆b.鍒嗘瀽闂棰-璁烘嵁鍜岃鸿瘉锛

銆銆c.瑙ｅ喅闂棰-璁鸿瘉鏂规硶涓庢ラわ绂

銆銆d.缁撹恒

銆銆6銆佸弬钥冩枃鐚

銆銆涓绡囱烘枃镄勫弬钥冩枃鐚鏄灏呜烘枃鍦ㄧ爷绌跺拰鍐欎綔涓鍙鍙傝冩垨寮曡瘉镄勪富瑕佹枃鐚璧勬枡锛屽垪浜庤烘枃镄勬汤灏俱傚弬钥冩枃鐚搴斿彟璧蜂竴椤碉纴镙囨敞鏂瑰纺鎸夎繘琛屻

銆銆7銆佽烘枃瑁呰

銆銆璁烘枃镄勬湁鍏抽儴鍒嗗叏閮ㄦ妱娓呭畬浜嗭纴缁忚繃妫镆ワ纴鍐嶆病链変粈涔堥梾棰桡纴鎶婂畠瑁呮垚鍐岋纴鍐嶅姞涓婂皝闱銆傝烘枃镄勫皝闱㈣佹湸绱犲ぇ鏂癸纴瑕佸啓鍑鸿烘枃镄勯樼洰銆佸︽牎銆佺戠郴銆佹寚瀵兼暀甯埚揿悕銆佷綔钥呭揿悕銆佸畬鎴愬勾链堟棩銆傝烘枃镄勯樼洰镄勪綔钥呭揿悕涓瀹氲佸啓鍦ㄨ〃镄涓婏纴涓嶈佸啓閲岄溃镄勮ˉ椤典笂銆

3. 如何驾驭大数据

首先，申明一点，个人认为使用驾驭这个词好像不太恰当。

作为在大数据领域混了近五年的选手，近一年将近有数十个人问我关于如何入门大数据的事。

其中有刚毕业入职的童鞋，有在校的大学生，也有工作了几年想要换方向的朋友。

我就结合我自己的经历稍微说一下。

我是2012年入坑大数据的，大数据是2010年左右开始引入国内的，在2012年左右，国内开始思考大数据与产业结合落地的事，并在2015年达到高潮，随后进入良性稳定期。

//具体对大数据发展历史感兴趣的，可以关注我的公号“数据虫巢”，其中有篇《闲话国内大数据发展简史&产业化落地》，涉及比较多的发展介绍。

回归正题，我从大数据平台开发步入大数据的领域，从离线处理、分布式存储，到后来的数据应用开发，再逐渐涉及数据挖掘等相关的领域。

经过五年的摸爬滚打，对于整个大数据领域的一些东西，或多或少都了解一些。

所以，对于想要进入这一领域的朋友来说，我建议就是以点到面，先由一个点切入这个行业，再逐渐扩展自己的知识。

首先大数据领域细分的切入点有：数据收集爬虫方向，数据清洗ETL，数据分析，大数据平台开发，数据挖掘，数据应用开发等几个大方面。

其中涉及到数据挖掘算法等，门槛较高，所以，可以从数据分析，或者平台开发类入手。

对于已入坑的的选手，建议多折腾，大数据领域对于开源的要求略高，所以我们必须有足够的洞察性，以及快速的学习能力。

就个人来说，一直都在业余之时会补充自己的知识面，例如先前的时候，数据虫巢官网的建立，终于让我打通了数据爬取，清洗，处理，存储，分析挖掘，java后端以及前端数据可视化的整个流程，算是把自己的知识面给补齐了吧。

也建议其他童鞋，可以多写写代码，没事爬点数据，分析分析着玩，对自己的技能扩展是有好处的。

最后，大数据领域需求多交流，因为这个领域的东西变化太快，所以需要保持高度的关注，以及与同行交流最新的知识，才能更快的进步。

4. 如何做好大数据应用

去年出版的《大数据》（涂子沛着）是从数据治国的角度，深入浅出的叙述了美国政府的管理之道，细密入微的阐释了黄仁宇先生”资本主义数目式管理“的精髓。最近人民邮电出版社又组织翻译出版了美国Bill Franks的《驾驭大数据》一书。该书的整体思路，简单来说，就是叙述了一个”数据收集-知识形成-智慧行动“的过程，不仅回答了”what“，也指明了”how“，提供了具体的技术、流程、方法，甚至团队建设，文化创新。作者首先在第一章分析了大数据的兴起，介绍了大数据的概念、内容，价值，并分析了大数据的来源，也探讨了在汽车保险、电力、零售行业的应用场景；在第二章介绍了驾驭大数据的技术、流程、方法，第三部分则介绍了驾驭大数据的能力框架，包括了如何进行优质分析，如何成为优秀的分析师，如何打造高绩效团队，最后则提出了企业创新文化的重要意义。整本书高屋建瓴、内容恣意汪洋、酣畅淋漓，结构上百川归海，一气呵成，总的来说，体系完备、内容繁丰、见识独具、实用性强，非常值得推荐，是不可多得的好书！大数据重要以及不重要的一面与大多数人的想当然的看法不同，作者认为“大数据”中的”大”和“数据”都不重要，重要的是数据能带来的价值以及如何驾驭这些大数据，甚至与传统的结构化数据和教科书上的认知不同，“大数据可能是凌乱而丑陋的”并且大数据也会带来“被大数据压得不看重负，从而停止不前”和大数据处理“成本增长速度会让企业措手不及”的风险，所以，作者才认为驾驭大数据，做到游刃有余、从容自若、实现“被管理的创新”最为重要。在处理数据时，作者指出“很多大数据其实并不重要”，企业要做好大数据工作，关键是能做到如何沙里淘金，并与各种数据进行结合或混搭，进而发现其中的价值。这也是作者一再强调的“新数据每一次都会胜过新的工具和方法”的原因所在。网络数据与电子商务对顾客行为的挖掘早已不是什么热门概念，然而作者认为从更深层次的角度看，下一步客户意图和决策过程的分析才是具有价值的金矿，即“关于购买商品的想法以及影响他们购买决策的关键因素是什么”。针对电子商务这一顾客行为的数据挖掘，作者不是泛泛而谈，而是独具慧眼的从购买路径、偏好、行为、反馈、流失模型、响应模型、顾客分类、评估广告效果等方面提供了非常有吸引力的建议。我认为，《驾驭大数据》的作者提出的网络数据作为大数据的“原始数据”其实也蕴含着另外一重意蕴，即只有电子商务才具备与顾客进行深入的互动，也才具有了收集这些数据的条件，从这点看，直接面向终端的企业如果不电子商务化，谈论大数据不是一件很可笑的事？当然这种用户购买路径的行为分析，也不是新鲜的事，在昂德希尔《顾客为什么购买：新时代的零售业圣经》一书中披露了商场雇佣大量顾问，暗中尾随顾客，用摄影机或充满密语的卡片，完整真实的记录顾客从进入到离开商场的每一个动作，并进行深入的总结和分析，进而改进货物的陈列位置、广告的用词和放置场所等，都与电子商务时代的客户行为挖掘具有异曲同工之妙，当然电子商务时代，数据分析的成本更加低廉，也更加容易获取那些非直接观察可以收集的数据（如信用记录）。一些有价值的应用场景大数据的价值需要借助于一些具体的应用模式和场景才能得到集中体现，电子商务是一个案例，同时，作者也提到了车载信息“最初作为一种工具出现的，它可以帮助车主和公司获得更好的、更有效的车辆保险”，然而它所能够提供的时速、路段、开始和结束时间等信息，对改善城市交通拥堵具有意料之外的价值。基于GPS技术和手机应用所提供的时间和位置的数据也会提供主动的、及时的推送客户关怀信息，有利于改善客户关系和创造商业机会，也可以利用它进行共同目的和兴趣的社交，这些都会带来一种令人惊奇的业务创新。在视频游戏、电信话费清单上，作者也提出了十分有价值的洞见。技术、流程、方法、组织、人、文化作者是Teradata的首席分析师，绝非是文献学专家和徒有虚名之辈，他在书中也介绍了如何利用海量并行架构（MPP），云计算、网格计算、MapRece等时下炙手可热的技术从大数据中披沙沥金，驾驭大数据。同时，作者一直在提醒我们，数据只是源，“思想才是分析之父”，“有价值和影响力的分析才是优质分析”，优质分析要符合G（Guided指导性）R（Relevant相关性）A（Explainable可行性）T（Timely及时向）原则，并且优质的分析要能提供答案、提供用户需要的东西，要能提供新的解决方案，对实际行动有指导意义，从这个角度看，它区别于报表那种标准和固定的数据呈现模式，借助于大数据分析，用户能够把握现状、预测趋势，这样才能驾驭未来。作为一个大数据的行动者和实干家，作者也结合自己的工作经验，对于如何成为优秀的分析师，给出了他的答案，那就是学历、数学和编程等技能“它们仅仅是起点而已”，优秀分析专家身上更重要的才能是“承诺、创造力、商业头脑、演讲能力和沟通技巧、直觉”，这种人一将难求，它需要分析师长期的工作经验积累，从这点看，数据分析“不能只把自己当成科学家，业内最好的分析专家毫无疑问也是艺术家”。企业的大数据探索之旅，并非一片坦途，也会充满了各种艰险，这就需要企业具有创新性的文化氛围，容忍冒险和犯错，并鼓励尝试，作者也切中肯綮的提出“关注人，而不是工具”，“打破思维定势，形成连锁反应，统一行动目标”的创新之路，供读者思考和借鉴。时异而世移，我认为，在当今社会，企业直面社会的剧烈变化，在管理工作中依赖小规模的“点子”“好主意”的传统做法已经难以应对市场的激烈竞争，企业需要从那些来自于现场、来源于客户、来源于多个时空的全方位的立体信息中找到利润的宝藏，才能获得持续增长的动力，从这个意义上看，驾驭大数据是企业驾驭未来的必经之路。

5. 大数据带来的挑战有哪些 会导致数据盲点 危及个人隐私

随着移动互联网、物联网等新技术的迅速发展，人类进入数据时代。大数据带来的信息风暴正深刻改变我们的生活、工作和思维方式，对网络舆情管理也带来深刻影响。 一、大数据时代网络舆情管理面临的新形势大数据意味着人类可以分析和使用的数据大量增加，有效管理和驾驭海量数据的难度不断增长，网络舆情管理面临全新的机遇和挑战。 互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果真的想做，可以来这里，这个手技的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，想说的是，除非想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。1.大数据带来网络舆情管理新挑战。一是海量数据的挑战。海量的网上信息难以掌控，大量相关性、偶发性因素使舆情更加复杂多变，传统的舆情监测研判手段和方法难以奏效，新的技术手段和方法要求更高。二是信息选择性传播的挑战。网上数据无限性和网民关注能力有限性之间的矛盾，加剧了社会舆论的“盲人摸象”效应。社会化媒体促进信息的开放和沟通的便捷，分众传播、个性化传播凸显，使偏激的观点更容易找到“同类”，从而相互支持、强化放大，加剧舆论偏激情绪。三是舆论话语权分散的挑战。大数据时代各类数据随手可得，越来越多的机构、个人通过数据挖掘和分析得出的各种结论会不胫而走，有效管理舆情的难度越来越大。2.大数据带来网络舆情治理新机遇。一是拓展网络舆情治理领域。在“一切皆可量化”的大数据浪潮中，网络逐渐成为现实世界的“镜像”，网络社会与现实社会日益融为一体，网络舆情管理不再局限于网上言论领域，而必须全面掌握网络舆情运行规律及其与现实社会的相互影响，实现网上网下充分联动、协调共治。二是丰富网络舆情管理手段。运用大数据技术，可以从更宽领域、更长时段对网上舆论进行比对分析，更加准确地把握网民情绪特点，预判舆情发展趋势，提高舆情管理的效能。三是推动网络舆情理论研究工作。借助大数据分析，舆情研究的视角将更加多元化和精确化，改变目前舆情研究“策为上、术为主、学匮乏”的尴尬学术现实。3.大数据提出网络舆情管理新要求。一是由关注个案向整体掌控转变。传统的网络舆情管理侧重于针对重大舆情事件个案的管理，大数据则能够更好地把握网络舆情发展的整体态势。二是由被动响应向主动预测转变。大数据的核心是预测，在海量的数据中通过分析，发现背后隐藏的微妙的关系，从而预测未来的趋势，提前部署预防应对。三是由定性管理向定量管理转变。将所有相关信息，包括网民评论、情绪变化、社会关系等，以量化的形式转化为可供计算分析的标准数据，通过数据模型进行计算，分析舆情态势和走向。 二、用大数据思维创新网络舆情管理创新大数据时代的网络舆情管理，要将大数据理念和手段贯穿始终，做到“五个结合”。1.将大数据和社会治理紧密结合起来，改进网络舆情源头治理。网络舆情本质上是社情民意的体现，加强网络舆情管理就是加强社会治理。要运用大数据强大的“关联分析”能力，构建网络舆情数据“立方体”，把网上网下各方面数据整合起来，进行分析，挖掘网络舆情和社会动态背后的深层次关系，实现网络舆情管理和社会治理的紧密联动、同步推进。2.将大数据和网上政务信息公开紧密结合起来，提升政府公信力。当前，美国政府已经建立统一的数据开放门户网站，并提供接口供社会各界开发应用程序来使用各部门数据，此举将政务公开从“信息层面”推进到“数据层面”，开辟了政府信息公开的新路径。我们要在保障数据安全的基础上，探索建立我国的大数据政务公开系统，引导社会力量参与对公共数据的挖掘和使用，让数据发挥最大价值。3.将大数据和日常舆情管理紧密结合起来，提高网络舆情整体掌控能力。美国纽约市警察局开发了着名的ComStat系统，通过分析历史数据绘制“犯罪地图”，预测犯罪高发时间和地点，从而有针对性地加强警力配置，获得巨大成功。这种“数据驱动”方法，对网络舆情管理有一定的借鉴意义。要运用大数据突破传统舆情管理的狭窄视域，建立网络舆情大数据台账系统，实时记录网站、博客、微博、微信、论坛等各个网络平台数据，全面分析舆情传播动态，从瞬息万变的舆情数据中找准管理重点、合理配置资源，提高管理效能。4.将大数据和突发事件应对紧密结合起来，提高网络舆情应急处置能力。大数据时代，社会突发事件与互联网总是紧密相连、如影随形，网络既能成为突发事件的“助燃剂”，也能够成为应对事件的有力工具。要建立“舆情量化指标体系”、“演化分析模型”等数据模型，综合分析事件性质、事态发展、传播平台、浏览人数、网民意见倾向等各方面数据，快速准确地划分舆情级别，确定应对措施，解决传统的舆情分级中存在的随意性、滞后性等问题，做到科学研判、快速处置。5.将大数据和舆论引导紧密结合起来，提高感染力和说服力。大数据时代的舆论引导，一方面要“循数而为”，通过分析网上数据，建立网民意见倾向分析模型，了解网民的喜好和特点，做到“善说话、说对话”。另一方面要“用数据说话”。数据最有说服力，要在充分收集相关数据的基础上，运用图表等数据可视化技术，全面呈现事件的来龙去脉，让网民既了解事件真相，也了解事件背景和历史脉络，消除舆论的“盲人摸象”效应，化解网民偏激情绪，实现客观理性。 三、以切实有力的举措推进大数据舆情管理体系建设要积极适应大数据时代发展要求，从体制机制、技术手段、人才队伍等各个方面加快创新，构建完善的网络舆情管理体系，不断提升网络舆情管理的科学化、现代化、数字化水平。1.健全大数据舆情管理体制。数据资源是国家的重要战略资源。当前，我国在大数据管理方面还存在数据分散、利用率低、安全性不高等问题，要尽快出台国家层面的大数据战略规划，加快数据立法进程，加大资金、技术、人力资源投入。建议建立由网信部门牵头的互联网大数据管理体制，设立政府首席信息官，统筹各方面数据的汇集、管理和利用，制定统一的数据接口标准，打破各行各业的“数据孤岛”，推动我国大数据加快发展。2.建设网络舆情大数据基础平台。数据只有整合利用才能产生价值。当前，亟需建设统一高效的大数据基础平台，实现各行业、各领域数据的统一存储、交流互通。要尽快建设我国网络数据中心，构建国家级的互联网大数据平台，全面汇集各方面数据。加快出台相关法律法规，明确各级各部门包括政府部门、企业、人民团体等向网络数据中心提供和共享数据的权利义务，使网络数据中心成为全国数据存储和交换的中心枢纽，实现数据的快速汇集、规范管理、高效利用。3.强化网络舆情管理大数据技术支撑。大数据既有全面、动态、开放等优势，也有价值密度低、传播速度快等难点，必须加快技术攻关，提高数据“沙里淘金”的能力。一是数据监测技术，实现对媒体、论坛、博客、微博、微信等各个网络平台数据的全面抓取和记录，特别是要提高对图片、音视频等数据的自动识别能力。二是大规模数据存储技术。建设具有海量存储能力的大数据平台，实现对大规模数据的高效读写和交换。三是数据挖掘技术，从海量数据中快速识别有价值数据，并挖掘数据背后隐藏的规律。四是数据分析技术，包括关联分析、聚类分析、语义分析等等，自动分析网上言论蕴含的意见倾向及相互之间的关联性，揭示舆情发展趋势。五是数据安全技术，包括身份验证、入侵检测、网络关防等等，保障数据安全。4.壮大网络舆情大数据人才队伍。要统筹国内各大高校、科研单位、媒体机构、政府部门力量，开设专门的数据科学学科，加强各学科人才的交叉培养，重点培养综合掌握统计学、计算机学、新媒体、传播学等各方面知识的复合型人才，打造一支规模宏大的大数据人才队伍，为网络舆情管理提供坚实的人才智力支撑。