1. 大數據發展的三個必要條件
大數據發展的三個必要條件_數據分析師考試
近年來,關於大數據的討論在技術、應用和模式等多個層面展開,已被認為代表著產業發展的方向。但與互聯網公司的諸多實踐相比,被認為具有數據資源先天優勢的電信運營商卻走在了後面,即便放眼全球,電信運營商的大數據應用案例也是屈指可數。移動寬頻和固網寬頻快速發展、OTT的強勢崛起決定了電信運營商必須充分利用自身掌握的數據資源,另闢蹊徑,從而實現網路價值的最大化。因此,電信運營商應用大數據是必然的,而且市場前景十分廣闊。
為了加快大數據的「落地」步伐,幫助業界各方特別是電信運營企業更好地了解大數據,認清大數據戰略發展的重要性,分析發展道路上面臨的難題和障礙,促進大數據產業鏈的成熟,推動大數據的應用推廣。從今天開始,《人民郵電》報特邀來自中興通訊、電信研究院以及三大運營商等單位的專家,推出「掘金大數據」系列報道,以饗讀者。
大數據概念的橫空出世,有賴於短短幾年出現的海量數據。據統計,互聯網上的數據每兩年翻一番,而目前世界上90%以上的數據都是最近幾年才產生的。當然,海量數據僅僅是「大數據」概念的一部分,只有具備4個「V」的特徵,也就是Volume(海量)、Velocity(高速)、Variety(多樣)、Value(價值),大數據的定義才算完整,而最後一個Value(價值),恰恰是決定大數據未來走向的關鍵。
大數據發展的三個必要條件
大數據的發展需要三方面的必要條件:數據源、數據交易、數據產生價值的過程。近年來,社交網路的興起、物聯網的發展和移動互聯網的普及,微信、微博、智能手機、電商大行其道,誕生了大量有價值的數據源,比如位置、生活信息等數據,數據源的出現奠定了大數據發展的基礎。大數據時代到來的重要標志,則是大批專業級「數據買賣商」的出現,以及圍繞數據交易形成的貫穿於收集、整理、分析、應用整個流程的產業鏈條。大數據發展的核心,則是使用戶從海量的非結構化數據和半結構化數據中獲得新的價值,數據價值是帶動數據交易的原動力。
IBM、甲骨文、SAP近年紛紛斥巨資收購數據管理和分析公司,在這些互聯網巨頭的帶動下,數據分析技術日漸成熟。2013年6月,愛德華·斯諾登將「棱鏡」計劃公之於眾,「棱鏡門」事件一方面說明大數據技術已經成熟,另一方面也佐證了現在阻礙大數據發展的不是技術,而是數據交易和數據價值。
大數據技術的發展促進了雲計算的落地,雲計算的部署完成又反過來加大了市場對數據創造價值的期待。大數據概念提出之後,市場終於看到了雲計算的獲利方向,雲計算市場彷彿在一夜之間爆發,在過去一兩年間幾乎已經被國內大方案商、大集成商瓜分殆盡——各地的一級系統集成商與當地政府合作,建雲數據中心,建智慧城市;各大行業的巨頭們在搭建各自行業的混合雲標准,搭建行業雲平台;公有雲也來了,各大IT巨頭想盡辦法申請中國的公有雲牌照。雲計算從概念到落地用了5年時間,最終促成這一切的就是大數據,或者說是市場對數據價值的期待。藉助於國內智慧城市概念的大規模普及,雲計算基礎設施已基本准備就緒,一方面具備了大數據應用的硬體基礎,另一方面迫於回收雲計算投資的壓力,市場急需應用部署,大數據恰如雪中送炭,被市場寄予厚望。
現在,一切的矛頭都指向了「數據如何創造價值?」
56數據創造價值的基石6是數據整合和開放
大數據服務創業公司Connotate對800多名商業和IT主管進行了調查。結果顯示,60%受調查者稱「目前就說這些大數據投資項目肯定能夠帶來良好回報尚為時過早」。之所以如此,是由於當前大數據缺乏必需的開放性:數據掌握在不同的部門和企業手中,而這些部門和企業並不願意分享數據。大數據通過研究數據的相關性來發現客觀規律,這依賴於數據的真實性和廣泛性,數據如何做到共享和開放,這是當前大數據發展的軟肋和需要解決的大問題。
2012年美國大選奧巴馬因數據整合而受益。在奧巴馬的競選團隊中有一個神秘的數據挖掘團隊,他們通過對海量數據進行挖掘幫助奧巴馬籌集到10億美元資金;他們通過數據挖掘使競選廣告投放效率提升了14%;他們通過製作搖擺州選民的詳細模型,每晚實施6.6萬次模擬選舉,推算奧巴馬在搖擺州的勝率,並以此來指導資源分配。這個數據挖掘團隊,對奧巴馬成功連任功不可沒。奧巴馬競選團隊相比羅姆尼競選團隊最有優勢的地方就是對大數據的整合。奧巴馬的數據挖掘團隊也意識到這個全世界共同的問題:數據分散在過多的資料庫中。因此,在前18個月,奧巴馬競選團隊就創建了一個單一的龐大數據系統,可以將來自民意調查者、捐資者、現場工作人員、消費者資料庫、社交媒體,以及「搖擺州」主要的民主黨投票人的信息整合在一起。這個整合後的巨大資料庫不僅能告訴競選團隊如何發現選民並獲得他們的注意,還幫助數據處理團隊預測哪些類型的人有可能被某種特定的事情所說服。正如競選總指揮吉姆·梅西納所說,在整個競選活中,沒有數據做支撐的假設很少存在。
2012年3月,美國奧巴馬政府宣布投資2億美元啟動「大數據研究和發展計劃」,將大數據研究上升為國家意志,對大數據的整合帶來深遠影響。一個國家擁有數據的規模和運用數據的能力將成為綜合國力的重要組成部分。國內智慧城市的建設目標之一就是實現數據的集中共享。
數據創造價值需要合作共贏的商業模式
隨著雲計算、大數據技術和相關商業環境的不斷成熟,越來越多的「軟體開發者」正在利用跨行業的大數據平台,打造創新價值的大數據應用,而且這一門檻正在不斷降低。因為首先,數據擁有者樂於做這樣的事情,他們能夠以微乎其微的成本獲取額外的收入,提高利潤水平;其次,大數據設備廠商樂於做這樣的事情,因為廠商需要應用來吸引消費者購買設備,發展合作共贏的夥伴關系勢必比單純銷售設備要有利可圖,一些具有遠見的廠商已經開始通過提供資金、技術支持、入股等方式來扶持這些「軟體開發者」;第三,行業細分市場的數據分析應用需求在不斷加大,對於整個大數據產業鏈來說,創新型的行業數據應用開發者必將是未來整個大數據產業鏈中最為活躍的部分。
在必然到來的大數據時代,有三種企業將在「大數據產業鏈」中處於重要地位:掌握海量有效數據的企業,有著強大數據分析能力的企業,以及創新的「軟體開發者」。社交網路、移動互聯網、信息化企業、電信運營商都是海量數據的製造者,Facebook公司手中掌握著8.5億用戶,淘寶注冊用戶超過3.7億,騰訊的微信用戶突破3億,這些龐大用戶群所提供的數據,正在等待時機釋放出巨大的商業能量。可以預測,在不久的將來,Facebook、騰訊、電信運營商等海量數據持有者要麼自我發展成為數據分析提供商,要麼與IBM、ZTE等企業密切對接成為上下游合作企業,大數據產業鏈將在某個爆發點到來之際,以令人驚訝的速度成長壯大。
警惕大數據的危害
大數據時代,傳統的隨機抽樣被「所有數據的匯攏」所取代,人們的思維決斷模式,已可直接根據「是什麼」來下結論,由於這樣的結論剔除了個人情緒、心理動機、抽樣精確性等因素的干擾,因此將更精確、更有預見性。不過,由於大數據過於依靠數據的匯集,一旦數據本身有問題,就很可能出現「災難性大數據」,即因為數據本身的問題,而導致錯誤的預測和決策。
大數據的理論是「在稻草堆里找一根針」,而如果「所有稻草看上去都挺像那根針」呢?過多但無法辨析真偽和價值的信息和過少的信息一樣,對於需要作出瞬間判斷、一旦判斷出錯就很可能造成嚴重後果的情況而言,同樣是一種危害。大數據理論是建立在「海量數據都是事實」的基礎上,而如果數據提供者造假呢?這在大數據時代變得更有害,因為,人們無法控制數據提供者和搜集者本人的偏見與過濾。擁有最完善資料庫、最先接受「大數據」理念的華爾街投行和歐美大評級機構,卻每每在重大問題上判斷出錯,這本身就揭示了「大數據」的局限性。
不僅如此,大數據時代造就了一個資料庫無所不在的世界,數據監管部門面臨前所未有的壓力和責任:如何避免數據泄露對國家利益、公眾利益、個人隱私造成傷害?如何避免信息不對等,對弱勢群體的利益構成傷害?在有效控制風險之前,也許還是讓大數據繼續待在「籠子」里更好一些。
大數據的經濟價值已經被人們所認可,大數據的技術也已經逐漸成熟,一旦完成數據的整合和監管,大數據爆發的時代即將到來。我們現在要做的,就是選好自己的方向,為迎接大數據的到來,提前做好准備。
以上是小編為大家分享的關於大數據發展的三個必要條件的相關內容,更多信息可以關注環球青藤分享更多干貨
2. 在當今時代大數據需要的是什麼
大數據的價值體現在以下幾個方面:
(1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;
(2)做小而美模式的中小微企業可以利用大數據做服務轉型;
(3)面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。
【海量信息】專注於大數據實踐20年,提供數字化轉型頂層設計、數據中台(內置用戶畫像核心引擎),業務中台建設、數據獲取、治理、分析服務,是您值得信賴的企業數字化轉型專業服務商。
3. 澶ф暟鎹鎶鏈鐨勪綋緋繪槸浠涔浠誨姟鍒嗗埆鏄浠涔
鏁版嵁鎶鏈鐨勪綋緋誨寘鎷浠ヤ笅鍑犱釜鏂歸潰錛
鏁版嵁閲囬泦涓庡瓨鍌錛氬ぇ鏁版嵁鎶鏈鐨勯栬佷換鍔℃槸閲囬泦鍜屽瓨鍌ㄥぇ閲忕殑鏁版嵁銆傝繖鍖呮嫭浠庡悇縐嶆潵婧愯幏鍙栨暟鎹錛屽備紶鎰熷櫒銆佹棩蹇楁枃浠躲佺ぞ浜ゅ獟浣撱佷簰鑱旂綉絳夈傚悓鏃訛紝闇瑕侀夋嫨閫傚綋鐨勬暟鎹瀛樺偍鎶鏈錛屽傚垎甯冨紡鏂囦歡緋葷粺銆佹暟鎹婀栥丯oSQL鏁版嵁搴撶瓑錛屼互瀹圭撼鍜岀$悊嫻烽噺鐨勬暟鎹銆
鏁版嵁澶勭悊涓庡垎鏋愶細澶ф暟鎹鎶鏈闇瑕佸勭悊鍜屽垎鏋愬簽澶х殑鏁版嵁闆嗐傝繖鍖呮嫭鏁版嵁娓呮礂銆佽漿鎹銆佹暣鍚堢瓑鏁版嵁棰勫勭悊榪囩▼錛屼互鍙婃暟鎹鍒嗘瀽鍜屾寲鎺樻妧鏈鐨勫簲鐢錛屽傜粺璁″垎鏋愩佹満鍣ㄥ︿範銆佹暟鎹鎸栨帢絳夈傞氳繃榪欎簺鎶鏈錛屽彲浠ヤ粠鏁版嵁涓鍙戠幇妯″紡銆佸叧鑱斿拰瓚嬪娍錛屽苟鎻愬彇鏈夌敤鐨勪笟鍔¤佽В銆
鏁版嵁鍙瑙嗗寲涓庝氦浜掞細澶ф暟鎹鎶鏈闇瑕佸皢鏁版嵁鍙瑙嗗寲錛屽苟鎻愪緵浜や簰寮忕殑鐣岄潰錛屼嬌鐢ㄦ埛鑳藉熺洿瑙傚湴鐞嗚В鍜屾帰緔㈡暟鎹銆傛暟鎹鍙瑙嗗寲鍙浠ラ噰鐢ㄥ悇縐嶅浘琛ㄣ佸浘褰㈠拰浠琛ㄧ洏絳夋柟寮忓憟鐜版暟鎹錛屽府鍔╃敤鎴峰彂鐜版暟鎹涓鐨勬ā寮忓拰瓚嬪娍錛屽苟榪涜屽疄鏃剁殑鏁版嵁鍒嗘瀽鍜屽喅絳栥
鏁版嵁瀹夊叏涓庨殣縐侊細澶ф暟鎹鎶鏈闇瑕佸叧娉ㄦ暟鎹鐨勫畨鍏ㄥ拰闅愮佷繚鎶ゃ傝繖鍖呮嫭鏁版嵁鐨勫姞瀵嗐佽塊棶鎺у埗銆佽韓浠借よ瘉絳夋妧鏈錛屼互紜淇濇暟鎹鐨勬満瀵嗘с佸畬鏁存у拰鍙鐢ㄦс傚悓鏃訛紝闇瑕侀伒瀹堟暟鎹闅愮佹硶瑙勫拰鏀跨瓥錛岀『淇濆逛釜浜哄拰鏁忔劅鏁版嵁鐨勫悎瑙勫勭悊銆
鏁版嵁娌葷悊涓庤川閲忕$悊錛氬ぇ鏁版嵁鎶鏈闇瑕佸緩絝嬫暟鎹娌葷悊鍜岃川閲忕$悊鏈哄埗錛屼互紜淇濇暟鎹鐨勪竴鑷存с佸噯紜鎬у拰鍙淇″害銆傝繖鍖呮嫭鏁版嵁鏍囧噯鍖栥佸厓鏁版嵁綆$悊銆佹暟鎹璐ㄩ噺璇勪及絳夋柟闈㈢殑宸ヤ綔錛屼互淇濊瘉鏁版嵁鐨勫彲闈犳у拰鍙淇″害銆
瀹炴椂鏁版嵁澶勭悊涓庢祦寮忚$畻錛氶殢鐫鏁版嵁浜х敓閫熷害鐨勫炲姞錛屽ぇ鏁版嵁鎶鏈闇瑕佹敮鎸佸疄鏃舵暟鎹澶勭悊鍜屾祦寮忚$畻銆傝繖鍖呮嫭瀹炴椂鏁版嵁閲囬泦銆佸疄鏃舵暟鎹澶勭悊銆佸疄鏃舵暟鎹鍒嗘瀽鍜屽喅絳栫瓑錛屼互婊¤凍瀵瑰疄鏃舵暟鎹鐨勯渶奼傘
緇間笂鎵榪幫紝澶ф暟鎹鎶鏈鐨勪綋緋誨寘鎷鏁版嵁閲囬泦涓庡瓨鍌ㄣ佹暟鎹澶勭悊涓庡垎鏋愩佹暟鎹鍙瑙嗗寲涓庝氦浜掋佹暟鎹瀹夊叏涓庨殣縐併佹暟鎹娌葷悊涓庤川閲忕$悊錛屼互鍙婂疄鏃舵暟鎹澶勭悊涓庢祦寮忚$畻銆傝繖浜涗換鍔$浉浜掑叧鑱旓紝鍏卞悓鏋勫緩浜嗗ぇ鏁版嵁鎶鏈鐨勫畬鏁翠綋緋匯