1. 運營商發展大數據的核心價值在於商業化
運營商發展大數據的核心價值在於商業化
近年來,電信運營商利潤率增幅放緩甚至下降,傳統話音業務收入增長乏力,日趨邊緣化、管道化;數據業務佔比迅速增長,但量收的剪刀差持續擴大,投入多回報少。
在運營商轉型路上,大數據技術的深入應用與商業模式的開發大有可為,可以說是運營商規避同質化競爭,打造智能數據管道,尋找差異化經營「藍海」的必由之路。大數據的技術架構尋求高性能與低成本的統一,可以降低電信運營商龐大的IT資本開支壓力。大數據的商業應用促使電信運營商從單純提供網路資源、前向收費方式轉變為基於網路資源和依據海量數據資源提供服務的靈活多樣的混合模式,是一種新的商業模式。
國內運營商大數據應用受限
國內電信運營商在大數據應用方面主要受到了以下方面的限制。
第一,數據採集散亂、深度不足:電信運營商擁有海量數據的來源,但採集渠道散亂,通常分級、分地區、分系統建設,整體規劃不足,數據標准化程度低,匯聚困難,無法形成有效的數據資產。
第二,數據分析能力不足:電信運營商建有以數據倉庫為核心的經營分析系統,通常採用小型機加高性能存儲架構建設,針對傳統話單日誌等結構化數據設計,還不具備非結構化數據與流數據的分析處理能力。
第三,數據商業應用不足:電信運營商大量數據尚沒有充分發掘數據應有的價值,智能管道的建設正處在初期階段。現有分析系統僅對內部提供服務,缺乏對外數據開放平台,大量數據未能有效進行商業利用。
電信運營商大數據發展探析
(1)大數據的政策支撐
電信運營商應積極尋求政府的支持,推動政府為大數據產業發展提供積極的政策支撐與引導、對關鍵技術的研發提供專項財政資金支持、對重點工程項目的實施提供支持與保障。電信運營商應高度重視大數據信息安全,推動政府部門牽頭啟動大數據立法,解決大數據信息權屬與隱私保護問題;制定大數據技術標准與運營標准,規范大數據安全體系。通過政策支撐保障大數據產業的可持續發展。
2012年10月,中國計算機學會和中國通信學會均成立了大數據專家委員會,從行業學會的層面來組織和推動大數據的相關產學研用活動。運營商可以依託該平台推動企業內部大數據的發展。
(2)大數據技術架構與演算法的研發
根據2012年美國市場調查咨詢公司(Gartner)發布的新興技術曲線,大數據技術正處於「期望膨脹期」,距離真正成熟尚需2~5年。電信運營商應抓住機遇加強技術研發,在開源技術的基礎上,發展適合運營商的大數據技術;同時應積極對技術標准做出貢獻,掌握技術主動權。在技術的拓展可主要集中在三個方面:(a)大數據的採集與傳輸技術。採集技術是指基於智能管道和物聯網的大數據獲取技術和演算法;大數據傳輸技術研究應注重海量數據傳輸的安全可靠性,解決調度與控制問題。(b)大數據的存儲與分析技術。存儲技術主要指面向海量數據文件的有效存儲與讀取能力、大數據的新型表示方法和去冗降噪演算法;分析技術的拓展方向應包括數據可用性和可計算性,計算復雜性問題,研究求解演算法,進行高效處理等。(c)大數據的隱私安全技術。在大數據時代,如何保護用戶隱私安全不僅是法規層面需要解決的問題,也是電信運營商在技術層面亟待解決的問題。
(3)大數據支撐運營中心
運營商要充分發揮大數據的價值,首要條件是具備採集、融合、存儲、分析海量數據的能力。電信運營商可以在現有經分系統或數據倉庫的基礎上,針對目前數據採集散亂、採集深度不足、分析能力不足的問題,構建數據集中、平台統一的省級或全國級大數據支撐運營中心,為大數據的應用與商業化提供精確支撐。大數據支撐運營中心可以設置如下邏輯架構。
數據採集層:通過建設數據採集聚合網關,匯聚跨地區、跨系統的採集的豐富數據源。
數據融合層:建設海量結構化數據、非結構化數據以及流數據處理能力,建立數據標准化體系,進行統一處理和存儲。
數據應用層:通過構建不同的數據挖掘與分析模型,融合結構化數據,形成數據倉庫,對外提供統一服務能力。
資源管理層:提供統一監控、資源管理與運營等功能。
(4)大數據應用與商業化
大數據應用與商業化是大數據發展的核心價值與落腳點。電信運營商擁有極其豐富的數據資源,相比互聯網公司更具天然優勢。對大數據進行全面、深入、實時的分析和應用,以客戶體驗為核心發展流量經營,是電信運營商應對新形勢下挑戰避免淪為啞管道的關鍵。
通過大數據助力業務創新,提供市場營銷與客戶服務的精準支撐能力。在互聯網社會中,擁有數據,就擁有了了解用戶行為的基礎,從足夠多數據的疊加中可以探知一個人的過往行為,同時可以精準的預測出其未來的需求。通過對海量的行為和內容數據處理,可以獲得用戶的時間、位置、業務、終端等基礎信息,分析出用戶的身份、興趣、社交圈等,這樣可以開發出很多新的增值業務。
通過大數據提升企業管理水平,提供透明管控與科學運營的精準支撐能力。運營商可以融合市場、財務、網路等多個系統產生的海量數據,將相關聯的數據進行處理分析,有利於運營商更全面、更准確、更快速地獲得企業運營數據,為投資決策和網路優化方案提供更多視角。
通過大數據發展開放合作平台,開辟新的商業模式,助力電信運營商轉型。電信運營商可以通過大數據支撐運營中心發展開放合作平台,為廣大開發者提供海量數據資源,發揮大數據的價值,將數據作為資源,進而提升的運營商利潤增長點。
大數據技術的發展及規模商用,使得電信運營商能夠充分挖掘管道內容,創造新的業務增長模式,應對「去電信化」的趨勢,轉型為綜合信息服務提供商,成為未來大數據時代中最大的贏家。但在推動商業化應用的過程中還應全面認識大數據的內涵,避免陷入單純的計算能力和存儲能力建設,要清醒認識大數據發展的成熟度,客觀分析用戶的應用需求,避免過度建設
2. 談談對當下大數據、雲計算、雲安全、智慧城市建設的理解
智慧城市是在數字城市、平安城市等基礎框架之上建立的全新實體,通過物聯網將現實世界與數字世界進行有效融合,自動和實時地感知現實世界中人和物的各種狀態和變化,由雲計算中心處理其中海量和復雜的計算與控制,為城市管理和公眾提供各種智能化的服務。
從國家政策來看,中國「863計劃」智慧城市項目總體技術體系架構在科技部863計劃「智慧城市(一期)」項目的支持下,863計劃智慧城市項目(一期)總體組提出了「六橫兩縱」的智慧城市技術框架。「六橫」層層遞進,最下層的是城市的感知層,再是傳輸層,再上面依次分別是處理層、支撐服務層、應用服務層,最上面是智慧應用層,貫穿全局的是安全保障體系以及標准與評測。
而要真正實現智慧城市,必須引入大數據技術,主要包含三大方面的需求,通過以下三個方面才能實現海量數據的搜集、處理、加工、分析,並真正作用於具體細分行業:
一、大數據融合技術
我國智慧城市建設面臨的重大挑戰之一,是城市系統之間由於標准問題無法有效集成,形成信息孤島。因此,在大數據融合技術領域,一方面要加強大數據標准建設,另一方面要加強海量異構數據建模與融合、海量異構數據列存儲與索引等關鍵技術研發,為給予底層數據集成的信息共享提供標准和技術保障。
二、大數據處理技術
大規模數據在智慧城市系統流動過程中,出於傳輸效率、數據質量與安全等因素的考慮,需要對大規模數據進行預處理。大數據處理技術往往需要與基於雲計算的並行分布式技術相結合,這也是目前國際產業界普遍採用的技術方案。
三、大數據分析和挖掘技術
大數據分析與挖掘技術為智慧城市治理提供了強大的決策支持能力。相比於大數據融合和處理技術,大數據分析與挖掘技術更為復雜,是國際學術界和產業界面臨的極具挑戰性的技術難題。
隨著大數據技術的不斷發展,以及行業用戶對大數據技術的需求日漸明顯,大數據行業應用遍地開花。小編通過金鵬信息在智慧城市大數據應用的探索,分享一些國內外的實際案例供借鑒。
1.國內的智慧城市
2013年3月,北京市的「智慧朝陽服務網」正式上線。通過大數據技術的處理、分析手段,從支撐庫提煉出數據後發送到服務管理系統,然後通過服務門戶,包括微信、微博、移動應用、服務網站、機頂盒等多元化的方式與不同的用戶群體進行溝通。
2.國外的智慧城市
瑞典首都斯德哥爾摩市政府在通往市中心的道路上設置了18個路邊控制站,通過使用RFID技術以及利用激光、照相機和先進的自由車流路邊系統,自動識別進入市中心的車輛,自動向在周一至周五(節假日除外)6:30到18:30之間進出市中心的注冊車輛收稅。通過收取「道路堵塞稅」減少了車流,交通擁堵降低了25%,交通排隊所需的時間下降50%,道路交通廢氣排放量減少了8%-14%,二氧化碳等溫室氣體排放量下降了40%。
3.智慧醫療
金鵬信息醫療制定了基於英特爾大數據解決方案的區域衛生數據中心建設目標,在鄭州區域衛生數據中心形成了完整的大數據解決方案。經過反復測試和調優,這一區域衛生大數據計算架構可以滿足海量數據(一億條以上記錄數)的高並發檢索和實時數據分析的性能要求,滿足了「智慧」的大數據需求。
4.智慧警務
通過充分利用雲計算、物聯網、大數據和視頻智慧分析技術、GIS(地理信息系統)、GPS(全球定位系統)、移動通信網路、移動警務智能系統、數字集成等前沿科技,實現警務工作現代化、智能化、流程化、可視化。
5.智慧交通
鄭州建立智能公交系統,使公交車信息就在地圖上顯示出來:如最近的一輛公交車還有5分鍾到站,滿員;下一輛公交車還有10分鍾到站,有空座,可以選擇乘坐;下樓2分鍾,走到站台1分鍾,餘下7分鍾,還有時間坐下喝杯熱茶。
6.智慧消防
鄭州建立智能消防系統,報警人只需撥打119,系統將立刻定位報警人當前位置,並調用位置所在區域監控攝像頭,確定災情地點和火勢情況。
7.智慧城市規劃
在城市規劃方面,通過對城市地理、氣象等自然信息和經濟、社會、文化、人口等人文社會信息進行挖掘,可以為城市規劃提供強大的決策支持,強化城市管理服務的科學性和前瞻性。
金鵬信息智慧城市解決方案
3. 大數據時代,面臨的七個挑戰和八大趨勢
大數據時代,面臨的七個挑戰和八大趨勢
大數據挑戰和機遇並存,大數據在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段,大數據在未來幾年將逐漸步入理性發展期。未來的大數據發展依然存在諸多挑戰,但前景依然非常樂觀。
大數據發展的挑戰
目前大數據的發展依然存在諸多挑戰,包括七大方面的挑戰:業務部門沒有清晰的大數據需求導致數據資產逐漸流失;企業內部數據孤島嚴重,導致數據價值不能充分挖掘;數據可用性低,數據質量差,導致數據無法利用;數據相關管理技術和架構落後,導致不具備大數據處理能力;數據安全能力和防範意識差,導致數據泄露;大數據人才缺乏導致大數據工作難以開展;大數據越開放越有價值,但缺乏大數據相關的政策法規,導致數據開放和隱私之間難以平衡,也難以更好的開放。
挑戰一:業務部門沒有清晰的大數據需求
很多企業業務部門不了解大數據,也不了解大數據的應用場景和價值,因此難以提出大數據的准確需求。由於業務部門需求不清晰,大數據部門又是非盈利部門,企業決策層擔心投入比較多的成本,導致了很多企業在搭建大數據部門時猶豫不決,或者很多企業都處於觀望嘗試的態度,從根本上影響了企業在大數據方向的發展,也阻礙了企業積累和挖掘自身的數據資產,甚至由於數據沒有應用場景,刪除很多有價值歷史數據,導致企業數據資產流失。因此,這方面需要大數據從業者和專家一起,推動和分享大數據應用場景,讓更多的業務人員了解大數據的價值。
挑戰二:企業內部數據孤島嚴重
企業啟動大數據最重要的挑戰是數據的碎片化。在很多企業中尤其是大型的企業,數據常常散落在不同部門,而且這些數據存在不同的數據倉庫中,不同部門的數據技術也有可能不一樣,這導致企業內部自己的數據都沒法打通。如果不打通這些數據,大數據的價值則非常難挖掘。大數據需要不同數據的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通,並且實現技術和工具共享,才能更好的發揮企業大數據的價值。
挑戰三:數據可用性低,數據質量差
很多中型以及大型企業,每時每刻也都在產生大量的數據,但很多企業在大數據的預處理階段很不重視,導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型,對數據進行清洗和去噪,以提取有效的數據等操作。甚至很多企業在數據的上報就出現很多不規范不合理的情況。以上種種原因,導致企業的數據的可用性差,數據質量差,數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息,還有對收集到的數據進行很好的預處理處理,才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價值的信息。Sybase的數據表明,高質量的數據的數據應用可以顯著提升企業的商業表現,數據可用性提高10%,企業的業績至少提升在10%以上。
挑戰四:數據相關管理技術和架構
技術架構的挑戰包含以下幾方面:(1)傳統的資料庫部署不能處理TB級別的數據,快速增長的數據量超越了傳統資料庫的管理能力。如何構建分布式的數據倉庫,並可以方便擴展大量的伺服器成為很多傳統企業的挑戰;(2)很多企業採用傳統的資料庫技術,在設計的開始就沒有考慮數據類別的多樣性,尤其是對結構化數據、半結構化和非結構化數據的兼容;(3)傳統企業的資料庫,對數據處理時間要求不高,這些數據的統計結果往往滯後一天或兩天才能統計出來。但大數據需要實時處理數據,進行分鍾級甚至是秒級計算。傳統的資料庫架構師缺乏實時數據處理的能力;(4)海量的數據需要很好的網路架構,需要強大的數據中心來支撐,數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高並發的同時,減少伺服器的低負載情況,成為海量數據中心運維的一個重點工作。
挑戰五:數據安全
網路化生活使得犯罪分子更容易獲得關於人的信息,也有了更多不易被追蹤和防範的犯罪手段,可能會出現更高明的騙局。如何保證用戶的信息安全成為大數據時代非常重要的課題。在線數據越來越多,黑客犯罪的動機比以往都來的強烈,一些知名網站密碼泄露、系統漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們,要加強大數據網路安全的建設。另外,大數據的不斷增加,對數據存儲的物理安全性要求會越來越高,從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的數據安全令人擔憂。
挑戰六:大數據人才缺乏
大數據建設的每個環節都需要依靠專業人員完成,因此,必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展。據Gartner預測,到2015年,全球將新增440萬個與大數據相關的工作崗位,且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才,能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來,大數據將會出現約100萬的人才缺口,在各個行業大數據中高端人才都會成為最炙手可熱的人才,涵蓋了大數據的數據開發工程師、大數據分析師、數據架構師、大數據後台開發工程師、演算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大數據,所以擁有大數據的企業應該與學校聯合培養人才。
挑戰七:數據開放與隱私的權衡
在大數據應用日益重要的今天,數據資源的開放共享已經成為在數據大戰中保持優勢的關鍵。商業數據和個人數據的共享應用,不僅能促進相關產業的發展,也能給我們的生活帶來巨大的便利。由於政府、企業和行業信息化系統建設往往缺少統一規劃,系統之間缺乏統一的標准,形成了眾多「信息孤島」,而且受行政壟斷和商業利益所限,數據開放程度較低,這給數據利用造成極大障礙。另外一個制約我國數據資源開放和共享的一個重要因素是政策法規不完善,大數據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此,建立一個良性發展的數據共享生態系統,是我國大數據發展需要邁過去的一道砍。同時,開放與隱私如何平衡,也是大數據開放過程中面臨的最大難題。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私,逐步加強隱私立法,將是大數據時代的一個重大挑戰。
大數據發展趨勢
雖然大數據仍在起步階段,存在諸多挑戰,但未來的發展依然非常樂觀。大數據的發展呈現八大趨勢:數據資源化,將成為最有價值的資產;大數據在更多的傳統行業的企業管理落地;大數據和傳統商業智能融合,行業定製化解決方案將涌現;數據將越來越開放,數據共享聯盟將出現;大數據安全越來越受重視,大數據安全市場將愈發重要;大數據促進智慧城市發展,為智慧城市的引擎;大數據將催生一批新的工作崗位和相應的專業;大數據在多方位改善我們的生活。
趨勢一:數據資源化,將成為最有價值的資產
隨著大數據應用的發展,大數據價值得以充分的體現,大數據在企業和社會層面成為重要的戰略資源,數據成為新的戰略制高點,是大家搶奪的新焦點。《華爾街日報》在一份題為《大數據,大影響》的報告宣傳,數據已經成為一種新的資產類別,就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰訊、網路、阿里巴巴和360等企業正在運用大數據力量獲得商業上更大的成功,並且金融和電信企業也在運用大數據來提升自己的競爭力。我們有理由相信大數據將不斷成為機構和企業的資產,成為提升機構和企業競爭力的有力武器。
趨勢二:大數據在更多的傳統行業的企業管理落地
一種新的技術往往在少數行業應用取得了好的效果,對其他行業就有強烈的示範效應。目前大數據在大型互聯網企業已經得到較好的應用,其他行業的大數據尤其是電信和金融也逐漸在多種應用場景取得效果。因此,我們有理由相信,大數據作為一種從數據中創造新價值的工具,將會在許多行業的企業得到應用,帶來廣泛的社會價值。大數據將在幫助企業更好的理解和滿足客戶需求和潛在需求,更好的應用在業務運營智能監控、精細化企業運營、客戶生命周期管理、精細化營銷、經營分析和戰略分析等方面。企業管理既有藝術也有科學,相信大數據在科學管理企業方面有更顯著的促進,讓更多擁抱大數據的企業實現智慧企業管理。
趨勢三:大數據和傳統商業智能融合,行業定製化解決方案將涌現
來自傳統商業智能領域者將大數據當成一個新增的數據源,而大數據從業者則認為傳統商業智能只是其領域中處理少量數據時的一種方法。大數據用戶更希望能獲得一種整體的解決方案,即不僅要能收集、處理和分析企業內部的業務數據,還希望能引入互聯網上的網路瀏覽、微博、微信等非結構化數據。除此之外,還希望能結合移動設備的位置信息,這樣企業就可以形成一個全面、完整的數據價值發展平台。畢竟,無論是大數據還是商業智能,目的都是為分析服務的,數據全面整合起來,更有利於發現新的商業機會,這就是大數據商業智能。同時,由於行業的差異性,很難研發出一套適用於各行業的大數據商業智能分析系統,因此,在一些規模較大的行業市場,大數據服務提供商將會以更加定製化的商業智能解決方案提供大數據服務。我們相信更多的大數據商業智能定製化解決方案將在電信、金融、零售等行業出現。
趨勢四:數據將越來越開放,數據共享聯盟將出現
大數據越關聯越有價值,越開放越有價值。尤其是公共事業和互聯網企業的數據開放數據將越來越多。我們看到,美國、英國、澳大利亞等國家的政府都在政府和公共事業上的數據做出努力。而國內的一些城市和部門也在逐漸開展數據開放的工作。比如北京市在2012年就開始試運行政務數據資源網,在2013年年底正式開放;上海在2012年啟動了政府數據資源開放試點工作,數據涉及地理位置、交通、經濟統計和資格資質等數據;2014年,貴州省也加入數據開放之列,10月份雲上貴州正式上線。對於不同的行業,數據越共享也是越有價值。如果每一個醫院想獲得更多病情特徵庫以及葯效信息,那麼就需要全國,甚至全世界的醫療信息共享,從而可以通過平台進行分析,獲取更大的價值。我們相信數據會呈現一種共享的趨勢,不同領域的數據聯盟將出現。
趨勢五:大數據安全越來越受重視,大數據安全市場將愈發重要
隨著數據的價值的越來越重要,大數據的安全穩定也將會逐漸被重視。網路和數字化生活也使得犯罪的分子更容易獲取關於他人的信息,也有更多的騙術和犯罪手段出現,所以,在大數據時代,無論對於數據本身的保護,還是對於由數據而演變的一些信息的安全,對大數據分析有較高要求的企業將至關重要。大數據安全是跟大數據業務相對應的,與傳統安全相比,大數據安全的最大區別是安全廠商在思考安全問題的時候首先要進行業務分析,並且找出針對大數據的業務的威脅,然後提出有針對性的解決方案。比如,對於數據存儲這個場景,目前很多企業採用開源軟體如Hadoop技術來解決大數據問題,由於其開源性,但是其安全問題也是突出的。因此,市場需要更多專業的安全廠商針對不同的大數據安全問題來提供專業的服務。
趨勢六:大數據促進智慧城市發展,為智慧城市的引擎
隨著大數據的發展,大數據在智慧城市將發揮著越來越重要的作用。由於人口聚集給城市帶來了交通、醫療、建築等各方面的壓力,需要城市能夠更合理地進行資源布局和調配,而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感知能力和信息利用能力,通過物聯網、移動互聯網、雲計算等新一代信息技術,實現城市高效的政府管理、便捷的民生服務、可持續的產業發展。智慧城市相對於之前數字城市概念,最大的區別在於對感知層獲取的信息進行了智慧的處理。由城市數字化到城市智慧化,關鍵是要實現對數字信息的智慧處理,其核心是引入了大數據處理技術。大數據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等,都是以大數據為基礎的的智慧城市應用領域。
趨勢七:大數據將催生一批新的工作崗位和相應的專業
一個新行業的出現,必將在工作職位方面有新的需求,大數據的出現也將推出一批新的就業崗位,例如,大數據分析師、數據管理專家、大數據演算法工程師、數據產品經理等等。具有有豐富經驗的數據分析人才將成為稀缺的資源,數據驅動型工作將呈現爆炸式的增長。而由於有強烈的市場需求,高校也將逐步開設大數據相關的專業,以培養相應的專業人才。企業也將和高校緊密合作,協助高校聯合培養大數據人才。如2014年,IBM 全面推進與高校在大數據領域的合作,引入強大的研發團隊和業務夥伴,推動「大數據平台」和「大數據分析」的面向行業產學研創新合作以及系統化知識體系建設和高價值人才培養,建設符合中國教學特色及人才需求的大數據相關學分課程,為未來建設特色專業方向做准備。
趨勢八:大數據在多方位改善我們的生活
大數據不僅用於企業和政府,也應用於我們的生活。在健康方面:我們可以利用智能手環監測,對我們的睡眠模式來進行追蹤,了解睡眠質量;我們可以利用智能血壓計、智能心率儀遠程的監控身在異地的家裡老人的健康情況,讓遠在他方的外出工作者更加放心;在出行方面:我們可以利用智能導航出行GPS數據了解交通狀況,並根據擁堵情況進行路線實時調優。在居家生活方面:大數據將成為智能家居的核心,智能家電實現了擬人智能,產品通過感測器和控制晶元來捕捉和處理信息,可以根據住宅空間環境和用戶需求自動設置控制,甚至提出優化生活質量的建議,如我們的冰箱可能會在每天一大早建議我們當天的菜譜。
以上是小編為大家分享的關於大數據時代,面臨的七個挑戰和八大趨勢的相關內容,更多信息可以關注環球青藤分享更多干貨
4. 大數據生命周期的多個階段分析
大數據生命周期的多個階段分析
如今,各個企業對於大數據的應用都甚為積極,但企業在建立大數據的生命周期時應注意,其中包括了這些部分:大數據組織、評估現狀、制定大數據戰略、數據定義、數據收集、數據分析、數據治理、持續改進這幾方面,下面就來詳細了解下。
大數據的現狀評估和差距分析
在定戰略之前,先要做必要的現狀評估,評估前的調研包括三個方面:一是對外調研:了解業界大數據有哪些最新的發展,行業頂尖企業的大數據應用水平如何?行業的平均尤其是主要競爭對手的大數據應用水準如何?二是對內客戶調研。管理層、業務部門、IT部門自身、我們的最終用戶,對我們的大數據業務有何期望?三是自身狀況摸底,了解自己的技術、人員儲備情況。最後對標,作差距分析,找出gap。找出gap後,要給出成熟度現狀評估。一個公司的大數據應用成熟度可以劃分為四個階段:初始期;探索期;發展期;成熟期。
大數據的發展戰略
有了大數據組織、知道了本公司大數據現狀、差距和需求,企業就可以制定大數據的戰略目標了。大數據戰略的制定是整個大數據生命周期的靈魂和核心,它將成為整個組織大數據發展的指引。大數據戰略的內容,沒有統一的模板,但有一些基本的要求:
要現實,這個目標經過努力是能達成的。
要簡潔,又要能涵蓋公司內外干係人的需求。
要明確,以便清晰地告訴所有人我們的目標和願景是什麼。
對於大數據的定義
如果不對大數據進行定義,你將無法採集到它,你沒法採集它就不能分析它;而不能分析它,你就不能衡量它的價值,既然不能衡量它的價值,你也就無法真正的控制它;如果你不能很好的控制它,那麼你就無法管理並且利用它。在需求和戰略明確之後,數據定義就是一切數據管理的前提。
5. 大數據時代是什麼意思大數據是在什麼背景下提出的
大數據(Big data)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據產生背景:
進入2012年,大數據(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,並命名與之相關的技術發展與創新。
它已經上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。
數據正在迅速膨脹並變大,它決定著企業的未來發展,雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數據對企業的重要性。
正如《紐約時報》2012年2月的一篇專欄中所稱,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。
哈佛大學社會學教授加里·金說:「這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。
(5)大數據的期望膨脹期在多少年擴展閱讀
大數據時代的特徵
1、數據量大(Volume)
第一個特徵是數據量大。大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。
2、類型繁多(Variety)
第二個特徵是數據類型繁多。包括網路日誌、音頻、視頻、圖片、地理位置信息等等,多類型的數據對數據的處理能力提出了更高的要求。
3、價值密度低(Value)
第三個特徵是數據價值密度相對較低。如隨著物聯網的廣泛應用,信息感知無處不在,信息海量,但價值密度較低,如何通過強大的機器演算法更迅速地完成數據的價值「提純」,是大數據時代亟待解決的難題。
參考資料來源:網路-大數據時代
6. 大數據的生命周期的九個階段
大數據的生命周期的九個階段
企業建立大數據的生命周期應該包括這些部分:大數據組織、評估現狀、制定大數據戰略、數據定義、數據收集、數據分析、數據治理、持續改進。
一、大數據的組織
沒有人,一切都是妄談。大數據生命周期的第一步應該是建立一個專門預算和獨立KPI的「大數據規劃、建設和運營組織」。包括高層的首席數據官,作為sponsor,然後是公司數據管理委員會或大數據執行籌劃指導委員會,再往下就是大數據的項目組或大數據項目組的前身:大數據項目預研究團隊或大數據項目籌備組。這個團隊是今後大數據戰略的制定和實施者的中堅力量。由於人數眾多,建議引入RACI模型來明確所有人的角色和職責。
二、大數據的現狀評估和差距分析
定戰略之前,先要做現狀評估,評估前的調研包括三個方面:一是對外調研:了解業界大數據有哪些最新的發展,行業頂尖企業的大數據應用水平如何?行業的平均尤其是主要競爭對手的大數據應用水準如何?二是對內客戶調研。管理層、業務部門、IT部門自身、我們的最終用戶,對我們的大數據業務有何期望?三是自身狀況摸底,了解自己的技術、人員儲備情況。最後對標,作差距分析,找出gap。
找出gap後,要給出成熟度現狀評估。一般而言,一個公司的大數據應用成熟度可以劃分為四個階段:初始期(僅有概念,沒有實踐);探索期(已經了解基本概念,也有專人進行了探索和探討,有了基本的大數據技術儲備);發展期(已經擁有或正在建設明確的戰略、團隊、工具、流程,交付了初步的成果);成熟期(有了穩定且不斷成熟的戰略、團隊、工具、流程,不斷交付高質量成果)。
三、大數據的戰略
有了大數據組織、知道了本公司大數據現狀、差距和需求,我們就可以制定大數據的戰略目標了。大數據戰略的制定是整個大數據生命周期的靈魂和核心,它將成為整個組織大數據發展的指引。
大數據戰略的內容,沒有統一的模板,但有一些基本的要求:
1. 要簡潔,又要能涵蓋公司內外干係人的需求。
2. 要明確,以便清晰地告訴所有人我們的目標和願景是什麼。
3. 要現實,這個目標經過努力是能達成的。
四、大數據的定義
我認為:「數據不去定義它,你就無法採集它;無法採集它,你就無法分析它;無法分析它,你就無法衡量它;無法衡量它,你就無法控制它;無法控制它,你就無法管理它;無法管理它,你就無法利用它」。所以「在需求和戰略明確之後,數據定義就是一切數據管理的前提」。
五、 數據採集
1. 大數據時代的數據源很廣泛,它們可能來自於三個主要方面:現有公司內部網各應用系統產生的數據(比如辦公、經營生產數據),也有來自公司外互聯網的數據(比如社交網路數據)和物聯網等。
2.大數據種類很多,總的來講可以分為:傳統的結構化數據,大量的非結構化數據(比如音視頻等)。
3. 數據採集、挖掘工具很多。可以基於或集成hadoop的ETL平台、以互動式探索及數據挖掘為代表的數據價值發掘類工具漸成趨勢。
4. 數據採集的原則:在數據源廣泛、數據量巨大、採集挖掘工具眾多的背景下,大數據決策者必須清楚地確定數據採集的原則:「能夠採集到的數據,並不意味著值得或需要去採集它。需要採集的數據和能夠採集到的數據的"交集",才是我們確定要去採集的數據。」
六、數據處理和分析
業界有很多工具能幫助企業構建一個集成的「數據處理和分析平台」。對企業大數據管理者、規劃者來講,關鍵是「工具要滿足平台要求,平台要滿足業務需求,而不是業務要去適應平台要求,平台要去適應廠商的工具要求」。那麼這個集成的平台應該有怎樣的能力構成呢?它應該能檢索、分類、關聯、推送和方便地實施元數據管理等。見下圖:
七、 數據呈現
大數據管理的價值,最終要通過多種形式的數據呈現,來幫助管理層和業務部門進行商業決策。大數據的決策者需要將大數據的系統與BI(商業智能)系統和KM(知識管理)系統集成。下圖就是大數據的各種呈現形式。
八、 審計、治理與控制
1.大數據的審計、治理和控制指的是大數據管理層,組建專門的治理控制團隊,制定一系列策略、流程、制度和考核指標體系,來監督、檢查、協調多個相關職能部門的目標,從而優化、保護和利用大數據,保障其作為一項企業戰略資產真正發揮價值。
2.大數據的治理是IT治理的組成部分,大數據的審計是IT審計的組成部分,這個體系要統籌規劃和實施,而不是割裂的規劃和實施。
3.大數據的審計、治理與控制的核心是數據安全、數據質量和數據效率。
九、 持續改進
基於不斷變化的業務需求和審計與治理中發現的大數據整個生命周期中暴露的問題,引入PDCA等方法論,去不斷優化策略、方法、流程、工具,不斷提升相關人員的技能,從而確保大數據戰略的持續成功!
7. 現在大數據的發展趨勢
2015年左右,大數據相關政策規劃密集出台,同期為大數據企業新增數量頂峰時期。近年來,我國大數據產業迎來新的發展機遇期,產業規模日趨成熟。大數據產業主體從「硬」設施向「軟」服務轉變的態勢將更加明顯,面向金融、政務、電信、醫療等領域的大數據服務將實現倍增創新。
大數據企業數量持續增長,增速與政策出台密切相關
根據IT桔子統計,大數據企業的快速增長階段出現在2013-2015年,增長速度在2015年達到最高峰。2015年後,市場日趨成熟,企業新增開始趨於放緩,大數據產業逐漸走向成熟。
—— 以上數據及分析均來自於前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。