1. 如何有效應對大數據技術的倫理挑戰
如何有效應對大數據技術的倫理挑戰
大數據技術是一把「雙刃劍」,既可以為人類服務,也可能給人類帶來麻煩。近來,頻繁的網路公司泄露個人信息事件引起廣泛關注,也使人們意識到,正確認識和有效應對大數據技術帶來的隱私倫理問題至關重要。
關注「演算法」背後的隱私倫理
大數據分析可以對人進行數據成像,在聚類、相關性分析以及數據整合的基礎上刻畫人的行為特徵與傾向,在商業智能推薦、人的行為預測等方面具有廣泛的應用前景。中國社會科學院哲學研究所研究員段偉文認為,從現象上看,它是一種非常有效的分析工具,但如果使用這些技術的人動機不純,就有可能帶來不良後果。從本質上講,大數據帶來的負面影響源於數據本身的特殊性,數據中隱含著人的各種信息,而這些信息很容易作為引導、說服與控制人類行為的工具。這一本質特徵往往會誘使商家和濫用權力者干預人的自主權和侵犯人的隱私權。
「在大數據技術背景下討論隱私倫理問題,人們主要關注的是信息隱私方面的倫理問題,最集中地體現在數據的開放共享與個人信息保護兩者如何平衡的問題上。一般所說的大數據技術是一把『雙刃劍』,也主要是從這個意義上說的。」北京師范大學哲學學院教授田海平表示,數據的開放共享只是大數據技術得以實現的一個方面。除此之外,它還包括通過數字化技術獲取和存儲數據,通過大數據平台對海量數據進行深度挖掘、預測以及反饋等更為深度和實質性的數據佔有與使用。目前,這種獲取和使用數據的方式,可以通過深度機器學習做到完全智能化。就大數據的佔有和使用方面而言,大數據技術加上機器學習,不僅在數據共享方面,而且在數據深度挖掘方面,把個人信息保護和數據權的確權問題都交給了「演算法」,這是一個值得關注的、更為深層次的問題。
找尋技術和規范兩方面原因
大數據技術的應用給人類帶來一系列的隱私倫理問題和挑戰,這其中既有大數據技術自身的原因,也有制度規范等的原因。
江西財經大學馬克思主義學院教授黃欣榮表示,大數據技術在推動人類社會發展的同時,也帶來了數據採集權、保存權、使用權、知情權、所有權、刪除權、隱私權等倫理問題。產生這些問題的原因在於,大數據技術是一種全新的信息技術,大數據的隱私倫理問題是全新的問題。傳統的法律法規、倫理道德難以約束相關機構採集、存儲、傳輸和使用數據,並且新技術帶來的新問題還沒有完全暴露,新的法律法規難以同步發展。
段偉文認為,目前造成大數據隱私倫理問題的主要原因有:一是基於大數據分析的智能化商業推薦系統帶來了全新的營銷模式,其營銷效率較傳統的營銷模式具有指數倍增效應,巨大利益誘惑面前,包含個人隱私及敏感信息的數據被單純地視為牟利的工具和隨意轉賣的商品,個人的數據保護往往被商家忽視,甚至被商家運用演算法加以算計,使人的隱私權受到侵犯;二是合理可行的個人數據授權和保護機制尚未建立,很多數據在用於某一分析之後被用於其他不明領域;三是分散的數據被整合之後,也可能通過數據分析洞察出一些不一定準確但會對主體造成負面影響的特徵,進而誘使對這些特徵進行不良使用。
加強數據立法 堅守倫理底線
對於如何讓大數據技術更好地為人類服務,黃欣榮認為,需要強化隱私觀念,加強數據立法,堅守倫理底線。
田海平認為,尊重個人隱私權是一個毋庸置疑的底線倫理原則。只有我們的法律體系和道德體系在規范合理性的構建方面堅守這條底線,大數據技術的應用才能夠真正做到趨利避害。「數據共享」與「隱私保護」構成了大數據時代無法割捨的兩面性,它實際上凸顯了將「數據共享的倫理」與「隱私保護的倫理」,既以一種價值方式又以一種技術方式在大數據時代同時實現的任務。
段偉文表示,首先,要進一步凸顯主體數據權利保護意識,聯系大數據技術發展中的各種倫理沖突,解剖典型案例,進而從理論上廓清符合大數據時代特徵的新型數據權利、隱私權以及被遺忘權的基本概念以及實踐範例。其次,建立起包括商家、政府法律部門、普通用戶等相關利益群體的對話機制,制定在具體的、數據驅動的社會經濟乃至治理活動中的數據保護規范與實現機制。最後,做好與危害數據權利、惡意侵犯個人隱私權行為長期斗爭的准備,探尋從法律和倫理層面根治此類問題的有效策略,並使之作為治理法規積淀下來。
2. 大數據時代所面臨的挑戰
大數據時代所面臨的挑戰
大數據時代臨近,企業數據呈現爆炸式增長,如何為了更大的發掘企業數據價值將是很多公司必須要面對的挑戰。首當其沖的是大數據的快速發展對我們原有的IT基礎設施提供了更高的挑戰,原有的IT基礎設施以及很難滿足大數據時代的需求。發現價值的過程離不開基礎平台技術的創新與發展。
基礎平台的改變
首先大數據挑戰的就是企業的存儲系統,大數據爆炸式的增長使得存儲系統的容量、擴展能力、傳輸瓶頸等方面都面臨著挑戰。與之相連的還有伺服器的計算能力,內存的存儲能力等等都面臨著新的技術攻關。目前快閃記憶體技術的發展以及英特爾、IBM等公司在大數據方面都已經投入相當大的資金進行研發,主要也是為了解決大數據對基礎平台所帶來的挑戰。
同樣,大數據分析同樣面臨著軟體方面的挑戰,同時也引發資料庫、數據倉庫、數據挖掘、商業智能、人工智慧、內容/知識管理等領域的技術變革。Hadoop是近年大家經常提到了一個能夠對大量數據進行分布式處理的軟體框架,用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。
商業模式的挑戰
大數據具有強大的數據價值,當我們可以利用大數據挖掘到需要信息的時候,則需要我們根據得到的信息對企業的商業模型、產品和服務等方面進行創新,這樣才能夠真正的讓大數據的價值得到體現。
如何利用大數據信息來改變商業模式最終實現價值呢,這里我們引用Tesco為案例。Tesco收集了海量的顧客數據,並且通過對每位顧客海量數據的分析,Tesco對每位顧客的信用程度和相關風險都會有一個極為准確的評估。在這個基礎上,Tesco推出了自己的信用卡,未來Tesco還有野心推出自己的存款服務。
以上是小編為大家分享的關於大數據時代所面臨的挑戰的相關內容,更多信息可以關注環球青藤分享更多干貨
3. 大數據時代應如何應對變革帶來的機遇與挑戰
大數據時代應如何應對變革帶來的機遇與挑戰
大數據時代帶給我們更多沖擊,要想與時俱進,並不斷的提升,那就要摒棄原來的傳統思想,大膽努力的接受大數據帶來的新挑戰。想要弄清楚大數據時代帶給我們的變化,那就要先知道大數據是什麼,這樣方可以更好的迎接大挑戰,應對時代帶來的變革。大數據是指海量的數據,這是非結構化的數據,無法用傳統的數據來處理。大數據技術的應用給人們生活帶來了諸多的便利性,許多疫情的報告都來源於大數據。
大數據的應用並不是那麼簡單,其引發的是模式的變革,其應用不僅僅是發電、輸電,而是基於互聯網技術,這對於人們的生產過程以及商品交換帶來了變革性的影響。整個變革過程的技術手段就是數據的挖掘與分析,其是在互聯網基礎上,將使製造行業的生產效率大幅度提升。大靈氣無法產生新的物質產品,也無法創造新的市場需求,但卻可以大幅度的提升生產力。
國際上對於大數據的定義了四大特徵,那就是海量的數據規模、快速的數據流轉、動態的數據體系、多樣的數據類型以及巨大的數據價值。基於大數據的全國的數據信息總量每兩年就翻番。對於企業而言,大數據來源於企業內部信息系統所產生的運營數據,數據越大結果越好。成功的進入大數據時代,企業將擁有更多的發展潛能。
通過對大數據的處理,人們放棄了因果關系而選擇了相互聯系。在未來的幾年內,大數據將成為提升公司競爭力的有力基礎,行業與行業之間的競爭將演變為數據的競爭,所以,解決數據資源的搜索與共享將成為當務之急。以互聯網行業的代表阿里巴巴和谷歌為例,前者的伺服器都達到了上萬台,而後者則超過了五十萬台,這就是數據的差別。
大數據是一種運營模式,數據的膨脹決定了企業的未來發展方向,越來越多的企業意識到了數據增漲的隱患。隨著時間的推移,數據對於人們和企業的重要性會越發突顯。
4. 如何擺脫大數據
擺脫不了大數據的。因為當今社會是一個網路發達的社會,大數據在其中占的地位很大,沒有大數據就沒有現在的發達網路。
5. 面臨大數據挑戰我們該怎麼做
大數據的其中兩個特性是數據量大跟實時性,這是企業目前處理大數據所面臨的最主要的兩個挑戰。我們可以看到數據的這兩個屬性,是傳統關系型資料庫也一直在處理的問題。
如果光從字面上去理解「大數據」,我們通常會認為大數據就是數據的大爆發,側重於強調數據的量。但是如果你去總結IBM、ORACLE、EMC對於大數據的定義話,它的外延還包括了數據的多樣性已經分析的實時性。
大數據的其中兩個特性是數據量大跟實時性,這是企業目前處理大數據所面臨的最主要的兩個挑戰。我們可以看到數據的這兩個屬性,是傳統關系型資料庫也一直在處理的問題。如果說傳統關系型資料庫目前尚不能夠滿足企業的業務需求,那麼技術的研究方向也應該是按照關系型資料庫這種技術架構進行進行下去。要知道,傳統關系型資料庫跟目前針對大數據的非結構化資料庫的架構類型是完全不一樣的。關系型資料庫已經存在了40多年,對於數據處理也已經顯得非常成熟,如果企業要用新興的非結構化數據去取代它,那麼會不會面臨「撿了芝麻,丟了西瓜」的結局我們也不得而知。
那再讓我們來看大數據的第三個特性:「數據的多樣性」。這里的「多樣性」意味著非結構化數據變得越來越多。
事實上,全球產生的數據中85%以上的確是非結構化的數據。但企業主要處理的還是結構化的數據。大多數廠商的非結構化數據分析工具也是轉換成結構化數據之後再進行處理。那麼大數據的真正之「大」在於如何將非結構化數據處於成結構化數據,以及之後的對於大量結構化數據的並行處理能力。這跟許多廠商的強調的「非結構化」數據本身並無太大關聯。
一些非常資深的資料庫專家認為:能把最簡單的業務,簡單的數據形態挖掘深入才能體現功底,電商這類復雜業務挖掘出一點成果容易,深入難,許多企業不去強調對於數據的挖掘,而在強調工具和技術。這些專家也在提醒,結構化數據相對小,但是富礦,非結構化數據大,但是貧礦,如果富礦還沒開始采就轉攻大貧礦,後果可想而知。
關於大數據的成本風險
只要不是錢多得燒不完的企業,其IT部門始終要面臨這樣一個問題:用盡可能少的錢去創造盡可能多的價值。
資料庫建設無疑是企業IT預算的大頭。一個項目建設花費掉上千萬在中國許多企業是非常正常的事情。然而我們看得到的是大數據的建設其花費肯定將不會低於原來傳統關系型資料庫的花費。
現在很多廠商正在給與我們這樣的案例,許多企業依靠大數據的能夠,發現了以前根本無法發現的機遇,拓展了自己的市場。那我們就必須要討論一下大數據的有效性,到底企業利用大數據給企業帶來了多少額外增加的價值?這種增加的價值是否能夠企業的投入有一個非常好的比例。而且更為重要的一點是,是否只要使用大數據就一定能夠給企業帶來以前不可能實現的價值?
當然,任何一種新技術的出現都要面臨許許多多的挑戰,大數據也是一樣。只有那種能夠給企業帶來實際價值的技術才有真正的生命力。任何企業絕對不會為了採用新技術而應用新技術,技術最終的落腳點一定是實現業務價值。
大數據還處於成長當中,許多IT廠商也認為目前大數據需要和傳統關系型數據倉庫共存。如果企業的確希望利用新興技術實現業務的突破,那麼也應該必須慎重。
6. 大學生應如何應對大數據時代
數據開始主導一切的時代,大學生不管是不是IT行業,都應該去了解大數據。如果你是IT行業的大學生,那麼多學一點大數據的知識並沒有壞處,而且,大數據未來將於各個行業相互對接,AI技術、雲計算也都會和大數據相對接,所以,大學生應該多了解、多學習大數據相關知識,來應對這個時代。
7. 大數據改革時代我們該如何去應對
大數據改革時代我們該如何去應對
對大數據進行進一步深度的分析,並挖掘出對企業發展有利的數據,這是現代企業最常見的行為。而通過對市場的整體分析了解經濟增長的內動力以及結構變化和調整,進一步調整產業,以便更好的發揮企業優勢,贏得市場,成為同行中的佼佼者,這是任何企業都希望看到的。但是,從大數據提出以來,越來越多的企業表示自己似乎看不懂,大數據變化的太快,讓人捉摸不透。而對大數據的改革,我們該如何應對呢?
一、化零為整
數據是零散的,就像一盤散沙,分散在世界各地,企業要想分析市場,就要將這盤散沙捧起來,運用數據分析技術以及特長分析、挖掘埋藏在數據當中的寶貴價值,實現更好的決策,推動企業相關決策的進行。
二、去糟粕,挖精髓
數據泛濫的最直接後果就是數據中有大量無用數據的存在,這些無用的數據會對數據分析技術人員的分析行為造成一定的困擾,對此,技術人員需要對其進行整理、清洗,去掉無用的數據,將有價值的大數據挖掘出來,進行科學管理和分析,嚴格控制數據的質量,做到真正的數出有源、真實可靠。
三、重視數據源
大數據時代,數據來源不可能僅有一點,尤其是在行業分析當中,不僅要分析自己行業的發展,還要分析競爭對手的數據,更甚者需要分析市場環境的數據。多方面下手才能真正分析出到底是怎麼回事,該如何去應對市場危機。
然而,不少企業用戶在分析數據的時候,不捨得下血本,只是簡單的對自己產品的用戶行為以及各種數據進行分析,並不會投資分析大環境以及競爭對數,這樣可能導致企業在發展過程中,看不清市場環境,無法做出正確的判斷,也就是我們所說的決策失誤。
當然,大數據涉及各行各業,分析大數據,不可能僅看一方面,也不可能毫無預算的去分析所有的數據,這樣會導致很多浪費,也會增加企業的成本支出。作為現代化企業,最好的做法是轉變自己的經營思路,加強各部門之間的溝通協調、保證數據收集的精準,為企業大數據的發展提供更好的環境。
以上是小編為大家分享的關於大數據改革時代我們該如何去應對的相關內容,更多信息可以關注環球青藤分享更多干貨
8. 如何解決大數據4個特點帶來的四個困難
大數據時代面臨挑戰的應對策略:
1、合理獲取數據
在大數據時代,數據的產生速度飛快而且體量龐大,往往以TB或YB甚至是ZB來衡量。各種機構、個人都在不斷地向外產生和發布結構化與非結構化的復雜數據,並進行數據交換,如人們當前最常用的數據來源渠道——互聯網,每天的數據交換量已極為驚人。
2、存儲隨需而變
美國一家知名的 DVD 租賃企業每年都會邀請一些協同處理演算法的專家對其用戶數據進行分析,從而了解租賃客戶的需求。
3、篩選與分析大數據
充分利用數據「洞察」自己身邊的人或物,在諸多供給方當中精準地匹配自身需求,從而最大限度地滿足自身籲求也是大數據價值的應有之義。
4、理性面對大數據的價值誘惑
毫無疑問,大數據時代將是商業智能「大顯身手」的時代。企業利用發達的數據挖掘技術正日益精準地揣摩著消費者心態,並運用各種手段對其「循循善誘」 。
5、雲計算和大數據相輔相成
為了滿足大數據的需求,商務智能軟體必須改變。
9. 如何應對大數據時代的變革機遇挑戰
大數據泛指巨量的數據集,因可從中挖掘出有價值的信息而受到重視。《華爾街日報》將大數據時代、智能化生產和無線網路革命稱為引領未來繁榮的三大技術變革。麥肯錫公司的報告指出數據是一種生產資料,大數據是下一個創新、競爭、生產力提高的前沿。世界經濟論壇的報告認定大數據為新財富,價值堪比石油。因此,發達國家紛紛將開發利用大數據作為奪取新一輪競爭制高點的重要抓手。
大數據時代的來臨
互聯網特別是移動互聯網的發展,加快了信息化向社會經濟各方面、大眾日常生活的滲透。有資料顯示,1998年全球網民平均每月使用流量是1MB(兆位元組),2000年是10MB,2003年是100MB,2008年是1GB(1GB等於1024MB),2014年將是10GB。全網流量累計達到1EB(即10億GB或1000PB)的時間在2001年是一年,在2004年是一個月,在2007年是一周,而2013年僅需一天,即一天產生的信息量可刻滿1.88億張DVD光碟。我國網民數居世界之首,每天產生的數據量也位於世界前列。淘寶網站每天有超過數千萬筆交易,單日數據產生量超過50TB(1TB等於1000GB),存儲量40PB(1PB等於1000TB)。網路公司目前數據總量接近1000PB,存儲網頁數量接近1萬億頁,每天大約要處理60億次搜索請求,幾十PB數據。一個8Mbps(兆比特每秒)的攝像頭一小時能產生3.6GB數據,一個城市若安裝幾十萬個交通和安防攝像頭,每月產生的數據量將達幾十PB。醫院也是數據產生集中的地方。現在,一個病人的CT影像數據量達幾十GB,而全國每年門診人數以數十億計,並且他們的信息需要長時間保存。總之,大數據存在於各行各業,一個大數據時代正在到來。
信息爆炸不自今日起,但近年來人們更加感受到大數據的來勢迅猛。一方面,網民數量不斷增加,另一方面,以物聯網和家電為代表的聯網設備數量增長更快。2007年全球有5億個設備聯網,人均0.1個;2013年全球將有500億個設備聯網,人均70個。隨著寬頻化的發展,人均網路接入帶寬和流量也迅速提升。全球新產生數據年增40%,即信息總量每兩年就可以翻番,這一趨勢還將持續。目前,單一數據集容量超過幾十TB甚至數PB已不罕見,其規模大到無法在容許的時間內用常規軟體工具對其內容進行抓取、管理和處理。
數據規模越大,處理的難度也越大,但對其進行挖掘可能得到的價值更大,這就是大數據熱的原因。首先,大數據反映輿情和民意。網民在網上產生的海量數據,記錄著他們的思想、行為乃至情感,這是信息時代現實社會與網路空間深度融合的產物,蘊含著豐富的內涵和很多規律性信息。根據中國互聯網路信息中心統計,2012年底我國網民數為5.64億,手機網民為4.2億,通過分析相關數據,可以了解大眾需求、訴求和意見。其次,企業和政府的信息系統每天源源不斷產生大量數據。根據賽門鐵克公司的調研報告,全球企業的信息存儲總量已達2.2ZB(1ZB等於1000EB),年增67%。醫院、學校和銀行等也都會收集和存儲大量信息。政府可以部署感測器等感知單元,收集環境和社會管理所需的信息。2011年,英國《自然》雜志曾出版專刊指出,倘若能夠更有效地組織和使用大數據,人類將得到更多的機會發揮科學技術對社會發展的巨大推動作用。
大數據應用的領域
大數據技術可運用到各行各業。宏觀經濟方面,IBM日本公司建立經濟指標預測系統,從互聯網新聞中搜索影響製造業的480項經濟數據,計算采購經理人指數的預測值。印第安納大學利用谷歌公司提供的心情分析工具,從近千萬條網民留言中歸納出六種心情,進而對道瓊斯工業指數的變化進行預測,准確率達到87%。製造業方面,華爾街對沖基金依據購物網站的顧客評論,分析企業產品銷售狀況;一些企業利用大數據分析實現對采購和合理庫存量的管理,通過分析網上數據了解客戶需求、掌握市場動向。有資料顯示,全球零售商因盲目進貨導致的銷售損失每年達1000億美元,這方面的數據分析大有作為。
在農業領域,矽谷有個氣候公司,從美國氣象局等資料庫中獲得幾十年的天氣數據,將各地降雨、氣溫、土壤狀況與歷年農作物產量的相關度做成精密圖表,預測農場來年產量,向農戶出售個性化保險。在商業領域,沃爾瑪公司通過分析銷售數據,了解顧客購物習慣,得出適合搭配在一起出售的商品,還可從中細分顧客群體,提供個性化服務。在金融領域,華爾街「德溫特資本市場」公司分析3.4億微博賬戶留言,判斷民眾情緒,依據人們高興時買股票、焦慮時拋售股票的規律,決定公司股票的買入或賣出。阿里公司根據在淘寶網上中小企業的交易狀況篩選出財務健康和講究誠信的企業,對他們發放無需擔保的貸款。目前已放貸300多億元,壞賬率僅0.3%。
在醫療保健領域,「谷歌流感趨勢」項目依據網民搜索內容分析全球范圍內流感等病疫傳播狀況,與美國疾病控制和預防中心提供的報告對比,追蹤疾病的精確率達到97%。社交網路為許多慢性病患者提供臨床症狀交流和診治經驗分享平台,醫生藉此可獲得在醫院通常得不到的臨床效果統計數據。基於對人體基因的大數據分析,可以實現對症下葯的個性化治療。在社會安全管理領域,通過對手機數據的挖掘,可以分析實時動態的流動人口來源、出行,實時交通客流信息及擁堵情況。利用簡訊、微博、微信和搜索引擎,可以收集熱點事件,挖掘輿情,還可以追蹤造謠信息的源頭。美國麻省理工學院通過對十萬多人手機的通話、簡訊和空間位置等信息進行處理,提取人們行為的時空規律性,進行犯罪預測。在科學研究領域,基於密集數據分析的科學發現成為繼實驗科學、理論科學和計算科學之後的第四個範例,基於大數據分析的材料基因組學和合成生物學等正在興起。
麥肯錫公司2011年報告推測,如果把大數據用於美國的醫療保健,一年產生潛在價值3000億美元,用於歐洲的公共管理可獲得年度潛在價值2500億歐元;服務提供商利用個人位置數據可獲得潛在的消費者年度盈餘6000億美元;利用大數據分析,零售商可增加運營利潤60%,製造業設備裝配成本會減少50%。
大數據技術的挑戰和啟示
目前,大數據技術的運用仍存在一些困難與挑戰,體現在大數據挖掘的四個環節中。首先在數據收集方面。要對來自網路包括物聯網和機構信息系統的數據附上時空標志,去偽存真,盡可能收集異源甚至是異構的數據,必要時還可與歷史數據對照,多角度驗證數據的全面性和可信性。其次是數據存儲。要達到低成本、低能耗、高可靠性目標,通常要用到冗餘配置、分布化和雲計算技術,在存儲時要按照一定規則對數據進行分類,通過過濾和去重,減少存儲量,同時加入便於日後檢索的標簽。第三是數據處理。有些行業的數據涉及上百個參數,其復雜性不僅體現在數據樣本本身,更體現在多源異構、多實體和多空間之間的交互動態性,難以用傳統的方法描述與度量,處理的復雜度很大,需要將高維圖像等多媒體數據降維後度量與處理,利用上下文關聯進行語義分析,從大量動態而且可能是模稜兩可的數據中綜合信息,並導出可理解的內容。第四是結果的可視化呈現,使結果更直觀以便於洞察。目前,盡管計算機智能化有了很大進步,但還只能針對小規模、有結構或類結構的數據進行分析,談不上深層次的數據挖掘,現有的數據挖掘演算法在不同行業中難以通用。
大數據技術的運用前景是十分光明的。當前,我國正處在全面建成小康社會征程中,工業化、信息化、城鎮化、農業現代化任務很重,建設下一代信息基礎設施,發展現代信息技術產業體系,健全信息安全保障體系,推進信息網絡技術廣泛運用,是實現四化同步發展的保證。大數據分析對我們深刻領會世情和國情,把握規律,實現科學發展,做出科學決策具有重要意義,我們必須重新認識數據的重要價值。
為了開發大數據這一金礦,我們要做的工作還很多。首先,大數據分析需要有大數據的技術與產品支持。發達國家一些信息技術(IT)企業已提前發力,通過加大開發力度和兼並等多種手段,努力向成為大數據解決方案提供商轉型。國外一些企業打出免費承接大數據分析的招牌,既是為了練兵,也是為了獲取情報。過分依賴國外的大數據分析技術與平台,難以迴避信息泄密風險。有些日常生活信息看似無關緊要,其實從中也可摸到國家經濟和社會脈搏。因此,我們需要有自主可控的大數據技術與產品。美國政府2012年3月發布《大數據研究與發展倡議》,這是繼1993年宣布「信息高速公路」之後又一重大科技部署,聯邦政府和一些部委已安排資金用於大數據開發。我們與發達國家有不少差距,更需要國家政策支持。
中國人口居世界首位,將會成為產生數據量最多的國家,但我們對數據保存不夠重視,對存儲數據的利用率也不高。此外,我國一些部門和機構擁有大量數據卻不願與其他部門共享,導致信息不完整或重復投資。政府應通過體制機制改革打破數據割據與封鎖,應注重公開信息,應重視數據挖掘。美國聯邦政府建立統一數據開放門戶網站,為社會提供信息服務並鼓勵挖掘與利用。例如,提供各地天氣與航班延誤的關系,推動航空公司提升正點率。
大數據的挖掘與利用應當有法可依。去年底全國人大通過的加強網路信息保護的決定是一個好的開始,當前要盡快制定「信息公開法」以適應大數據時代的到來。現在很多機構和企業擁有大量客戶信息。應當既鼓勵面向群體、服務社會的數據挖掘,又要防止侵犯個體隱私;既提倡數據共享,又要防止數據被濫用。此外,還需要界定數據挖掘、利用的許可權和范圍。大數據系統本身的安全性也是值得特別關注的,要注意技術安全性和管理制度安全性並重,防止信息被損壞、篡改、泄露或被竊,保護公民和國家的信息安全。
大數據時代呼喚創新型人才。蓋特納咨詢公司預測大數據將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數據分析人才44萬—49萬,缺口14萬—19萬人;需要既熟悉本單位需求又了解大數據技術與應用的管理者150萬,這方面的人才缺口更大。中國是人才大國,但能理解與應用大數據的創新人才更是稀缺資源。
大數據是新一代信息技術的集中反映,是一個應用驅動性很強的服務領域,是具有無窮潛力的新興產業領域;目前,其標准和產業格局尚未形成,這是我國實現跨越式發展的寶貴機會。我們要從戰略上重視大數據的開發利用,將它作為轉變經濟增長方式的有效抓手,但要注意科學規劃,切忌一哄而上。
(作者:中國工程院院士)
10. 當代大學生應該如何應對「大數據」帶來的機遇與挑戰
大數據,或稱巨量資料,是指所涉及的資料量規模巨大,以致無法通過目前主流軟體工具在合理時間內擷取、管理、處理並整理成為幫助企業達致經營決策目的的資訊。大數據技術不僅能夠提高人們利用數據的效率,而且能夠實現數據的再利用和重復利用,進而大大降低交易成本,提升人們開發自我潛能的空間。人們可以低成本或零成本進行事物信息全息式的縱向歷史比對和橫向現實比對。大數據技術自身不僅能夠迅速衍生為新興信息產業,還可以同雲計算、物聯網和智慧工程技術聯動,支撐一個信息技術的新時代。
雲計算、物聯網、大數據、智慧工程都是新一代信息技術。雲計算技術是一種按使用量付費的模式,這種模式可以提供可用的、便捷的、按需的網路訪問,進入可配置的計算資源共享池(資源包括網路、伺服器、存儲、應用軟體、服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。雲計算技術可以使人們及時利用各類大數據。物聯網技術的實質就是物物相連的互聯網,物聯網的核心和基礎仍然是互聯網,其用戶端延伸和擴展到了任何物品與物品之間,進行信息交換和通信。物聯網技術可以溯源大數據和保證信息的真實性。智慧工程就是把感應器嵌入和裝備到電網、鐵路、橋梁、隧道、公路、建築、供水系統、大壩、油氣管道等各種物體中,並且進行普遍連接,與現有的互聯網整合起來,實現人類社會與物理系統的整合。智慧工程可以激活沉寂的大數據。