㈠ 大數據時代讀後感1000字
大數據時代讀後感1000字(精選7篇)
當品味完一本著作後,大家心中一定有很多感想,現在就讓我們寫一篇走心的讀後感吧。怎樣寫讀後感才能避免寫成「流水賬」呢?下面是我精心整理的大數據時代讀後感1000字,僅供參考,大家一起來看看吧。
如今說起新媒體和互聯網,必提大數據,似乎不這樣說就OUT了。而且人雲亦雲的居多,不少談論者甚至還沒有認真讀過這方面的經典著作——舍恩佰格的《大數據時代》。維克托·邁爾——舍恩伯格何許人也?他現任牛津大學網路學院互聯網研究所治理與監管專業教授,曾任哈佛大學肯尼迪學院信息監管科研項目負責人。他的咨詢客戶包括微軟、惠普和IBM等全球頂級企業,他是歐盟互聯網官方政策背後真正的制定者和參與者,他還先後擔任多國政府高層的智囊。這位被譽為:大數據時代的預言家「的牛津教授真牛!那麼,這位大師說的都是金科玉律嗎?並不一定,讀大師的作品一定要做些功課才好讀懂,如果能做足功課又具備相應的理論功底,就能與之進行一場思想上的對話。
舍恩伯格分三部分來討論大數據,即思維變革、商業變革和管理變革。在第一部分」大數據時代的思維變革「中,舍恩伯格旗幟鮮明的亮出他的三個觀點:一、更多:不是隨機樣本,而是全體數據;二、更雜:不是精確性,而是混雜性;三、更好:不是因果關系,而是相關關系。對於第一個觀點,我不敢苟同。一方面是對全體數據進行處理,在技術和設備上有相當高的難度。另一方面是不是都有此拆碼必要,對於簡單事實進行判斷的數據分析難道也要採集全體數據嗎?我曾與香港城市大學的祝建華教授討論過。祝教授是傳播學研究方法和數據分析的專家,他認為一定可以找到一種數理統計方法來進行分析,並不一定需要全部數據。聯繫到舍恩伯格第二個觀點中所說的相關關系,我理解他說的全體數據不是指數量而是指范圍,即大數據的隨機樣本不限於目標數據,還包括目標以外的所有數據。我認為大數據分析不能排除隨機抽樣,只是抽樣的方法和范圍要加以拓展。
我同意舍恩伯格的第二觀點,我認為這是對他第一個觀點很好的補充,這也是對精準傳播和精準營銷的一種反思。」大數據的簡單演算法比小數據的復雜演算法更有效。「更具有宏觀視野和東方哲學思維。對於舍恩伯格的第三個觀點,我也不能完全贊同。」不是因果關系,而是相關關系。「不需要知道」為什麼「,只需要知道」是什麼「。傳播即數據,數據即關系。在小數據時代人們只關心因果關系,對相關關系認識不足,大數據時代相關和銷關系舉足輕重,如何強調都不為過,但不應該完全排斥它。大數據從何而來?為何而用?如果我們完全忽略因果關系,不知道大數據產生的前因後果,也就消解了大數據的人文價值。如今不少學者為了闡述和傳播其觀點喚御游往往語出驚人,對舊有觀念進行徹底的否定。
世間萬物的復雜性多樣化並非非此即彼那麼簡單,舍恩伯格也是這種二元對立的幼稚思維嗎?其實不然,讀者在閱讀時一定要看清楚他是在什麼語境下說的,不要因囫圇吞棗的淺讀而陷入斷章取義的誤讀。比如說舍恩伯格在提出」不是因果關系,而是相關關系。「這一論斷時,他在書中還說道:」在大多數情況下,一旦我們完成了對大數據的相關關系分析,而又不再滿足於僅僅知道『是什麼』時,我們就會繼續向更深層次研究的因果關系,找出背後的『為什麼』。「[i]由此可見,他說的全體數據和相關關系都在特定語境下的,是在數據挖掘中的選項。
大數據研究的一大驅動力就是商用,舍恩伯格在第二部分里討論了大數據時代的商業變革。舍恩伯格認為數據化就是一切皆可」量化「,大數據的定量分析有力地回答」是什麼「這一問題,但仍然無法完全回答」為什麼「。因此,我認為並不能排除定性分析和質化研究。數據創新可以創造價值,這是毫無疑問的。舍恩伯格在討論大數據的角色定位時仍把它置於數據應用的商業系統中,而沒有把它置於整個社會系統里,但他在第二部分大數據時代的管理變革中討論了這個問題。在風險社會中信息安全問題日趨凸顯,數據獨裁與隱私保護成為一對矛盾。如何擺脫大數據的困境?舍恩伯格在最後一節」掌控「中試圖回答,但基本上屬於老生常談。我想,或許凱文·凱利的《失控》可以幫助我們解答這個問題?至少可以提供更多的思考維度。正如舍恩伯格在結語中所道:」大數據並不是一個充斥著演算法和機器的冰冷世界,人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案,只是參考答案,幫助是暫時的,而更好的方法和答案還在不久的未來。「謝謝舍恩伯格!讓大數據討論從自然科學回到人文社科。由此推斷,《大數據時代》不是最終答案,也不是標准答案,只是參考答案。
此外,在閱讀此書之前還必須具備一些數據科學的基本知識和基本概念,比如說什麼叫數據?什麼叫大數據?數據分析與數據挖掘的區別,數字化與數據化有什麼不同?讀前做些功課讀起來就比較好懂了。
我們不再熱衷於尋找因果關系,而應該尋找事物之間的相關關系。這個命題是我讀這本書最大的感觸。個人認為也是這本書最核心的思想。從頭說起吧,首先,書提出一個顛覆我以前認知的命題--」並非原子而是信息才是一切的本源「,將世界看做信息,看做可以理解的數據的海洋,為我們提供了一個從未有過的審視下是的視角。它是一種可以滲透到所有生活領域的世界觀。這個命題是在書的最後一部分中的某一段中描寫的。我之所以把它放在最前面來講,因為我覺得,這是談數據化世界的前提,自然也是談論大數據的前提啦。書的中間部分有一節講到數據化和數字化的區別。經過我自己腦子的整理,把數據化世界這個命題列為大數據思維的第二步。寫到這里,我不由得反省下,我是不是有領悟到書的精髓所在(我認為的精髓),就是第一句話。因為回顧我整個思路,還是按照舊模式的因果關系思考模式思考問題。書中另一個吸引我的地方就是,有很多觀點的論述,會從哲學的高度論述。雖然,自己肚子沒多少墨水,但是讀這些描述的時候,就會發現自己會更好的理解作者提出的命題。比如書中有一段文字
當我們說人類是通過因果關系了解世界時,我們指的是我們再理解和解釋世界各種現象時使用的兩種基本方法:一種是通過快速、虛幻的因果關系,還有一種就是通過緩慢、有條不紊的因果關系。大數據會改變這兩種基本方法在我們認識世界時所扮演的角色。
在附上一些事例的時候,用作者提供的」本質「去看待時,很容易理解,確實是這么回事。好了,那麼大數據到底改變了我們什麼呢,作者給出3點,
大數據的精髓在於我們分析信息時的三個轉變,這些轉變講改變我們理解和組建社會的方法。
第一個轉變就是,在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴於隨機采樣(樣本=總體)
第二個轉變就是,研究數據如此之多,以至於我們不再熱衷於追求精確度
第三個轉變因前兩個轉變而促成,即我們不再熱衷於尋找因果關系,而應該尋找事物之間的相關關系。大數據告訴我們」是什麼「而不是」為什麼「。在大數據時代,我們不必知道現象背後的原因,我們只要讓數據自己發聲。,出處:短美文,否則追究其責任,謝謝你的支持,我們會給做得更好!
正如大家所知道的那樣,人類的大腦具備這樣的功能,它會把新輸入的刺激或信息與」過去的經驗或積累的部分知識「相對照,然後進行調整並接受下來。如果眼前新的現實與大腦中儲存的固有信息無法協調,便會在無意識中拒絕接受新的現實(當作沒有看見);或者通過自己一知半解的知識任意推測,使自己認識到的情況偏離實際(產生錯覺)。這是人的一種本能,目的在於使自己保持冷靜。
所以作者稱之為revolution。
講了這么多,那麼大數據到底給我們帶來什麼。在這里,我只想談我感觸最深的,其他的有興趣的可以自己去了解。當然,書中提了很多,最多的就是,XXX公司或者個人利用大數據創造了多大的財富了,拋開這些表面的不說,最讓我動心亦或者是害怕的是,預測。這是大數據帶來最核心的東西,動心的理由無須贅述,計算機會告訴你什麼時候買什麼雙色球可以中頭獎,想想心裡是不是有一點小激動咧。當然這只是我打的一個比較誇張的比喻。至於害怕呢,書中有段話我很喜歡
公平正義的基礎是人只有做了某事才需要對它負責,畢竟,想做而未做不是犯罪,社會關系於個人責任的基本信條是,人為其選擇的行為承擔責任。如果大數據分析完全准確,那麼我們的未來會被精準的預測,因此在未來,我們不僅會失去選擇的權利,而且會按照預測去行動。如果精準的預測成為現實的話,我們也就失去了自由意志,失去了自由選擇的權利。既然我們別無選擇,那麼我們也就不需要承擔責任。這不是很諷刺嗎。
扯到這里,順便扯一下,書中另一段關於自由意志的描述
在哲學界,關於因果關系是否存在的爭論已經持續了幾個世紀。畢竟,如果凡事皆有因果的話,那麼我們就沒有決定任何事的自由了。如果說我們做的每一個決定或者每一個想法都是其他事情的結果。而這個結果又是由其他原因導致的。以此循環往復,那麼就不存在人的自由意志這一說了。——所有的生命軌跡都只是受因果關系的控制了。因此,對於因果關系在世間所扮演的角色,哲學家們爭論不休,有時他們認為,這是與自由意志相對立。
書中舉了個例子,舉了部電影《少數派報告》,當我看到這里的時候,」哎喲,我居然看過這部電影,想想心裡還是有點小激動「,有興趣的可以去看下,大概就是講警察通過預測來提前抓捕犯人,不過不是通過大數據,是通過超人類的方式。當你什麼舉動都可以被預測,相當於你完全暴露在太陽光下,換成你,你害怕不。
最後,附上兩段結語,一段是書中的一段話,另一段是我自己瞎編的。
大數據並不是一個充斥著演算法和機器的冰冷世界,人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案,只是參考答案,幫助是暫時的,而更好的方法和答案還在不久的未來。
大數據終將會影響到我們,也像其他技術一樣會是一把雙刃劍,用得好,動心,濫用,害怕。如同核技術一樣,用的話,造福地球,濫用,給個金剛石地球你,照樣爆。我相信,未來的大數據的發展會如作者所說的,是一場生活、工作與思維的革命。
「大數據」一詞不知何時在我們的生活悄然出現,為了一探究竟,我便選擇了《大數據時代》一書。
作者先從全局簡單地描述大數據對我們的生活、工作與思維的影響,再從三方面具體地用上百個學術和商業的實例展開寫作。樣本=總體、追求精確性和相關關系等大數據時代具體特點一一現出。在同時,作者也從個人、企業等多角度分析大數據中的隱憂。
書中內容繁多,在此不能各方面概括。此書中雖有許多專有名詞,但作者以其通俗的語言以及許多實例讓我嗅到大數據時代中一抹清新之氣。
為什麼是清新的呢?因為書中的內容彷彿向我打開了一個既有點熟悉又有點陌生的世界。我們現在已處於網路時代 ,在我們日常簡單的操作中大量數據產生,然而起初我們僅用眾多技術在解決手頭上的問題,那些大數據像沙子中的金子,價值不被發現。到目前,每當我們網上購書時總會看到「猜你喜歡」的欄目、出現谷歌搜索與流感預測、Farecast與飛機票價預測系統等,這些事情的達成全來自於那些曾被忽略的大數據同時也在證明「預測,大數據的核心」這句話,為我們的生活創造了前所未有的可量化的維度。看到書中這部分內容時,我不禁感受到自己的生活已在享大數據帶來的福利,就像「猜你喜歡」欄目讓我觸到更多合我口味的書,讓我看到了以前無法發現的細節。擁有大量數據的公司巨頭如谷歌、亞馬遜大力開發有關大數據的新型產業和研究相關項目。借網路時代的便利大數據成為了如今最有商業價值的事物,使一切可量化的趨勢也開始出現。「本質上世界是由信息構成的」,面對這句話時,大數據時代彷彿就在眼前。
在感受驚嘆著大數據能為我們做到以往無法想像的事和它巨大的價值時,我認同大數據能極大優化我們的生活,但又不禁為這時代感到擔憂。一旦大數據時代來臨,不僅我們的隱私可能不再是隱私,就如書中所言「我們時刻暴露在『第三隻眼』下:亞馬遜監視著我們的購物習慣,谷歌監視著我們的購物習慣,而微博似乎什麼都知道」,而且利用大數據我們可以預測許多事情並且十分高效,一旦人們依賴大數據極少運用人類自身的創新等能力被數據束縛住,世界只會淪落為一個極少活力的機械環境。而我認為最大的憂患,是大數據時代對人類自身思維、思想、信仰等精神領域的沖擊。如今我們都生活在數據中,大數據時代說不定在幾年後就會逐步來臨,這使我不禁發問:我們一直堅信著信仰著的究竟是什麼?我覺得世界說變就變實在令我想不通這個問題。事情都有好壞,我也不知道自己是否杞人憂天。
於是我繼續去探索作者對這問題的思考。「更大的數據在於人本身」,作者還說「我們是在創造更好的未來」,也說「在一個預測的時代里,人類的.自由意志不可侵犯,這一點不可輕視。我們在使用大數據時,應當懷有謙恭之心,銘記人性之本」。人類學家克利福德吉爾茲曾說:「努力在可以應用、可以拓展的地方,應用它、拓展它;在不能應用、不能拓展的地方,就停下來。」這些話語彷彿是陽光,驅散我心中對大數據時代的擔憂以及內心對其的恐懼。我認為,在堅守我們內心和自由意志下,大數據才會造福我們人類世界,發揮出它背後對人溫暖的光芒。
面對時代的變革,我會為堅守內心深處的自由意志而努力並「擁抱大數據」。
世界的本質就是數據,當你掌握了數據,你便掌控了世界—你可以輕而易舉地通過數據中的相關關系預測事物的發展,將一切不利因素扼殺於搖籃之中—這遠勝於"防患於未然"。
《大數據時代》一書,讓我們在觀念上有了三大轉變:要全體不要抽樣,要效率不要絕對精確,要相關不要因果。全書介紹了 "大數據"時代三種大的變革:思維變革,商業變革和管理變革。在這些巨大變革如洪水一般的"沖擊"之下,現代社會的運作方式必將有重大的改變,若不順應這種變革的潮流,就像古中國固步自封,最終被堅船利炮打開國門而自己還用著長鉤鐵戟抗爭一樣,不可避免被掠奪,被落於世界進程之後,所以我們必須轉變我們的思想。
"我們不再熱衷於尋找因果關系,而應該尋找事物間的相關關系",我想這句話是本書的核心思想。大數據時代,信息與數據已成為了一切的本源,我們生活在各種數據構成的海洋之中,如果從另一種視角看,就好像無數條"看不見的線"將我們與這些數據聯繫到一起,這是我們以前從未有過、從未想過的。大數據改變了我們以前的通過因果關系了解世界的方法,而提供了幾種新的途徑,因為,在大數據時代,我們可以分析更多數據,有時甚至可以處理和某個特別現象相關的所有數據,也就是:樣本=總體;而且,當研究數據如此之多時,我們已不熱衷於"精確",而是"混亂",若不接受"混亂",那麼有95%的非結構化數據無法利用,這將無法使我們構建完整的數據世界,在分析更多、更全面的數據之後,我們就可以從這些數據之中發掘它們的相關關系,即以"是什麼"而不是"為什麼"的角度看待數據,不用管其從何而來,只要分析其如何影響其他事物既可,即"讓數據自己發聲",這些,徹底推翻了人類以前探索數據的方法,展現了一個全新的世界。
這種觀念以驚人的力量給現知識狀況帶來了巨大的沖擊,通過對海量數據的分析,獲得巨大價值的產品和服務,或深刻的洞見。比如谷歌公司,2009年h1n1流行之時,通過檢測檢索詞條,處理34。5億個不同的數據模型,通過預測並與2007、2008年的美國疾控中心記錄的實際流感病例進行對比後,確定了45條檢索詞條組合,並將其用於一個特定的數學模型後,預測結果與官方數據相關系數高達97%,這種大數據技術,以前所未有的方式,通過海量數據分析得出流感所傳播的范圍,為預測流感提供了一種更快速、高效的工具。
同時,雖然大數據可為人類造福、對抗病症,但這僅限於掌握這門技術而言,若不重視這種技術,當我們的對手早於我們一步構建這種數據網路之時,便是我們的災難,想想,大數據雖核心的在於預測,當敵人通過這種手段預測我方下一步的行動,將是可怕的—比如你的導彈將從何處發射,將飛往哪,你的軍隊動向、目標,總之所有一切"未來"將掌控於敵手,敵方甚至可以藉此發現那些將來有"大作為"的人,從而進行滲透或扼殺,這對我們的發展無疑是致命的,所以,盡快加速大數據系統的構建進程是必須的。
對於我們國防生,也必須順應這種發展趨勢,未來的時代必將是數據極易獲取,數據網路共享化的時代,通過這些數據,建立數據模型,可以准確分析並給出適合每一個人的計劃,如運動量、訓練強度,可以"先知、先覺",及時發現一個人的負面情緒前及時疏導,這些必將成為現實,我們必須跟進時代,做好准備,去應對大數據時代的一切!
「除了上帝,任何人都必須用數據來說話。」——這是《大數據》中出現的讓人印象深刻的一句話,也是全書力圖傳遞的信息。在數字信息時代,數據和空氣一樣遍布生活,對於有些人來說,數據無意義,而對於有些人來說,數據,即真相。
美國是《大數據》的主角,全書通過講述美國半個多世紀信息開放、技術創新的歷史,公共財政透明的曲折、《數據質量法》背後的隱情、全民醫改法案的波瀾、統一身份證的百年糾結、街頭警察的創新傳奇、美國礦難的悲情歷史、商務智能的前世今生、數據開放運動的全球興起,Web3·0與下一代互聯網的未來圖景等等,為讀者一一細解數據創新給公民、政府、社會帶來的種種挑戰和變革。
透過全書,一個立體的美國及美國人民的思想呈現在我們面前——美國人民執著於個人隱私的保護,卻又不遺餘力地推動著政府信息的透明與公開。
讀完此書,對生活中的數據及數據處理突然有了很大的興趣。如果有一天,處處以數據說話,那麼,政治、制度、生活將更加清明,事故、將降到最低點。
作為信息技術教師,是有必要閱讀此書的!有慧根的教師將能從書中挖掘出信息技術特有的文化以及能用於教學的鮮活案例。
每天能用來閱讀的時間很少,總是要等到夜深疲倦時才有空打開書本,總是在眼睛極不舒服的情況下堅持閱讀,《大數據》就這樣在堅持中溶入我的思想……
讀完《大數據》,我才意識到這並不是一本枯燥無味的書籍。作者運用案例和講故事的方式,把美國數據開放、收集、使用背後的立法故事、公民故事、技術故事、商業故事娓娓道來,引人入勝,令我大開眼界。
我在想,大數據概念對於教育來說會產生什麼樣的實用價值呢?一直以來,中國教育在研究教育的數字化,比如數字化校園,這個思路就是把我們教育的內容進行數字化,其結果指向的就是電子教材的研發或者是教學過程的數字化。美其名曰,這是教育技術的重要內涵。在教學過程中,學生的行為表現都可以被數據化,而這項研究不是任何一個專業可以深入下去的,它的專業性太強,所以我才會想到,所謂教育技術與其研究教育的數字化,不如研究教育的數據化來得實在,來的有意義。長期以來,我們並不了解教育對一個人的影響具體會如何表現,我們有的只是一個輪廓,我們也並不確定一個教師的行為對學生具體產生了哪些影響。所以,人們對教育一直有一個深深的質疑,它是不是科學的?大數據概念至少提出了關注「是什麼」比「為什麼」要有實際意義得多。而我們的教育恰好需要把注意力從「為什麼」轉移到「是什麼」上面來,只有如此,才能把教育從為什麼發展成「可能成為什麼」上來,這會是一次思想上的革命。而對於現在地位岌岌可危的教育技術來說,把研究的重點從數字化轉移到數據化上面,這才是它的出路。
如何將數據融入教學,教育者首先通過標准化全科教學處方,實現了教師授課模板和教學內容的標准化,保證每個教學過程和內容是可控的,然後結合每天的教學內容,處理好面對的數據,處理好數據,自然也就處理好了課堂的反饋,最終形成了既注重教學體驗又以教學結果為導向的教學體系。
與此同時,不僅要注重課上的學生資源,在課後還要對這些資源進行跟蹤處理。這與過去的教育教學顯然是不同的,面對大數據時代的到來,教學有所改變是必然的。所以,無論環境怎麼變換,數據如何復雜,我們都不能不去改變自己的教學去迎合將來的這個大數據時代。
舍恩伯格的《大數據時代》,讓我重新審視了"大數據"這個在信息時代異軍突起的熱點詞彙,作為信息安全專業的我,對大數據這個詞本身有著更多的熱忱。
在網路上搜索到的解釋是:"大數據",或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。特點:數量、速度、品種、真實性。
而舍恩伯格認為,大數據並不能定義一個確切的概念。他提到"大數據是人們獲得新的認知,創造新的價值的源泉;大數據還是改變市場、組織機構,以及政府和公民關系的方法。"這是一種更具有人文色彩和社會意義的詮釋。
本書中,主要從三個方面論述,即思維變革、商業變革和管理變革。而舍恩伯格更是著重闡明三大觀點:
一、更多:不是隨機樣本,而是全體數據。
二、更雜:不是精確性,而是混雜性。
三、更好:不是因果關系,而是相關關系。
對於觀點一,我不敢苟同,畢竟大數據的實現需要一定的技術支持,而顯然,現在這種技術還不夠成熟,同時一些簡單的事情運用大數據反倒是問題更加復雜化,因此這種大叔據的繁雜處理方式更適用於一些特定的情況,比如商業預測,人類dna的研究等。
而對第二種觀點,我是十分贊同舍恩伯格所說的"大數據的簡單演算法比小數據的簡單演算法有效"。在計算機行業迅速發展中,一種新的簡單可行的演算法的出現,遠沒有計算機在運算速度和存儲容量的發展快,而大數據演算法似乎更能迎合這種大趨勢。
觀點三中提到的相關關系在大數據中可是重量級的,它能較快找到事物規律和對應的解決措施,當然,也不能完全忽視因果關系,畢竟人們在思維上更能夠接受因果關系分析出的結果,而大數據預測的需要人們慢慢的適應才能接受。當我們完成相關關系的分析而又不滿足於只知道"是什麼"的時候,我們就可以轉而研究"為什麼"了,畢竟問題的根本在於因果。而舍恩伯格的全體數據和相關關系是大數據時代下的一種捷徑。
但是在信息時代,信息安全問題的日趨凸顯,數據獨裁與隱私保護之間的矛盾更是立於風口浪尖,成為眾矢之的,舍恩伯格在本書的最後章節曾試圖尋找一種解決方式來擺脫這一種困境,但最終沒能做到,但是他提出"大數據並不是一個充斥著演算法的和機器的冰冷世界,人類的作用仍無法被完全代替。"這里表明人在數據時代同樣的重要,數據是為人類服務的,也就該人類驅使下完成相應的目的。
在這樣的大環境下,常引起我更多的思考和擔憂。
大數據時代對於我們同是機遇與挑戰,一些國家已開始步入大數據時代的行列,並在各個領域開始研究和使用。而對於我國龐大的人口,以及較大的領土面積,都可以在大數據時代為我們提供數據的保障,而能否面臨挑戰,在大國之間的新一輪角色角逐間嶄露頭角,我們更需要解決技術等方面的問題,更應在政策上逐步開放各領域的數據,保證數據來源、許可權等問題得到解決,不斷學習先進的計算機技術,縮小與其他國家的差距。
工業化、信息化,我們都向世界交出了一份讓世界不能小覷的答案;
大數據時代的數據化我們又將怎樣在新的風暴中所向披靡,如果大數據時代是一種必然趨勢,那這就是我們這一代人的責任,是我們新的戰場!
;㈡ 大數據時代,誰能保障互聯網安全
大數據時代,誰能保障互聯網安全
網路安全事件近期頻發,網路安全警鍾再次響起。互聯網企業應如何保護數據安全?
5月27日下午到夜間,很多用戶發現自己的支付軟體無法登陸,故障2.5個小時;28日,國內最大的旅遊在線預定網站也出了問題,故障時間長達12小時。兩家企業均是互聯網行業中的佼佼者,出現如此問題,顯示出網路安全和穩定遭遇嚴峻挑戰,在當下「互聯網+」熱潮中,網路安全和穩定更應該引起高度重視。隨著這幾年互聯網、移動互聯網的發展,我們每個人都實實在在的感受到了方便快捷的互聯網的服務,但是這幾天的事情告訴我們,在方便背後是黑色危機。
互聯網與生活
對大多數人而言,用手機查看賬單,看看水、煤、電繳費,看看信用卡還款情況,看看理財賬戶的收益,都是方便快捷的方式。而在數千里之外的一次施工,就可以讓一切中斷。隱私暫且不說,軟體託管的資金、理財都是真金白銀。網路出點問題也好,伺服器有點麻煩也罷,你的錢就會成為一筆糊塗賬,這是很可怕的。
同樣,現在很多人都依靠網上預訂行程。出行從訂機票、出發車輛送機場,到落地對方城市車輛接到酒店,再到酒店住宿,返程機票,車輛接送,幾乎擁有一整套服務。然而網路出現問題,很多預訂了行程的客人就會出現各種問題,因為網路或者伺服器的問題,機票沒出,車輛沒訂,酒店沒訂,或者時間拖延,出行者就會遇到大麻煩。
我們的生活已經與互聯網,移動互聯網緊緊聯系在了一起,互聯網就像空氣一樣必不可少。具有行業主導地位的互聯網公司對於個人的重要性不亞於銀行、電信這些關繫到國計民生的國企。他們出點問題,就會是社會性的大問題。
如果用一句話來總結:此次事件損失是慘重的,教訓是深刻的。如何對此類事件有所防範,成為各大互聯網企業與用戶共同面對的問題。有個生僻詞從今天開始就會成為熱門詞彙—災備。
什麼是災備?
一般來說,災備可以分為數據級、應用級和業務級三個級別,可能大多數人對這三種級別的災備都不是很了解,那麼下面我們就來具體的了解一下這三種災備。
數據級災備主要關注的就是數據,就是在災難發生之後,可以確保數據不受到損壞。對於級別較低的數據級災備來說,可以將需要備份的數據通過人工的方式保存到異地實現。如將備份的磁帶(盤或光碟)定時運送到異地保存就是方法之一。而較高級的數據災備方案則依靠基於網路的數據復制工具,實現生產中心不同備份設備之間或是生產中心與災備中心之間的非同步/同步的數據傳輸,如採用基於磁碟陣列的數據復制功能。
應用級災備是建立在數據級災備的基礎上的,對應用系統進行復制,也就是在異地災備中心再構建一套應用支撐系統。支撐系統包括數據備份系統、備用數據處理系統、備用網路系統等部分。應用級災備能提供應用系統接管能力,即在生產中心發生故障的情況下,災備中心便能夠接管應用,從而盡量減少系統停機時間,提高業務連續性。
業務級災備是最高級別的災備系統。它包括非IT系統,所以當發生大的災難時,用戶的辦公場所可能會被損壞,用戶除了需要原來的數據以外,還需要工作人員在一個備份的工作場所能夠正常地開展業務。
金融業的信息系統標准一直有明確的監管要求,而且嚴於其他行業。我國金融行業標准中的《銀行業信息系統災難恢復管理規范》對災難分級、恢復時間有詳細規定。中國銀監會印發的《商業銀行數據中心監管指引》也已經明確,總資產規模一千億元人民幣以上且跨省設立分支機構的法人商業銀行,以及省級農村信用聯合社,應設立異地模式災備中心。
選擇具有災備系統的互聯網公司
據記者采訪的多位網路安全技術專家介紹,目前,不少普通的互聯網企業並沒有災難備份,對用戶而言,選擇具有災備系統的互聯網公司顯得尤為重要。
江淮雲信易通公司則表示,通過雲計算技術可以低成本地實現多個數據備份及快速恢復,並進行更嚴格的雲上許可權管理。如果沒有完善的數據可靠性機制保障和安全防禦能力,對互聯網公司而言意味著致命性打擊。
據了解,信易通是一家數據公司,和中國金融電子化公司(中國人民銀行軟體開發中心)簽訂災備協議,為中小企業制定數據災備方案,所有的數據由中國人民銀行電子化公司備份傳輸到北京,提供數據級和業務級的災備,安全性很高。
以前,自建災備中心往往需要建設基礎設施和全部的應用系統的硬體軟體,覆蓋全部應用系統數據的實時數據傳輸,應用管理,這個建設周期很長,而且成本高、見效慢。
相比之下,信易通的雲災備中心基礎設施可以共享中小金融機構災備服務中心的機房,網路可以實時通信,網路安全設備監控設備共享,數據層面可以共享虛擬化雲存儲,應用層可以根據每個金融機構不同需求在平時的時候可以分配一定的計算資源、存儲資源。這樣對比下來,採用雲災備服務中心最明顯的特點就是投入成本更少而見效更快了。
以上是小編為大家分享的關於大數據時代,誰能保障互聯網安全的相關內容,更多信息可以關注環球青藤分享更多干貨
㈢ 大數據時代數據管理方式研究
大數據時代數據管理方式研究
1數據管理技術的回顧
數據管理技術主要經歷了人工管理階段、文件系統階段和資料庫系統階段。隨著數據應用領域的不斷擴展,數據管理所處的環境也越來越復雜,目前廣泛流行的資料庫技術開始暴露出許多弱點,面臨著許多新的挑戰。
1.1 人工管理階段
20 世紀 50 年代中期,計算機主要用於科學計算。當時沒有磁碟等直接存取設備,只有紙帶、卡片、磁帶等外存,也沒有操作系統和管理數據的專門軟體。該階段管理的數據不保存、由應用程序管理數據、數據不共享和數據不具有獨立性等特點。
1.2 文件系統階段
20 世紀 50 年代後期到 60 年代中期,隨著計算機硬體和軟體的發展,磁碟、磁鼓等直接存取設備開始普及,這一時期的數據處理系統是把計算機中的數據組織成相互獨立的被命名的數據文件,並可按文件的名字來進行訪問,對文件中的記錄進行存取的數據管理技術。數據可以長期保存在計算機外存上,可以對數據進行反復處理,並支持文件的查詢、修改、插入和刪除等操作。其數據面向特定的應用程序,因此,數據共享性、獨立性差,且冗餘度大,管理和維護的代價也很大。
1.3資料庫階段
20 世紀 60 年代後期以來,計算機性能得到進一步提高,更重要的是出現了大容量磁碟,存儲容量大大增加且價格下降。在此基礎上,才有可能克服文件系統管理數據時的不足,而滿足和解決實際應用中多個用戶、多個應用程序共享數據的要求,從而使數據能為盡可能多的應用程序服務,這就出現了資料庫這樣的數據管理技術。資料庫的特點是數據不再只針對某一個特定的應用,而是面向全組織,具有整體的結構性,共享性高,冗餘度減小,具有一定的程序與數據之間的獨立性,並且對數據進行統一的控制。
2大數據時代的數據管理技術
大數據(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據有 3 個 V,一是大量化(Volume),數據量是持續快速增加的,從 TB級別,躍升到 PB 級別;二是多樣化(Variety),數據類型多樣化,結構化數據已被視為小菜一碟,圖片、音頻、視頻等非結構化數據正以傳統結構化數據增長的兩倍速快速創建;三是快速化 (Velocity),數據生成速度快,也就需要快速的處理能力,因此,產生了「1 秒定律」,就是說一般要在秒級時間范圍內給出分析結果,時間太長就失去價值了,這個速度要求是大數據處理技術和傳統的數據挖掘技術最大的區別。
2.1 關系型資料庫(RDBMS)
20 世紀 70 年代初,IBM 工程師 Codd 發表了著名的論文「A Relational Model of Data for Large Shared DataBanks」,標志著關系資料庫時代來臨。關系資料庫的理論基礎是關系模型,是藉助於集合代數等數學概念和方法來處理資料庫中的數據,現實世界中的實體以及實體之間的聯系非常容易用關系模型來表示。容易理解的模型、容易掌握的查詢語言、高效的優化器、成熟的技術和產品,使得關系資料庫占據了資料庫市場的絕對的統治地位。隨著互聯網 web2.0 網站的興起,半結構化和非結構化數據的大量涌現,傳統的關系資料庫在應付 web2.0 網站特別是超大規模和高並發的 SNS(全稱 Social Networking Services,即社會性網路服務) 類型的 web2.0 純動態網站已經顯得力不從心,暴露了很多難以克服的問題。
2.2 noSQL資料庫
順應時代發展的需要產生了 noSQL資料庫技術,其主要特點是採用與關系模型不同的數據模型,當前熱門的 noSQL資料庫系統可以說是蓬勃發展、異軍突起,很多公司都熱情追捧之,如:由 Google 公司提出的 Big Table 和 MapRece 以及 IBM 公司提出的 Lotus Notes 等。不管是那個公司的 noSQL資料庫都圍繞著大數據的 3 個 V,目的就是解決大數據的 3個 V 問題。因此,在設計 noSQL 時往往考慮以下幾個原則,首先,採用橫向擴展的方式,通過並行處理技術對數據進行劃分並進行並行處理,以獲得高速的讀寫速度;其次,解決數據類型從以結構化數據為主轉向結構化、半結構化、非結構化三者的融合的問題;再次,放鬆對數據的 ACID 一致性約束,允許數據暫時出現不一致的情況,接受最終一致性;最後,對各個分區數據進行備份(一般是 3 份),應對節點失敗的狀況等。
對數據的應用可以分為分析型應用和操作型應用,分析型應用主要是指對大量數據進行分類、聚集、匯總,最後獲得數據量相對小的分析結果;操作型應用主要是指對數據進行增加、刪除、修改和查詢以及簡單的匯總操作,涉及的數據量一般比較少,事務執行時間一般比較短。目前資料庫可分為關系資料庫和 noSQL資料庫,根據數據應用的要求,再結合目前資料庫的種類,所以目前資料庫管理方式主要有以下 4 類。
(1)面向操作型的關系資料庫技術。
首先,傳統資料庫廠商提供的基於行存儲的關系資料庫系統,如 DB2、Oracle、SQL Server 等,以其高度的一致性、精確性、系統可恢復性,在事務處理方面仍然是核心引擎。其次,面向實時計算的內存資料庫系統,如 Hana、Timesten、Altibase 等通過把對數據並發控制、查詢和恢復等操作控制在內存內部進行,所以獲得了非常高的性能,在很多特定領域如電信、證券、網管等得到普遍應用。另外,以 VoltDB、Clustrix 和NuoDB 為代表的 new SQL 宣稱能夠在保持 ACDI 特性的同時提高了事務處理性能 50 倍 ~60 倍。
(2)面向分析型的關系資料庫技術。
首先,TeraData 是數據倉庫領域的領頭羊,Teradata 在整體上是按 Shared Nothing 架構體系進行組織的,定位就是大型數據倉庫系統,支持較高的擴展性。其次,面向分析型應用,列存儲資料庫的研究形成了另一個重要的潮流。列存儲資料庫以其高效的壓縮、更高的 I/O 效率等特點,在分析型應用領域獲得了比行存儲資料庫高得多的性能。如:MonetDB 和 Vertica是一個典型的基於列存儲技術的資料庫系統。
(3)面向操作型的 noSQL 技術。
有些操作型應用不受 ACID 高度一致性約束,但對大數據處理需要處理的數據量非常大,對速度性能要求也非常高,這樣就必須依靠大規模集群的並行處理能力來實現數據處理,弱一致性或最終一致性就可以了。這時,操作型 noSQL資料庫的優點就可以發揮的淋漓盡致了。如,Hbase 一天就可以有超過 200 億個到達硬碟的讀寫操作,實現對大數據的處理。另外,noSQL資料庫是一個數據模型靈活、支持多樣數據類型,如對圖數據建模、存儲和分析,其性能、擴展性是關系資料庫無法比擬的。
(4)面向分析型的 noSQL 技術。
面向分析型應用的 noSQL 技術主要依賴於Hadoop 分布式計算平台,Hadoop 是一個分布式計算平台,以 HDFS 和 Map Rece 為用戶提供系統底層細節透明的分布式基礎架構。《Hadoop 經典實踐染技巧》傳統的資料庫廠商 Microsoft,Oracle,SAS,IBM 等紛紛轉向 Hadoop 的研究,如微軟公司關閉 Dryad 系統,全力投入 Map Rece 的研發,Oracle 在 2011 年下半年發布 Big Plan 戰略計劃,全面進軍大數據處理領域,IBM 則早已捷足先登「,沃森(Watson)」計算機就是基於 Hadoop 技術開發的產物,同時 IBM 發布了 BigInsights 計劃,基於 Hadoop,Netezza 和 SPSS(統計分析、數據挖掘軟體)等技術和產品構建大數據分析處理的技術框架。同時也涌現出一批新公司來研究Hadoop 技術,如 Cloudera、MapRKarmashpere 等。
3數據管理方式的展望
通過以上分析,可以看出關系資料庫的 ACID 強調數據一致性通常指關聯數據之間的邏輯關系是否正確和完整,而對於很多互聯網應用來說,對這一致性和隔離性的要求可以降低,而可用性的要求則更為明顯,此時就可以採用 noSQL 的兩種弱一致性的理論 BASE 和 CAP.關系資料庫和 noSQL資料庫並不是想到對立的矛盾體,而是可以相互補充的,根據不同需求使用不同的技術,甚至二者可以共同存在,互不影響。最近幾年,以 Spanner 為代表新型資料庫的出現,給資料庫領域注入新鮮血液,這就是融合了一致性和可用性的 newSQL,這種新型思維方式或許會是未來大數據處理方式的發展方向。
4 結束語
隨著雲計算、物聯網等的發展,數據呈現爆炸式的增長,人們正被數據洪流所包圍,大數據的時代已經到來。正確利用大數據給人們的生活帶來了極大的便利,但與此同時也給傳統的數據管理方式帶來了極大的挑戰。
㈣ 互聯網+時代你應該知道的五種大數據
互聯網+時代你應該知道的五種大數據
大數據是我們這個時代最偉大的經濟機遇之一。
但它的概念非常模糊。在一些談話中,不同的參與者用「大數據」所表示的意思可能有以下三種:1.大量的數據;2.超出傳統資料庫功能的數據集;3.使用軟體工具來分析前兩個意義的數據集。
物聯網最顯著的效益就是它能極大地擴展我們監控和測量真實世界中發生的事情的能力。車間經理知道如果發動機發出嗚嗚聲就說明出現了問題。一個有經驗的房主知道烘乾機的通風系統可能會被線頭塞住,從而導致安全隱患。數據系統最終給予了我們精確理解這些問題的能力。
然而,挑戰在於使這些讓信息更有價值的系統和商業模型不斷發展。想一下智能恆溫器在峰值功率很緊張的情況下,公用事業單位和第三方能源服務企業想要每分鍾准確更新能源消耗情況:通過精確調整能源並最大化節省能源,使得夏季普通的一天和節約用電的一天能夠有明顯的區別。但如果把時間縮短到午夜至凌晨四點間,對信息的需求就不是那麼急迫了:數據主要在確定長期趨勢時才能有價值。
現在從消費者的角度思考。15分鍾的數據更新間隔都有可能導致超負荷。這不僅僅沒有價值,還可能會造成貶低它價值的麻煩事。相反,消費者所需要的不過是一份能夠指明一些趨勢的月度總結表。
我經常跟人們討論關於「數據價值」的挑戰。下面的列表總結了數據的一般類別以及製造商和服務提供商所追求的機會。
五種大數據類型
狀態數據
冷庫中的空氣壓縮機是否正常運作?它們中是否有一個已經罷工了?不用擔心,狀態數據可以提供供應商和消費者關於物聯網的實時動態數據。
狀態數據是物聯網數據中最普遍、最基礎的一種。事實上所有事都會產生類似的數據,並把它作為基礎。在許多市場中,狀態數據更多地被用作進行更復雜分析的原材料,但它也具有它自身的重要價值。
看看Streetline是怎樣找到停車位的——它創造了能夠提醒訂閱者空餘車位的系統。當然,長期的數據能幫到城市規劃者,但對於消費者來說,實時狀態數據才是最重要的。
定位數據
我的貨物到哪兒了?它到達目的地了嗎?定位服務是GPS應用的必然趨勢。GPS非常強大,但在室內、人潮擁擠的地方以及快速變化的環境中的效果並不明顯。那些試圖追蹤托盤以及機械叉車的人可能會需要實時信息。
作為早期的物聯網市場,農業領域也需要充分利用位置數據,因為農場主通常需要在很大的地理面積上定位自己的設備。我們已經看到了一些能夠幫助人們定位鑰匙的消費品的出現,這意味著在為商業和工業用戶提供服務的領域存在著更大的市場,尤其是在時間緊迫時,這些領域有大量的資產需要追蹤的情況下。Foursquare針對油漆倉庫的發展就是抓住了這樣一個巨大的機遇。
個性化數據
不要用個人數據來拒絕個性化數據。個性化數據指的是關於個人偏好的匿名數據。消費者自然會對自動化產生懷疑。因為一些住宅管理系統比起你的舒適更關心節省的成本,所以往往你不想困在一個昏暗的辦公室或者冰冷的酒店客房。自動化技術同樣也存在安全隱患。
盡管如此,自動化也是不可避免的。沒有人會為了節省4.75美元而不停地用手指來試恆溫器的溫度。同樣,那些依靠人工交互的照明系統也失敗了(一些智能照明生產者希望用他們的感測器數據告訴商店的管理者何時應該打開結賬通道)。挑戰將圍繞開發應用程序和產品規則而展開。
可供行為參考數據
把這個看作是有後續計劃的狀態數據。建築物消耗了整個國家電力的73%,並且其中一大部分(根據EPA顯示,最高達到30%)被浪費了。為什麼呢?因為對於大多數建築物的所有者來說:能源是次要的問題。他們雖也想解決這一問題,但擔心成本、精力以及一些棘手的局面所產生的損失會超出收益。
對於這一問題相應地產生了兩種方法:1.能夠改變系統實時狀態的自動化技術;2.能夠使人們改變行為習慣或者做長線投資的說服力。Opower開創了關於說服力的解決方案,也就是提供用戶及其鄰里之間使用能源的對比數據。根據他們自己的研究,這些具有說服力的數據能使能耗降低2到3個百分點。
反饋數據
你了解你的顧客的真實想法嗎?你也許認為你了解,但是你可能錯了。在不遠的將來,生產者還能分析從已銷售的產品中獲取的數據,從而更好地了解產品在現實世界中的使用情況。現在大部分公司並不太了解他們產品的使用狀況。這些產品從分銷商處裝運,從零售商處銷售,最後進入了千家萬戶。而使用者和生產者可能永遠都不會有交集。
物聯網創造了一個從消費者到生產者的反饋迴路,在這里產品生產者可以通過適度水平的隱私、安全以及匿名性來檢驗產品的實際表現,並鼓勵持續的產品改進和創新。
以上是小編為大家分享的關於互聯網+時代你應該知道的五種大數據的相關內容,更多信息可以關注環球青藤分享更多干貨