數據量過大會產生什麼結果

Ⅰ 數據大未必是大數據 三談大數據時代

數據大未必是大數據 三談大數據時代

極而言之，如果全世界網民的網路行為記錄都能緊密整合在一起，那當然稱得起大數據這個名稱。反之，如果只有一個網民的一條孤零零網路記錄，那當然撐不起大數據這個概念。問題在於如何在這兩個極端之間，找到一個劃分大數據與否的區分點，或者找到一組指標，能夠具體衡量數據量從量變到質變的相對標准。這無論在學術研究上或是在商業實戰上都很重要。試想若是某個公司自認為自己網路服務產生的數據量很大，覺得可以自稱大數據公司了。於是說服董事會和投資者加大這方面的投入，購買大批專用設備和第三方專業服務，組建這方面的團隊。經過一段時間的實踐，發現投入產出不成比例，建立在大數據基礎上的商業模式和產品服務研發不能得到理想的回報，那豈不是個悲劇？

以我的觀察和實踐經驗，網路業中一個公司是否稱得起擁有大數據至少要從三個維度考量：

數據規模----所謂大數據最基本的要求當然是數據規模大，但很難給出一個絕對的數字標准來確定大小，而只能用一些模糊的感覺來相對比較。例如，一個公司在年度預算中有了專門的，顯著的數據存儲和分析預算（例如，總預算的3-5%），有了獨立的數據處理和分析部門，有了比較完整的數據存儲，安全和保密政策與管理流程，有了高度依賴數據分析結果的商業模式，那麼，可以說這個公司面臨著利用大數據的機會或挑戰了。

數據結構----數據量只是反映數據性質的一個指標，也許還不是最重要的指標。一天產生一百萬個T數據的公司也許算不上大數據公司，而另一個一天只產生一萬個T數據的公司也許反而是個大數據公司，其奧妙在於數據結構的復雜性。例如，A公司擁有一億用戶，但用戶在A公司網站上只干一件事或一類事，比如獲取新聞資訊，買買東西，或者玩玩游戲。那麼由此產生的數據量雖然不小，但結構簡單，重復性高，分析起來很容易，無非就是根據用戶背景和使用習慣分分組，歸歸類，簡單數據挖掘基本功足夠，扯什麼大數據就有點故弄玄虛了。B公司只有一千萬用戶，卻是個開放平台，用戶在此可以干互聯網能夠支持的所有事情，網路行為又可分為個人，群體，組織等層次，那麼這個數據的結構就夠復雜，能夠支持深度挖掘和復雜建模，因而就可以算作大數據。

數據關聯度----網路業一個常見現象就是隨著數據量的增加，用戶行為所產生的數據間的關系越來越不清晰，越來越難以捉摸，越來越相互孤立，也就是所謂的數據碎片化。這種碎片化主要來自兩個方面：一是網站結構碎片化，邏輯混亂化，各種產品與服務之間相互孤立化，因而導致數據之間關系斷裂，關聯度很低。例如，明明是同一個用戶在一個網站上使用了十種不同的產品和服務，但由於其中五種無需注冊使用，其他五種又需要分別注冊使用，結果這十種網路行為的數據無法整合在一起，或者需要通過種種技術手段和工具進行高成本的數據整合，以至於入不敷出。這也就減少了數據的含金量，降低了數據的可挖掘度，使得無論數據量如何大，結構如何復雜，也形成不了大數據。反之，如果一個WEB2.0時代的開放平台，架構清晰，邏輯分明，用戶與用戶，用戶與用戶行為，行為與行為之間都具有確定的關聯性，那麼這樣的數據就具有極高的含金量，極高的分析挖掘價值，也就可以形成大數據。

所以，簡而言之，大數據與否取決於數據規模，結構復雜性和關聯性，簡單地說某個公司的數據量大並不等於說這個公司具備擁有和利用大數據的前景。例如，直到google+誕生前，谷歌就不能聲稱自己是個大數據公司，因為它的海量搜索數據雖然規模龐大，但結構簡單。盡管聽說它的搜索演算法已經囊括了六萬多個變數，成千上萬的數學和統計學模型，上千的博士和工程師參與分析，但在數據挖掘深度，搜索結果個人化，搜索結果與廣告之間的相關度上進展有限，只有改良，沒有突破。更嚴重的是，谷歌數百個產品和服務之間相互關聯度極低，各干各的，無數資料庫互不相干。各個部門之間以鄰為壑，互不配合，更不整合。所以，面對以FACEBOOK和蘋果為代表的WEB2.0時代以及由此產生的大數據戰略機會，谷歌若干年來束手無策，只能靠不斷擴展產品線對付。如果直到兩年前谷歌還算不上大數據公司，那些自認為自己有點數據，或者會點加減乘除，或者以為掌握一些基本的資料庫技術和KNOWHOW就可以招搖過市，到網路業和資本界呼風喚雨，是不是有點不知深淺，過於幼稚了呢？

以上是小編為大家分享的關於數據大未必是大數據 三談大數據時代的相關內容，更多信息可以關注環球青藤分享更多干貨

Ⅱ 什麼是溢出_溢出的原因分析

黑客可通過溢出變數，使這個返回地址指向攻擊代碼，得到你電腦具有管理員資格的控制權。那麼你對溢出解多少呢?以下是由我整理關於什麼是溢出的內容，希望大家喜歡!

溢出是黑客利用 操作系統 的漏洞，專門開發了一種程序，加相應的參數運行後，就可以得到你電腦具有管理員資格的控制權，你在你自己電腦上能夠運行的東西他可以全部做到，等於你的電腦就是他的了(別稱肉雞，也叫傀儡機)。

溢出是程序設計者設計時的不足所帶來的錯誤。

緩沖區溢出

緩沖區是用戶為程序運行時在計算機中申請的一段連續的內存，它保存了給定類型的數據。緩沖區溢出指的是一種常見且危害很大的系統攻擊手段，通過向程序的緩沖區寫入超出其長度的內容，造成緩沖區的溢出，從而破壞程序的堆棧，使程序轉而執行其他的指令，以達到攻擊的目的。更為嚴重的是，緩沖區溢出攻擊佔了遠程網路攻擊的絕大多數，這種攻擊可以使得一個匿名的Internet用戶有機會獲得一台主機的部分或全部的控制權!由於這類攻擊使任何人都有可能取得主機的控制權，所以它代表了一類極其嚴重的安全威脅。

緩沖區溢出攻擊的目的在於擾亂具有某些特權運行的程序的功能，這樣可以使得攻擊者取得程序的控制權，如果該程序具有足夠的許可權，那麼整個主機就被控制了。一般而言，攻擊者攻擊root程序，然後執行類似“exec(sh)”的執行代碼來獲得root的shell。為了達到這個目的，攻擊者必須達到如下的兩個目標：在程序的地址空間里安排適當的代碼;通過適當地初始化寄存器和存儲器，讓程序跳轉到事先安排的地址空間執行。根據這兩個目標，可以將緩沖區溢出攻擊分為以下3類。

【緩沖區溢出分類】

控製程序轉移到攻擊代碼

這種 方法 指在改變程序的執行流程，使之跳轉到攻擊代碼。最基本方法的就是溢出一個沒有邊界檢查或者其他弱點的緩沖區，這樣就擾亂了程序的正常的執行順序。通過溢出一個緩沖區，攻擊者可以用近乎暴力的方法改寫相鄰的程序空間而直接跳過了系統的檢查。

1.2.1激活紀錄(Activation Records)

每當一個函數調用發生時，調用者會在堆棧中留下一個激活紀錄，它包含了函數結束時返回的地址。攻擊者通過溢出這些自動變數，使這個返回地址指向攻擊代碼。通過改變程序的返回地址，當函數調用結束時，程序就跳轉到攻擊者設定的地址，而不是原先的地址。這類的緩沖區溢出被稱為“stack smashing attack”，是目.前常用的緩沖區溢出攻擊方式。

1.2.2函數指針(Function Pointers)

C語言中，“void (* foo)()”聲明了一個返回值為void函數指針的變數foo。函數指針可以用來定位任何地址空間，所以攻擊者只需在任何空間內的函數指針附近找到一個能夠溢出的緩沖區，然後溢出這個緩沖區來改變函數指針。在某一時刻，當程序通過函數指針調用函數時，程序的流程就按攻擊者的意圖實現了!它的一個攻擊範例就是在Linux系統下的super probe程序。

1.2.3長跳轉緩沖區(Longjmp buffers)

在C語言中包含了一個簡單的檢驗/恢復系統，稱為setjmp/longjmp。意思是在檢驗點設定“setjmp(buffer)”，用“longjmp(buffer)”來恢復檢驗點。然而，如果攻擊者能夠進入緩沖區的空間，那麼“longjmp(buffer)”實際上是跳轉到攻擊者的代碼。象函數指針一樣，longjmp緩沖區能夠指向任何地方，所以攻擊者所要做的就是找到一個可供溢出的緩沖區。一個典型的例子就是Perl 5.003，攻擊者首先進入用來恢復緩沖區溢出的的longjmp緩沖區，然後誘導進入恢復模式，這樣就使Perl的解釋器跳轉到攻擊代碼上了!

最簡單和常見的緩沖區溢出攻擊類型就是在一個字元串里綜合了代碼殖入和激活紀錄。攻擊者定位一個可供溢出的自動變數，然後向程序傳遞一個很大的字元串，在引發緩沖區溢出改變激活紀錄的同時殖入了代碼。這個是由Levy指出的攻擊的模板。因為C語言在習慣上只為用戶和參數開辟很小的緩沖區，因此這種漏洞攻擊的實例不在少數。

代碼殖入和緩沖區溢出不一定要在一次動作內完成。攻擊者可以在一個緩沖區內放置代碼，這是不能溢出緩沖區。然後，攻擊者通過溢出另外一個緩沖區來轉移程序的指針。這種方法一般用來解決可供溢出的緩沖區不夠大的情況。

如果攻擊者試圖使用已經常駐的代碼而不是從外部殖入代碼，他們通常有必須把代碼作為參數化。舉例來說，在libc中的部分代碼段會執行“exec(something)”，其中something就是參數。攻擊者然後使用緩沖區溢出改變程序的參數，利用另一個緩沖區溢出使程序指針指向libc中的特定的代碼段。

內存溢出

內存溢出已經是軟體開發歷史上存在了近40年的“老大難”問題，象在“紅色代碼”病毒事件中表現的那樣，它已經成為黑客攻擊企業網路的“罪魁禍首”。

如在一個域中輸入的數據超過了它的要求就會引發數據溢出問題，多餘的數據就可以作為指令在計算機上運行。據有關安全小組稱，操作系統中超過50%的安全漏洞都是由內存溢出引起的，其中大多數與微軟的技術有關。

微軟的軟體是針對 台式機 開發的，內存溢出不會帶來嚴重的問題。但現有台式機一般都連上了互聯網，內存溢出就為黑客的入侵提供了便利條件。

數據溢出

在計算機中，當要表示的數據超出計算機所使用的數據的表示範圍時，則產生數據的溢出。

現實狀況

在幾乎所有計算機語言中，不管是新的語言還是舊的語言，使緩沖區溢出的任何嘗試通常都會被該語言本身自動檢測並阻止(比如通過引發一個異常或根據需要給緩沖區添加更多空間)。但是有兩種語言不是這樣：C 和 C++ 語言。C 和 C++ 語言通常只是讓額外的數據亂寫到其餘內存的任何位置，而這種情況可能被利用從而導致恐怖的結果。更糟糕的是，用 C 和 C++ 編寫正確的代碼來始終如一地處理緩沖區溢出則更為困難;很容易就會意外地導致緩沖區溢出。除了 C 和 C++ 使用得 非常廣泛外，上述這些可能都是不相關的事實;例如，Red Hat Linux 7.1 中 86% 的代碼行都是用 C 或 C ++ 編寫的。因此，大量的代碼對這個問題都是脆弱的，因為實現語言無法保護代碼避免這個問題。

客觀原因

在 C 和 C++ 語言本身中，這個問題是不容易解決的。該問題基於 C 語言的根本設計決定(特別是 C 語言中指針和數組的處理方式)。由於 C++ 是最兼容的 C 語言超集，它也具有相同的問題。存在一些能防止這個問題的 C/C++ 兼容版本，但是它們存在極其嚴重的性能問題。而且一旦改變 C 語言來防止這個問題，它就不再是 C 語言了。許多語言(比如 Java 和 C#)在語法上類似 C，但它們實際上是不同的語言，將現有 C 或 C++ 程序改為使用那些語言是一項艱巨的任務。

普遍因素

Ⅲ 計算機高手大神來啊啊啊！什麼是溢出，它對二進制有何影響呢謝謝啦！詳細點哦！

溢出就是：當要表示的數據超出計算機所使用的數據的表示範圍時，則產生數據的溢出。

例如，定義的數據類型只能存儲8位，算著算著這個值變成了9位，就是溢出了。

至於對二進制的影響，如果是有符號數，高位是符號位，溢出可能會改變結果的符號了。也可能影響數據的精度。

(3)數據量過大會產生什麼結果擴展閱讀：

數據類型超過了計算機字長的界限就會出現數據溢出的情況。導致內存溢出問題的原因有很多，比如：

1、使用非類型安全(non-type-safe)的語言如 C/C++ 等。

2、以不可靠的方式存取或者復制內存緩沖區。

3、編譯器設置的內存緩沖區太靠近關鍵數據結構。

內存溢出問題是 C 語言或者 C++ 語言所固有的缺陷，它們既不檢查數組邊界，又不檢查類型可靠性(type-safety)。

眾所周知，用 C/C++ 語言開發的程序由於目標代碼非常接近機器內核，因而能夠直接訪問內存和寄存器，這種特性大大提升了 C/C++ 語言代碼的性能。只要合理編碼，C/C++應用程序在執行效率上必然優於其它高級語言。

Ⅳ 數據量越來越大對資料庫的要求會產生怎樣的影響

會影響資料庫的響應速度

Ⅳ android 客戶端接收的數據量過大（幾萬條數據）就會拋異常如何處理

正常，客戶端內存有限，數據過多導致內存溢出。
一般做法是分頁，20條一頁（再多客戶端屏幕也顯示不出來），然後翻頁的時候再載入。
可以參考下網易新聞或者新浪微博客戶端

Ⅵ 怎麼是溢出，溢出的定義是怎麼！

什麼是溢出？
溢出全名是「緩沖區溢出」緩沖區是內存中存放數據的地方。在程序試圖將數據放到機器內存中的某一個位置的時候，因為沒有足夠的空間就會發生緩沖區溢出。而人為的溢出則是有一定企圖的，攻擊者寫一個超過緩沖區長度的字元串，然後植入到緩沖區，而再向一個有限空間的緩沖區中植入超長的字元串可能會出現兩個結果，一是過長的字元串覆蓋了相鄰的存儲單元，引起程序運行失敗，嚴重的可導致系統崩潰；另有一個結果就是利用這種漏洞可以執行任意指令，甚至可以取得系統root特級許可權。大多造成緩沖區溢出的原因是程序中沒有仔細檢查用戶輸入參數而造成的。
緩沖區是程序運行的時候機器內存中的一個連續塊，它保存了給定類型的數據，隨著動態分配變數會出現問題。大多時為了不佔用太多的內存，一個有動態分配變數的程序在程序運行時才決定給它們分配多少內存。這樣想下去的話，如果說要給程序在動態分配緩沖區放入超長的數據，它就會溢出了。一個緩沖區溢出程序使用這個溢出的數據將匯編語言代碼放到機器的內存里，通常是產生root許可權的地方，這就不是什麼好現象了。僅僅就單個的緩沖區溢出惹眼，它並不是最大的問題根本所在。但如果溢出送到能夠以root許可權運行命令的區域，一旦運行這些命令，那可就等於把機器拱手相讓了。