什麼是普通數據和大數據

㈠ 大數據是什麼

作者：李麗
鏈接：https://www.hu.com/question/23896161/answer/28624675
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。

"大數據"是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 "大數據"首先是指數據體量(volumes)?大，指代大型數據集，一般在10TB?規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量；其次是指數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著是數據處理速度（Velocity）快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最後一個特點是指數據真實性（Veracity）高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。
"大數據"是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看，"大數據"指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶採用非傳統處理方法的數據集。
亞馬遜網路服務（AWS）、大數據科學家JohnRauser提到一個簡單的定義：大數據就是任何超過了一台計算機處理能力的龐大數據量。
研發小組對大數據的定義："大數據是最大的宣傳技術、是最時髦的技術，當這種現象出現時，定義就變得很混亂。" Kelly說："大數據是可能不包含所有的信息，但我覺得大部分是正確的。對大數據的一部分認知在於，它是如此之大，分析它需要多個工作負載，這是AWS的定義。當你的技術達到極限時，也就是數據的極限"。 大數據不是關於如何定義，最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用數據以及大數據的應用情況如何。這與傳統的資料庫相比，開源的大數據分析工具的如Hadoop的崛起，這些非結構化的數據服務的價值在哪裡。
二、大數據分析
從所周知，大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那麼越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的復雜性，所以大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基於如此的認識，大數據分析普遍存在的方法理論有哪些呢？
1、可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了
2、數據挖掘演算法
大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3、預測性分析能力
大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4、數據質量和數據管理
大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。
三、大數據技術
1、數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
2、數據存取：關系資料庫、NOSQL、SQL等。
3、基礎架構：雲存儲、分布式文件存儲等。
4、數據處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機"理解"自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
6、數據挖掘：分類
（Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or
association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text,
Web ,圖形圖像，視頻，音頻等)
7、模型預測：預測模型、機器學習、建模模擬。
8、結果呈現：雲計算、標簽雲、關系圖等。
四、大數據特點
要理解大數據這一概念，首先要從"大"入手，"大"是指數據規模，大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別，其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。
1、
數據體量巨大。從TB級別，躍升到PB級別。
2、
數據類型繁多，如前文提到的網路日誌、視頻、圖片、地理位置信息，等等。
3、
價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。
4、
處理速度快。1秒定律。最後這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、雲計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的感測器，無一不是數據來源或者承載的方式。
大數據技術是指從各種各樣類型的巨量數據中，快速獲得有價值信息的技術。解決大數據問題的核心是大數據技術。目前所說的"大數據"不僅指數據本身的規模，也包括採集數據的工具、平台和數據分析系統。大數據研發目的是發展大數據技術並將其應用到相關領域，通過解決巨量數據處理問題促進其突破性發展。因此，大數據時代帶來的挑戰不僅體現在如何處理巨量數據從中獲取有價值的信息，也體現在如何加強大數據技術研發，搶占時代發展的前沿。
五、大數據處理
大數據處理之一：採集
大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
大數據處理之二：導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
大數據處理之三：統計/分析
統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
大數據處理之四：挖掘
與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。
整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理
六、大數據應用與案例分析
大數據應用的關鍵，也是其必要條件，就在於"IT"與"經營"的融合，當然，這里的經營的內涵可以非常廣泛，小至一個零售門店的經營，大至一個城市的經營。以下是關於各行各業，不同的組織機構在大數據方面的應用的案例，在此申明，以下案例均來源於網路，本文僅作引用，並在此基礎上作簡單的梳理和分類。
大數據應用案例之：醫療行業
[1] Seton Healthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息，通過大數據處理，更好地分析病人的信息。
[2] 在加拿大多倫多的一家醫院，針對早產嬰兒，每秒鍾有超過3000次的數據讀取。通過這些數據分析，醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施，避免早產嬰兒夭折。
[3] 它讓更多的創業者更方便地開發產品，比如通過社交網路來收集數據的健康類App。也許未來數年後，它們搜集的數據能讓醫生給你的診斷變得更為精確，比方說不是通用的成人每日三次一次一片，而是檢測到你的血液中葯劑已經代謝完成會自動提醒你再次服葯。
大數據應用案例之：能源行業
[1] 智能電網現在歐洲已經做到了終端，也就是所謂的智能電表。在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當你的太陽能有多餘電的時候還可以買回來。通過電網收集每隔五分鍾或十分鍾收集一次數據，收集來的這些數據可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網大概需要多少電。有了這個預測後，就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣，如果提前買就會比較便宜，買現貨就比較貴。通過這個預測後，可以降低采購成本。

[2] 維斯塔斯風力系統，依靠的是BigInsights軟體和IBM超級計算機，然後對氣象數據進行分析，找出安裝風力渦輪機和整個風電場最佳的地點。利用大數據，以往需要數周的分析工作，現在僅需要不足1小時便可完成。
大數據應用案例之：通信行業
[1] XO Communications通過使用IBM SPSS預測分析軟體，減少了將近一半的客戶流失率。XO現在可以預測客戶的行為，發現行為趨勢，並找出存在缺陷的環節，從而幫助公司及時採取措施，保留客戶。此外，IBM新的Netezza網路分析加速器，將通過提供單個端到端網路、服務、客戶分析視圖的可擴展平台，幫助通信企業制定更科學、合理決策。
[2] 電信業者透過數以千萬計的客戶資料，能分析出多種使用者行為和趨勢，賣給需要的企業，這是全新的資料經濟。
[3] 中國移動通過大數據分析，對企業運營的全業務進行針對性的監控、預警、跟蹤。系統在第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負責人，使他在最短時間內獲知市場行情。
[4] NTT docomo把手機位置信息和互聯網上的信息結合起來，為顧客提供附近的餐飲店信息，接近末班車時間時，提供末班車信息服務。

㈡ 傳統數據和大數據的區別

傳統數據和大數據的區別表現在：數據規模不同、內容不同、處理方式不同。

1、數據規模不同

傳統數據技術主要是利用現有存在關系性資料庫中的數據，對這些數據進行分析、處理，找到一些關聯，並利用數據關聯性創造價值。這些數據的規模相對較小，可以利用資料庫的分析工具處理。

大數據的數據量非常大，不可能利用資料庫分析工具分析。

2、內容不同

傳統數據主要在關系性資料庫中分析。

大數據可以處理圖像、聲音、文件等非結構化數據。

3、處理方式不同

大數據處理過程中，比傳統數據增加了一個過程Stream。就是在寫入數據的時候，在數據上打一個標簽，之後在利用大數據的時候，根據標簽抽取數據。

㈢ 什麼是大數據

大數據，指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

這里介紹一下大數據要學習和掌握的知識與技能：

①java：一門面向對象的計算機編程語言，具有功能強大和簡單易用兩個特徵。

②spark：專為大規模數據處理而設計的快速通用的計算引擎。

③SSM：常作為數據源較簡單的web項目的框架。

④Hadoop：分布式計算和存儲的框架，需要有java語言基礎。

⑤spring cloud：一系列框架的有序集合，他巧妙地簡化了分布式系統基礎設施的開發。

⑤python：一個高層次的結合了解釋性、編譯性、互動性和面向對象的腳本語言。

互聯網行業目前還是最熱門的行業之一，學習IT技能之後足夠優秀是有機會進入騰訊、阿里、網易等互聯網大廠高薪就業的，發展前景非常好，普通人也可以學習。

想要系統學習，你可以考察對比一下開設有相關專業的熱門學校，好的學校擁有根據當下企業需求自主研發課程的能力，建議實地考察對比一下。

祝你學有所成，望採納。

北大青鳥學生課堂實錄

㈣ 大數據與小數據的區別是什麼

大數據和小數據的區別主要體現在數據規模、數據來源、數據處理和數據分析方法方面。
數據規模：大數據通常指的是海量的數據，無法在一定時間內用常規軟體工具進行處理。小數據則指的是數據規模相對較小的數據，可以使用常規軟體工具進行處理。
數據來源：大數據可以來源於模答各種來源，包括傳統數據源（如資料庫、企業信息系統等）和非傳統數據源（如社交媒體、衛星圖像、互聯網日誌等）。小數據通常來源於傳統數據源。
數據處理：兆碼頌大數據需要使用特殊的數據處理技術（如分布式計算、數據挖掘等）來進族鄭行處理。小數據可以使用常規軟體工具進行處理。
數據分析方法：大數據分析通常需要使用機器學習、人工智慧和數據挖掘等方法，以便從海量數據中提取有價值的信息。而小數據則可以使用常規的統計分析方法進行分析。

㈤ 大數據與普通數據的區別和聯系

大數據可以幫助品牌發現機遇，如新客戶、新市場、新規律、迴避風險、潛在威脅等，同時亦可以有助於品牌營銷決策的調整與優化。這其中包含絕悄了數據人才、數據模型和應變數據管理的組織職能優化等，這也是當前企業大數據營銷轉型中最大的三個門檻。目前大數據營銷並裂渣的最真切的切入點就是去做內工層面，即概念普及認識數據的重要性，這其中包括：數據的活性，量級，數據的准確性，源臘以及數據維度的多元化，最後交給市場一個教育的過程。

㈥ 大數據是什麼多大的數據叫大數據

根據數據收集的埠，企業端與個人端之間，大數據的數量級別是不同的。
企業端(B端)數據近十萬的級別，就可以稱為大數據;個人端(C端)的大數據要達到千萬級別。收集渠道沒有特定要求，PC端、移動端或傳統渠道都可以，重點要達到這樣數量級的有效數據，形成數據服務即可。很有趣，大家可以看到2B和2C，兩類大數據差了兩個數量級。
有些小公司，數據只有千到萬級的規模，但經過收集分析，也能從中有針對性的總結出這一群體的原則，同樣能指導企業進行一定程度的用戶分析、獲取或者是服務工作，但這並不是大數據，而是一般性的數據挖掘。
大數據面向的是更海量的一個數據，藉助了更廣義的知識資料庫的分析方法。大部分的數據公司的數據來源是海量的，它的收集和分析，並不是局限於個體，而是以一個非常非常廣泛的群體為對象展開的。

㈦ 大數據與普通數據的區別和聯系

大數據實質是派滑鬧數據量到了一定讓鉛程度，怎麼獲取、處理和分析的事情。其他問題比如數據中心塵罩怎麼建設、是否採用數據大集中的形式可以說和大數據的實質關系不大。大數據使用的數據可以是集中的一處拿來的，更可能是分布在多地或者一地的多處的。

可以說大數據是普通數據的一個大集合

㈧ 如何理解傳統數據與大數據之間的區別

針對大數據帶給教育的機遇與挑戰，與讀者深入探討和分享大數據與傳統數據的區別，及其行業落地的進展情況。

二、大數據時代潛藏的教育危機

「不得不承認，對於學生，我們知道得太少」——這是卡耐基·梅隆大學（Carnegie Mellon University）教育學院研究介紹中的一句自白，也同樣是美國十大教育類年會中出鏡率最高的核心議題。這種對於學生認識的匱乏，在21世紀之前長達數百甚至上千年的教育史中並沒有產生什麼消極的效應，但卻在信息技術革命後的近十年來成為教育發展的致命痼疾。

「過去，對於學生來說，到學校上學學習知識具有無可辯駁的重要性，而那是因為當時人們能夠接觸知識的渠道太少，離開學校就無法獲取成體系的知識」斯坦福大學教授Arnetha Ball在AERA（美國教育研究會）大會主旨發言中說道，「但是，互聯網的普及將學校的地位從神壇上拉了下來。」Ball的擔心不無道理。根據Kids Count Census Data Online發布的數據，2012年全美在家上學（Home-Schooling）的5-17歲學生已達到197萬人，相對逐年價下降的出生人口，這一人口比重十分可觀。

與此同時，應運而生的則是內容越來越精緻的網上課堂，而創立於2009年並迅速風靡全球的可汗學院（Khan Academy）正是其中的傑出代表。從知名學府的公開課到可汗學院，這種網路學習模式受到熱捧恰恰證明了：人們對於學習的熱情並沒有過去，但是人們已經極端希望與傳統的學院式授課模式告別。一成不變，甚至「目中無人」的傳統集體教學模式在適應越來越多元化、也越來越追求個性化的學生群體時顯得捉襟見肘。

可汗學院模式不但支持學生自主選擇感興趣的內容，還可以快速跳轉到自己適合的難度，從而提高了學習的效率。學習者沒有學習的壓力，時長、時機、場合、回顧遍數都可以由自己控制。

可以想像，如果可汗學院的模式進一步發展，與計算機自適應（CAT）的評估系統相聯系，讓使用者可以通過自我評估實現對學習進度的掌握以及學習資料的精準獲取，那麼它將形成互聯網產品的「閉環」，其優勢與力量將是顛覆性的。

而如果傳統教育的課程模式不革新，課堂形態不脫胎換骨，教師角色與意識不蛻變，那麼學校的存在就只有對現代化學習資源匱乏的學生才有意義；而對於能夠自主獲得更適宜學習資源的學生來說，去學校可能只是為了完成一項社會角色賦予的義務，甚至談不上必要性，也就更談不上愉快的體驗或興趣的驅使了。

大數據的研究可以幫助教育研究者重新審視學生的需求，通過高新的技術以及細致的分析找到怎樣的課程、課堂、教師是能夠吸引學生的。但問題在於，社會發展給予教育研究者的時間窗口並不寬裕，因為有太多人同樣在試圖通過大數據挖掘設法瓜分學生們有限的精力與注意力。而且從某種程度上，他們做得遠比教育研究者更有動力與誠意。

首當其沖的是游戲的設計者——青少年是其主要消費群體。撇開馳名世界的暴雪公司（Blizzard Entertainment），美國藝電公司（Electronic Arts Inc.），日本任天堂公司（Nintendo）等國際巨鱷不談；即使是國內的盛大網路，第九城市，巨人科技，淘米網路等游戲公司，亦都早已組建了專業實力強勁的「用戶體驗」研究團隊。他們會通過眼動跟蹤，心律跟蹤，血壓跟蹤，鍵盤與滑鼠微操作速率等各種微觀行為來研究如何讓玩家在游戲中投入更多的時間，更加願意花真實世界的錢來購買虛擬世界的物品。什麼時候應該安排敵人出現，敵人應當是什麼級別，主人公需要耗費多少精力才能夠將其擊敗，這些變數都得到了嚴格的設計與控制，原因只有一個——大數據告訴游戲創作者，這樣的設計是最能夠吸引玩家持續游戲的。

其次是電影視頻、青春小說等鏈式文化產業。為什麼在網站上看視頻會一個接一個，無法停止，因為它會根據該賬號的歷史瀏覽記錄推算出其喜歡看什麼樣的視頻，喜歡聽什麼類型風格的歌，並投其所好；而暢銷網路小說看似並沒有「營養」，但裡面的遣詞造句、語段字數，故事起伏設定，甚至主人公性格的類型都是有相關研究進行支持——讀者往往並不喜歡結構嚴密、精心設計的劇情——這就是為什麼情節千篇一律的韓劇受人追捧的原因，他們通過收視率的反復研究，挖掘到了觀眾最需要的那些元素，並且屢試不爽。

此外還有許多更強大的研究者，比如電子商務，總能通過數據找到你可能願意購買的商品——他們甚至知道買尿片的父親更願意買啤酒。

這些領域看似與我們教育者並無特別關聯，但是他們與我們最關心的對象——學生卻有著千絲萬縷的聯系。數百年甚至數十年前，學生並不會面對如此多的誘惑，學校在其生活中占據極大比重，對其影響也最為顯著，因此教育者對於學生的控制總是有著充分的自信。但是，當不同的社會機構與產品開始爭奪學生的注意力時，教育者的自信就只能被認為是一種無法認清形勢的傲慢了——因為在這場「學生爭奪戰」中，傳統學校看上去實在缺乏競爭力。

即使教育研究者願意放下身段，通過大數據的幫助來悉心研究學生的需求與個性。但是人才的匱乏也是非常不利的一點因素——相比於商業環境下對研究實效的追逐，教育研究的緩慢與空洞顯得相形見絀。在互聯網企業紛紛拋出「首席數據官」的頭銜，向各種數據科學狂人拋出橄欖枝，並且在風險投資的鼓舞下，動輒以百萬年薪進行延聘時，大數據研究的前沿陣地必然仍是在互聯網行業中最轟轟烈烈地開戰。

分析形勢後的姿態，以及投入的力度與強度，或許是教育領域在進入大數據研究時最先需要充分考慮的兩個先決條件。

三、誰在為大數據歡呼：一場關於「人性」研究的啟蒙

孜孜不倦地觀測、記錄、挖掘海量的數據，有朝一日終會推導出或簡約或繁復的方程，以此得以在自然科學的歷史豐碑上留名——數百年來，這種對數據的崇拜早已成為了物理學家、化學家、生物學家、天文地理學家們的信念。而牛頓，貝葉斯，薛定諤等一代代巨匠的偉業也揭示了數據對於科學發現的無限重要價值。

相形之下，社會科學領域的研究就要慘淡地多——他們同樣看重數據，同樣追求統計與分析的「程序正義」，同樣勤勤懇懇地設計實驗與調研，去尋找成千上萬的被試，同樣像模像樣地去嵌套方程……但是幾乎很少有研究結果能夠得到普遍的承認，不管是社會學、心理學、經濟學、管理學還是教育學。

當然，社會科學領域的研究者們遇到的困難是顯而易見的：「人性」與「物性」是不同的，物質世界比較穩定，容易尋找規律；而由人組成的社會極其善變，難以總結。從數據的角度來說，人的數據不如物的數據那麼可靠：

首先是人不會像物那樣忠實地進行回應：誰知道一個人填寫的問卷有多少是注意力不集中填錯的、語文水平不高理解錯的、還是壓根沒打算講真話？此外，人與人本身的差距也大於物與物的差距：兩個化學組成相同的物質表現出各種性質幾乎是完全一樣的，但即使是兩個基因完全相同的雙胞胎也會因為不同的人生經驗，而表現出大相徑庭的行為特徵。

但這些都還並不關鍵，最最重要的是：人無法被反復研究。人不是牛頓的木塊，不是伽利略的鉛球，不是巴普洛夫的狼狗，人不會配合一次次從斜坡上被滑下來，一次次從比薩塔頂被扔下來，一次次流著口水乾等著送肉來的鈴聲。而我們知道，在「科學」的三個標准中，首當其沖的就是「可重復驗證」。

換句話說，我們可以獲得的關於「人性」的數據不夠大，不夠多，不夠隨時隨地，因此我們無法從數據中窺見人性。2002年諾貝爾經濟學獎授予心理學家丹尼爾?卡尼曼（Daniel Kahneman）時，似乎標示著社會科學領域已經接受了這樣一種事實：人類的行為是無法尋找規律、無法預測、難以進行科學度量的。社會科學開始懷疑用純粹理性的方法是否可以解答關於「人性」的種種現象。與此相映成趣的是2012年的美國大選，奧巴馬的團隊依靠對網路數據的精準篩選捕捉到了大量的「草根」選民，而對於其喜好與需求的分析與把握更是贏得其信任，從而在不被傳統民調與歷史數據規律看好的情況下一舉勝出。這跨越十年的兩個標志性事件讓人們對於「數據揭示人性」可能性的認識經歷了戲劇性的轉變。

如今，迅速普及的互聯網與移動互聯網悄然為記錄人的行為數據提供了最為便利、持久的載體。手機，iPad等貼近人的終端無時不刻不在記錄關於人的點點滴滴思考、決策與行為。最最重要的是，在這些強大的數據收集終端面前，人們沒有掩飾的意圖，人們完整地呈現著自己的各種經歷，人們不厭其煩一遍又一遍重復著他們不願在實驗情境下表現出來的行為，從而創造著海量的數據——傳統數據研究無法做到的事，傳統研究範式苦苦糾結的許多難點，都在大數據到來的那一剎那遁於無形。

大數據的到來，讓所有社會科學領域能夠藉由前沿技術的發展從宏觀群體走向微觀個體，讓跟蹤每一個人的數據成為了可能，從而讓研究「人性」成為了可能。而對於教育研究者來說，我們比任何時候都更接近發現真正的學生。

㈨ 什麼叫大數據

大數據概述
專業解釋：大數據英文名叫big data，是一種IT行業術語，是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
通俗解釋：大數據通俗的解釋就是海量的數據，顧名思義，大就是多、廣的意思，而數據就是信息、技術以及數據資料，合起來就是多而廣的信息、技術、以及數據資料。
大數據提出時間
「大數據」這個詞是由維克托·邁爾-舍恩伯格及肯尼斯·庫克耶於2008年8月中旬共同提出。
大數據的特點
Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）-由IBM提出。
大數據存在的意義和用途是什麼？
看似大數據是一個很高大上的感覺，和我們普通人的生活相差甚遠，但是其實不然！大數據目前已經存在我們生活中的各種角落裡了，舉個例子，我們現在目前最關心的疫情情況數據，用的就是大數據的技術，可以實時查看確診人數以及各種疫情數據。
大數據存在的意義是什麼？
從剛才的舉例中我們基本可以了解，大數據是很重要的，其存在的意義簡單來說也是為了幫助人們更直觀更方便的去了解數據。而通過了解這些數據後又可以更深一步的去挖掘其他有價值的數據，例如今日頭條/抖音等產品，通過對用戶進行整理和分析，然後根據用戶的各種數據來判斷用戶的喜愛，進而推薦用戶喜歡看的東西，這樣做不僅提升了自身產品的體驗度，也為用戶提供了他們需要的內容。
大數據的用途有哪些？
要說大數據的用途，那可就相當廣泛了，基本各行各業都可以運用到大數據的知識。如果簡單理解的話，可分為以下四類：
用途一：業務流程優化
大數據更多的是協助業務流程效率的提升。能夠根據並運用社交網路數據信息 、網站搜索及其天氣預告找出有使用價值的數據信息，這其中大數據的運用普遍的便是供應鏈管理及其派送線路的提升。在這兩個層面，自然地理精準定位和無線通信頻率的鑒別跟蹤貨物和送大貨車，運用交通實時路況線路數據信息來選擇更好的線路。人力資源管理業務流程也根據大數據的剖析來開展改善，這這其中就包含了職位招聘的調整。
用途二：提高醫療和研發
大型數據分析應用程序的計算能力允許我們在幾分鍾內解碼整個dna。可以創造新的治療方法。它還能更好地掌握和預測疾病。如同大家配戴智能手錶和別的能夠轉化成的數據信息一樣，互聯網大數據還可以協助病人盡快醫治疾患。現在大數據技術已經被用於醫院監測早產兒和生病嬰兒的狀況。通過記錄和分析嬰兒的心跳，醫生預測可能的不適症狀。這有助於醫生更好地幫助寶寶。
用途三：改善我們的城市
大數據也被用於改進我們在城市的生活起居。比如，依據城市的交通實時路況信息，運用社交媒體季節變化數據信息，增加新的交通線路。現階段，很多城市已經開展數據分析和示範點新項目。
用途四：理解客戶、滿足客戶服務需求
互聯網大數據的運用在這個行業早已廣為人知。重點是如何使用大數據來更好地掌握客戶及其興趣和行為。企業非常喜歡收集社交數據、瀏覽器日誌、分析文本和感測器數據，以更全面地掌握客戶。一般來說，建立數據模型是為了預測。
如何利用大數據？
那我們了解了這么多關於大數據的知識，既然大數據這么好，我們怎麼去利用大數據呢？那這個就要說到大數據的工具BI了，BI簡單理解就是用來分析大數據的工具，從數據的採集到數據的分析以及挖掘等都需要用到BI，BI興起於國外，比較知名的BI工具有Tableau、Power BI等；而國內比較典型的廠家就是億信華辰了。雖然BI興起於國外，但是這些年隨著國內科技的進步以及不斷的創新，目前國內BI在技術上也不比國外的差，而且因為國內外的差異化，在BI的使用邏輯上，國內BI更符合國內用戶的需求。
希望對您有所幫助！~