Ⅰ 如何實現企業數據 大數據平台 分布式存放
Hadoop在可伸縮性、健壯性、計算性能和成本上具有無可替代的優勢，事實上已成為當前互聯網企業主流的大數據分析平台。本文主要介紹一種基於Hadoop平台的多維分析和數據挖掘平台架構。作為一家互聯網數據分析公司，我們在海量數據的分析領域那真是被「逼上樑山」。多年來在嚴苛的業務需求和數據壓力下，我們幾乎嘗試了所有可能的大數據分析方法，最終落地於Hadoop平台之上。
1. 大數據分析大分類
Hadoop平台對業務的針對性較強，為了讓你明確它是否符合你的業務，現粗略地從幾個角度將大數據分析的業務需求分類，針對不同的具體需求，應採用不同的數據分析架構。
按照數據分析的實時性，分為實時數據分析和離線數據分析兩種。
實時數據分析一般用於金融、移動和互聯網B2C等產品，往往要求在數秒內返回上億行數據的分析，從而達到不影響用戶體驗的目的。要滿足這樣的需求，可以採用精心設計的傳統關系型資料庫組成並行處理集群，或者採用一些內存計算平台，或者採用HDD的架構，這些無疑都需要比較高的軟硬體成本。目前比較新的海量數據實時分析工具有EMC的Greenplum、SAP的HANA等。
對於大多數反饋時間要求不是那麼嚴苛的應用，比如離線統計分析、機器學習、搜索引擎的反向索引計算、推薦引擎的計算等，應採用離線分析的方式，通過數據採集工具將日誌數據導入專用的分析平台。但面對海量數據，傳統的ETL工具往往徹底失效，主要原因是數據格式轉換的開銷太大，在性能上無法滿足海量數據的採集需求。互聯網企業的海量數據採集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，均可以滿足每秒數百MB的日誌數據採集和傳輸需求，並將這些數據上載到Hadoop中央系統上。
按照大數據的數據量，分為內存級別、BI級別、海量級別三種。
這里的內存級別指的是數據量不超過集群的內存最大值。不要小看今天內存的容量，Facebook緩存在內存的Memcached中的數據高達320TB，而目前的PC伺服器，內存也可以超過百GB。因此可以採用一些內存資料庫，將熱點數據常駐內存之中，從而取得非常快速的分析能力，非常適合實時分析業務。圖1是一種實際可行的MongoDB分析架構。
圖1 用於實時分析的MongoDB架構
MongoDB大集群目前存在一些穩定性問題，會發生周期性的寫堵塞和主從同步失效，但仍不失為一種潛力十足的可以用於高速數據分析的NoSQL。
此外，目前大多數服務廠商都已經推出了帶4GB以上SSD的解決方案，利用內存+SSD，也可以輕易達到內存分析的性能。隨著SSD的發展，內存數據分析必然能得到更加廣泛的應用。
BI級別指的是那些對於內存來說太大的數據量，但一般可以將其放入傳統的BI產品和專門設計的BI資料庫之中進行分析。目前主流的BI產品都有支持TB級以上的數據分析方案。種類繁多，就不具體列舉了。
海量級別指的是對於資料庫和BI產品已經完全失效或者成本過高的數據量。海量數據級別的優秀企業級產品也有很多，但基於軟硬體的成本原因，目前大多數互聯網企業採用Hadoop的HDFS分布式文件系統來存儲數據，並使用MapRece進行分析。本文稍後將主要介紹Hadoop上基於MapRece的一個多維數據分析平台。
數據分析的演算法復雜度
根據不同的業務需求，數據分析的演算法也差異巨大，而數據分析的演算法復雜度和架構是緊密關聯的。舉個例子，Redis是一個性能非常高的內存Key-Value NoSQL，它支持List和Set、SortedSet等簡單集合，如果你的數據分析需求簡單地通過排序，鏈表就可以解決，同時總的數據量不大於內存（准確地說是內存加上虛擬內存再除以2），那麼無疑使用Redis會達到非常驚人的分析性能。
還有很多易並行問題（Embarrassingly Parallel），計算可以分解成完全獨立的部分，或者很簡單地就能改造出分布式演算法，比如大規模臉部識別、圖形渲染等，這樣的問題自然是使用並行處理集群比較適合。
而大多數統計分析，機器學習問題可以用MapRece演算法改寫。MapRece目前最擅長的計算領域有流量統計、推薦引擎、趨勢分析、用戶行為分析、數據挖掘分類器、分布式索引等。
2. 面對大數據OLAP大一些問題
OLAP分析需要進行大量的數據分組和表間關聯，而這些顯然不是NoSQL和傳統資料庫的強項，往往必須使用特定的針對BI優化的資料庫。比如絕大多數針對BI優化的資料庫採用了列存儲或混合存儲、壓縮、延遲載入、對存儲數據塊的預統計、分片索引等技術。
Hadoop平台上的OLAP分析，同樣存在這個問題，Facebook針對Hive開發的RCFile數據格式，就是採用了上述的一些優化技術，從而達到了較好的數據分析性能。如圖2所示。
然而，對於Hadoop平台來說，單單通過使用Hive模仿出SQL，對於數據分析來說遠遠不夠，首先Hive雖然將HiveQL翻譯MapRece的時候進行了優化，但依然效率低下。多維分析時依然要做事實表和維度表的關聯，維度一多性能必然大幅下降。其次，RCFile的行列混合存儲模式，事實上限制死了數據格式，也就是說數據格式是針對特定分析預先設計好的，一旦分析的業務模型有所改動，海量數據轉換格式的代價是極其巨大的。最後，HiveQL對OLAP業務分析人員依然是非常不友善的，維度和度量才是直接針對業務人員的分析語言。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
使用Hadoop進行多維分析，首先能解決上述維度難以改變的問題，利用Hadoop中數據非結構化的特徵，採集來的數據本身就是包含大量冗餘信息的。同時也可以將大量冗餘的維度信息整合到事實表中，這樣可以在冗餘維度下靈活地改變問題分析的角度。其次利用Hadoop MapRece強大的並行化處理能力，無論OLAP分析中的維度增加多少，開銷並不顯著增長。換言之，Hadoop可以支持一個巨大無比的Cube，包含了無數你想到或者想不到的維度，而且每次多維分析，都可以支持成千上百個維度，並不會顯著影響分析的性能。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
3. 一種Hadoop多維分析平台的架構
整個架構由四大部分組成：數據採集模塊、數據冗餘模塊、維度定義模塊、並行分 析模塊。
數據採集模塊採用了Cloudera的Flume，將海量的小日誌文件進行高速傳輸和合並，並能夠確保數據的傳輸安全性。單個collector宕機之後，數據也不會丟失，並能將agent數據自動轉移到其他的colllecter處理，不會影響整個採集系統的運行。如圖5所示。
數據冗餘模塊不是必須的，但如果日誌數據中沒有足夠的維度信息，或者需要比較頻繁地增加維度，則需要定義數據冗餘模塊。通過冗餘維度定義器定義需要冗餘的維度信息和來源（資料庫、文件、內存等），並指定擴展方式，將信息寫入數據日誌中。在海量數據下，數據冗餘模塊往往成為整個系統的瓶頸，建議使用一些比較快的內存NoSQL來冗餘原始數據，並採用盡可能多的節點進行並行冗餘；或者也完全可以在Hadoop中執行批量Map，進行數據格式的轉化。
維度定義模塊是面向業務用戶的前端模塊，用戶通過可視化的定義器從數據日誌中定義維度和度量，並能自動生成一種多維分析語言，同時可以使用可視化的分析器通過GUI執行剛剛定義好的多維分析命令。
並行分析模塊接受用戶提交的多維分析命令，並將通過核心模塊將該命令解析為Map-Rece，提交給Hadoop集群之後，生成報表供報表中心展示。
核心模塊是將多維分析語言轉化為MapRece的解析器，讀取用戶定義的維度和度量，將用戶的多維分析命令翻譯成MapRece程序。核心模塊的具體邏輯如圖6所示。
圖6中根據JobConf參數進行Map和Rece類的拼裝並不復雜，難點是很多實際問題很難通過一個MapRece Job解決，必須通過多個MapRece Job組成工作流（WorkFlow），這里是最需要根據業務進行定製的部分。圖7是一個簡單的MapRece工作流的例子。
MapRece的輸出一般是統計分析的結果，數據量相較於輸入的海量數據會小很多，這樣就可以導入傳統的數據報表產品中進行展現。
Ⅱ 全球排名前十商業版資料庫有哪些
IBM
老牌大數據企業，從微軟時代過來的核心，是全球最大的信息技術和業務解決方案公司。
2. 惠普
會最為知名的是它的Vertical分析平台，而且在2012年的營收中排名第二，當之無愧的老牌商業資料庫品牌。
3. Teradata
憑借自身硬體和資料庫而聲名遠播。
4. 甲骨文
在資料庫領域，甲骨文一直都是鼎鼎大名的存在，而且它也是大數據領域最大的幾個玩家之一。
5. SPA
在商業數據中，SPA推出了最為知名的HANA內存內資料庫
6. EMC
EMC 的主要業務時幫助客戶保存並分析大數據，另外也充當著大數據分析智囊營銷科學實驗室的所在地，它們專門分析營銷類數據。
7. Amazon
時至今日，Amazon 已經成為了全球大數據領域當之無愧的王者，這一切源於它的CEO貝索斯的遠見與無與倫比的魄力
8. 微軟
微軟在數據方面有著雄厚的實力和強大的野心，它的商業數據業務也在蓬勃發展
9. 谷歌
作為全球搜索業務的老大，谷歌旗下的大數據平台憑借其身後的技術積累，成為商業數據領域內一股不可小覷的力量。
10. VMware
VMware向來以雲計算虛擬化解決方案著稱
Ⅲ hadoop是怎麼存儲大數據的
Hadoop中有很多方法可以加入多個數據集。MapRece提供了Map端和Rece端的數據連接。這些連接是非平凡的連接，並且可能會是非常昂貴的操作。Pig和Hive也具有同等的能力來申請連接到多個數據集。Pig提供了復制連接，合並連接和傾斜連接（skewed join），並且Hive提供了map端的連接和完整外部連接來分析數據。
一個重要的事實是，通過使用各種工具，比如MapRece、Pig和Hive等，數據可以基於它們的內置功能和實際需求來使用它們。至於在Hadoop分析大量數據，Anoop指出，通常，在大數據/Hadoop的世界，一些問題可能並不復雜，並且解決方案也是直截了當的，但面臨的挑戰是數據量。在這種情況下需要不同的解決辦法來解決問題。
一些分析任務是從日誌文件中統計明確的ID的數目、在特定的日期范圍內改造存儲的數據、以及網友排名等。所有這些任務都可以通過Hadoop中的多種工具和技術如MapRece、Hive、Pig、Giraph和Mahout等來解決。這些工具在自定義常式的幫助下可以靈活地擴展它們的能力。
Ⅳ 「EMC存儲」是什麼
EMC公司是全球信息存儲及管理產品、服務和解決方案方面的領先公司。EMC是每一種主要計算平台的信息EMC存儲標准，而且，世界上最重要信息中的 2/3 以上都是通過EMC的解決方案管理的。
主要的存儲硬體產品有Symmetrix, CLARiiON, Data Domain, VNX等。
EMC 公司簡介
信息是一家公司除人員之外最重要的資產。EMC 提供了各種技術和工具，幫助客戶釋放信息的力量。EMC是一家全球領導廠商，助力企業和服務提供商轉變運營方式，以服務的形式提供IT。
EMC公司在全球擁有員工約49000人，2010年營業收入170億美元，2011年第二季度的綜合收入為48.5億美元，同比增長20%。預期2011年的綜合收入將超過198億美元。 EMC通過創新的產品和服務，加速雲計算之旅，幫助IT部門以更敏捷、更可信、成本效率更高的方式存儲、管理、保護、分析他們最重要的資產——信息。
利用EMC技術及解決方案，企業可以避免潛在的嚴重風險，降低信息管理所產生的巨大成本，同時又能充分利用信息的價值來實現業務優勢。
我們的客戶包羅萬
EMC與世界各地的機構合作，它們涵蓋各個行業，包括公共事業和私營部門；而且規模不一，從創業公司到《財富 500 強》大企業。我們的客戶包括電信，金融、製造商、醫療保健和生命科學機構、互聯網服務和電信服務提供商、航空和運輸公司、教育機構以及公共事業機構。EMC還為100多個國家的個人用戶提供技術、產品和服務。
勇於創新，一路領先
我們與眾不同的價值源自持續和大量的研發投入，全球各地數千名技術研發人員，業界最廣泛的系統、軟體和服務組合，我們自上而下設計、構建總成解決方案的能力，以及我們提供本行業乃至所有行業最佳全面客戶體驗的承諾。
從2003年到2010年，EMC研發投入總計為105億美元，而累計用於戰略並購的資金則達到140億美金，EMC並購的公司約有50餘家，其中包括VMware、RSA、Greenplum、Isilon等多家在「雲和大數據」方向具備高度戰略價值的公司。
2010年裡，EMC執行了一系列戰略計劃，以加強公司在企業數據、雲計算和大數據方面的技術領導地位和服務專長；同時增強了競爭優勢，擴大了市場份額。在研發方面，EMC繼續積極投入，投資額佔到2010年綜合收入的11%。
為了加強技術研發，擴大市場領域，我們在比利時、巴西、荷蘭、愛爾蘭、中國、印度、以色列、俄羅斯、新加坡和美國本土設立了研發中心，在美國、愛爾蘭、巴西和深圳建立了生產工廠。我們擁有國際標准化組織（ISO 9001）最嚴格的質量管理認證，我們的生產工廠擁有MRP II A級認證。
2010年，EMC財年綜合收入達到創紀錄的170億美元。EMC在紐約股票交易所交易，是標准普爾指數的成份股之一。2011年，EMC名列美國《財富》計算機行業最受尊敬公司第二位、美國《財富》500強企業152位。
Ⅳ 戴爾和EMC存儲產品的區別
戴爾收購了EMC啊，你現在在購買EMC的產品就是通過戴爾購買的。戴爾的存儲收購的品牌有EQ，康貝，包括EMC。EMC一般都是光纖存儲，戴爾還有其他低端直鏈存儲等等。
Ⅵ 大數據中心是什麼中國最大的大數據中心在哪裡
按理說，對於一個問題，其分析的數據量越多，得出的結果就會越准確。這就是大數據的高性能分析魅力十足的原因。對於一家公司來說，理論上它可以用充足的時間去收集大量數據，然後進行分析，從中得到一些獨特的見解，從而做出企業的最優決策。但是通常情況下，這種理想情況在現實生活中是不會發生的。
大數據分析包含巨大的潛力，但如果分析的不準確，它就會轉變成阻礙。由於技術限制和其他商業因素的考慮，數據分析公司解析數據得出的結果可能並不能反映實際情況。如果企業想要確保通過大數據分析得出的結論是他們想要的結果，他們就需要提高大數據分析的准確性。
在
理想的世界裡，企業會收集大量的數據，分析它，並生成到他們要面對的問題的解決方案。但我們都知道，我們並沒有生活在一個理想的世界。大數據分析結果往往
要在短時間內獲得，一個企業可能沒有足夠先進的技術快速處理這么多的數據信息。這些限制導致許多企業對數據進行抽樣分析。換句話說，他們不看所有的數據，
而是分析小部分的數據樣品。盡管這可能是很多企業的戰略，但這些分析結果非常可能是不準確的。
從上面的例子可以看出，大數據的中心就是保證大數據的准確性！！！