⑴ 什麼是數據集成,哪些需要數據集成
數據採集簡單的將就是將各個不同的應用系統,不同地方的數據進行集成,將異構、冗餘的的數據進行整理,使得數據能夠共享。
一般的企業都需要數據集成,幫助其對數據質量進行處理,數據共享後方便數據的查詢與分析,有助於後期的決策指導。
開發數據集成的主要有中軟卓成,看點在於數據共享、質量處理和可視化視圖展示等。
⑵ 大數據服務平台是什麼有什麼用
現今社會每時每刻都在產生數據,企業內部的經營交易信息、物聯網世界中的商品物流信息,互聯網世界中的人與人交互信息、位置信息等,我們身邊處處都有大數據。而大數據服務平台則是一個集數據接入、數據處理、數據存儲、查詢檢索、分析挖掘等、應用介面等為一體的平台,然後通過在線的方式來提供數據資源、數據能力等來驅動業務發展的服務,國外如Amazon ,Oracle,IBM,Microsoft...國內如華為,商理事等公司都是該服務的踐行者。
⑶ 大數據和BI商業智能有何區別有何相關_bi商業智能是做什麼的
之所以要區分大數據應用與BI(商業智能),是因為大數據應用與BI、數據挖掘等,並沒有一個相對完整的認知。
BI()即商務智能,它是一套完整的解決方案,用來將企業中現有的數據進行有效的整合,快速准確的提供報表並提出決策依據,幫助企業做出明智的業務經營決策。
伴隨著BI的發展,是ETL,數據集成平台等概念的提出。ETL,ExtractionLoading,數據提取、轉換和載入,數據集成平台主要功能對各種業務數據進行抽取和相關轉化,以此來滿足BI、數據倉庫對數據格式和內容挖掘的要求。
數據集成平台的基礎工作與ETL有很大的相似性,其主要功能是實祥兆現不同系統不同格式數據地抽取,並且按照目標需求轉化成為相應的格式。數據集成開始是點對點的,慢慢地發現這種模式對於系統之間,不同所有權的企業數據流向以及數據標准控制很難,為謹宴攔此,誕生了對統一企業數據平台的需求,來實現企業級之間的數據交互。
數據集成平台就像網路中Hub,可以連接所有應用系統,實現系統之間數據的互通有無。數據集成平台以BI、數據倉庫需求而產生,現在已經跨越了最初的需求,上升到祥胡了一個更高的階段。
如今大數據應用更多關注非結構化數據,更多談論互聯網,Twitter、Facebook、博客等非結構化數據,如此理解大數據應用,顯然就有些走偏了。結構化數據也屬於大數據,且呈現出相同的特點和特徵,如數據量大,增長越來越快,對數據處理要求高等。
結構化數據是廣義大數據中含金量或者價值密度最高的一部分數據,與之相比,非結構化數據含金量高但價值密度低。在Hadoop平台出現之前,沒有人談論大數據。數據應用主要是結構化數據,多採用IBM、HP等老牌廠商的小型機或伺服器設備。
採用傳統方法處理這些價值密度低的非結構化數據,被認為是不值得的,因為其產出實在是有限。Hadoop平台出現之後,提供了一種開放的、廉價的、基於普通商業硬體的平台,其核心是分布式大規模並行處理,從而為非結構化數據處理創造條件。
大數據應用的數據來源應該包括結構化數據,如各種資料庫、各種結構化文件、消息隊列和應用系統數據等,其次才是非結構化數據,又可以進一步細分為兩部分,一是社交媒體,如Twitter、Facebook、博客等產生的數據,包括用戶點擊的習慣/特點,發表的評論,評論的特點,網民之間的關系等,這些都構成了大數據來源。另外一部分數據,也是數據量比較大的數據,就是機器設備以及感測器所產生的數據。以電信行業為例,CDR、呼叫記錄,這些數據都屬於原始感測器數據,主要來自路由器或者基站。此外,手機的置感測器,各種手持設備、門禁系統,攝像頭、ATM機等,其數據量也非常巨大。
對於分析大數據的工具,目前所有的分析工具都側重於結構化分析,例如針對社交媒體評論方向的分析,根據特定的詞頻或者語義,通過統計正面/負面評論的比例,來確定評論性質。如果有一個應用系統是接收結構化數據的,例如一個分析系統,接收這些語義就可以便於分析。(速鴻科技-BI商業智能大數據分析工具與服務提供商)
⑷ 什麼是數據集成
數據集成項目有多種類型,主要包括:
企業數據倉庫:從眾多的系統中提取數據到通用數據倉庫,供報告、分析或商業情報之用
數據移植和合並:將現有系統的數據轉化或合並為新系統和應用的格式和結構
主數據管理(MDM):生成單一的視圖、集中注冊,或客戶、產品、供應商等主數據的數據集中地
雲計算的數據集成:用軟體即服務(SaaS)應用集成留在公司內的數據
運營數據集成:跨應用或資料庫進行實時的數據訪問、轉化和交付
B2B 數據交換:跨企業邊界集成客戶/合作夥伴/供應商數據
信息使用期限管理:著重於應用和資料庫存檔、測試數據管理、數據隱私和應用淘汰。