1. 如何將大數據分為不同的類別
深圳遠標為你解答
從分類大數據到選擇大數據解決方案
如果您花時間研究過大數據解決方案,那麼您一定知道它不是一個簡單的任務。本系列將介紹查找滿足您需求的大數據解決方案所涉及的主要步驟。
我們首先介紹術語 「大數據」 所描述的數據類型。為了簡化各種大數據類型的復雜性,我們依據各種參數對大數據進行了分類,為任何大數據解決方案中涉及的各層和高級組件提供一個邏輯架構。接下來,我們通過定義原子和復合分類模式,提出一種結構來分類大數據業務問題。這些模式有助於確定要應用的合適的解決方案模式。我們提供了來自各行各業的示例業務問題。最後,對於每個組件和模式,我們給出了提供了相關功能的產品。
第 1 部分將介紹如何對大數據進行分類。本系列的後續文章將介紹以下主題:
♦ 定義大數據解決方案的各層和組件的邏輯架構
♦ 理解大數據解決方案的原子模式
♦ 理解用於大數據解決方案的復合(或混合)模式
♦ 為大數據解決方案選擇一種解決方案模式
♦ 確定使用一個大數據解決方案解決一個業務問題的可行性
♦ 選擇正確的產品來實現大數據解決方案
依據大數據類型對業務問題進行分類
業務問題可分類為不同的大數據問題類型。以後,我們將使用此類型確定合適的分類模式(原子或復合)和合適的大數據解決方案。但第一步是將業務問題映射到它的大數據類型。下表列出了常見的業務問題並為每個問題分配了一種大數據類型。
按類型對大數據問題分類,更容易看到每種數據的特徵。這些特徵可幫助我們了解如何獲取數據,如何將它處理為合適的格式,以及新數據出現的頻率。來自不同來源的數據具有不同的特徵;例如,社交媒體數據包含不斷傳入的視頻、圖像和非結構化文本
使用大數據類型對大數據特徵進行分類
按特定方向分析大數據的特徵會有所幫助,例如以下特徵:數據如何收集、分析和處理。對數據進行分類後,就可以將它與合適的大數據模式匹配:
1、分析類型 — 對數據執行實時分析還是批量分析。請仔細考慮分析類型的選擇,因為這會影響一些有關產品、工具、硬體、數據源和預期的數據頻率的其他決策。一些用例可能需要混合使用兩種類型:
2、欺詐檢測;分析必須實時或近實時地完成。
3、針對戰略性業務決策的趨勢分析;分析可採用批量模式。
4、處理方法 — 要應用來處理數據的技術類型(比如預測、分析、臨時查詢和報告)。業務需求確定了合適的處理方法。可結合使用各種技術。處理方法的選擇,有助於識別要在您的大數據解決方案中使用的合適的工具和技術。
5、數據頻率和大小 — 預計有多少數據和數據到達的頻率多高。知道頻率和大小,有助於確定存儲機制、存儲格式和所需的預處理工具。數據頻率和大小依賴於數據源:
♦ 按需分析,與社交媒體數據一樣
♦ 實時、持續提供(天氣數據、交易數據)
♦ 時序(基於時間的數據)
6、數據類型 — 要處理數據類型 — 交易、歷史、主數據等。知道數據類型,有助於將數據隔離在存儲中。
7、內容格式(傳入數據的格式)結構化(例如 RDMBS)、非結構化(例如音頻、視頻和圖像)或半結構化。格式確定了需要如何處理傳入的數據,這是選擇工具、技術以及從業務角度定義解決方案的關鍵。
8、數據源 — 數據的來源(生成數據的地方),比如 Web 和社交媒體、機器生成、人類生成等。識別所有數據源有助於從業務角度識別數據范圍。該圖顯示了使用最廣泛的數據源。
9、數據使用者 — 處理的數據的所有可能使用者的列表:
♦ 業務流程
♦ 業務用戶
♦ 企業應用程序
♦ 各種業務角色中的各個人員
♦ 部分處理流程
♦ 其他數據存儲庫或企業應用程序
10、硬體 — 將在其上實現大數據解決方案的硬體類型,包括商用硬體或最先進的硬體。理解硬體的限制,有助於指導大數據解決方案的選擇。
2. 如何對大數據來源分類
從大數據的來源來看。
主要分為以下幾個大類:
一、國家資料庫。
二、企業數據。
三、機器設備數據。
四、個人數據。
方法/步驟
一、國家資料庫
包含公開的和保密的兩個方面。
公開的如GDP、CPI、固定資產投資等宏觀經濟數據,包括歷年統計年鑒或人口普查的數據,以及地理信息數據、金融數據、房地產數據、醫療統計數據等等。