大數據工作者如何做

❶ 大數據工程師的工作內容是什麼

1、數據採集：

業務系統的埋點代碼時刻會產生一些分散的原始日誌，可以用Flume監控接收這些分散的日誌，實現分散日誌的聚合，即採集。

2、數據清洗：

一些欄位可能會有異常取值，即臟數據。為了保證數據下游的"數據分析統計"能拿到比較高質量的數據，需要對這些記錄進行過濾或者欄位數據回填。

一些日誌的欄位信息可能是多餘的，下游不需要使用到這些欄位做分析，同時也為了節省存儲開銷，需要刪除這些多餘的欄位信息。

一些日誌的欄位信息可能包含用戶敏感信息，需要做脫敏處理。如用戶姓名只保留姓，名字用'*'字元替換。

3、數據存儲：

清洗後的數據可以落地入到數據倉庫(Hive)，供下游做離線分析。如果下游的"數據分析統計"對實時性要求比較高，則可以把日誌記錄入到kafka。

4、數據分析統計：

數據分析是數據流的下游，消費來自上游的數據。其實就是從日誌記錄里頭統計出各種各樣的報表數據，簡單的報表統計可以用sql在kylin或者hive統計，復雜的報表就需要在代碼層面用Spark、Storm做統計分析。一些公司好像會有個叫BI的崗位是專門做這一塊的。

5、數據可視化：

用數據表格、數據圖等直觀的形式展示上游"數據分析統計"的數據。一般公司的某些決策會參考這些圖表裡頭的數據。

❷ 大數據處理的第一步需要做什麼

「大數據」已經無時無刻的在影響我們的工作，很多人想知道大數據到底是怎樣知道來工作的，今天就和大家分享一下大數據處理的基本過程。