『壹』 數據清洗一般遵循以下哪些原則
數據清洗是指發現並糾正數據文件中可識別的錯誤的最後一道程序,包括檢查數據一致性,處理無效值和缺失值等。與問卷審核不同,錄入後的數據清理一般是由計算機而不是人工完成。
一般來說,數據清理是將資料庫精簡以除去重復記錄,並使剩餘部分轉換成標准可接收格式的過程。數據清理標准模型是將數據輸入到數據清理處理器,通過一系列步驟「 清理」數據,然後以期望的格式輸出清理過的數據(如上圖所示)。數據清理從數據的准確性、完整性、一致性、惟一性、適時性、有效性幾個方面來處理數據的丟失值、越界值、不一致代碼、重復數據等問題。