A. 數據清洗方法的闡述
數據清洗方法
對於數據值缺失的處理，通常使用的方法有下面幾種：
1、刪除缺失值
當樣本數很多的時候，並且出現缺失值的樣本在整個的樣本的比例相對較小，這種情況下，我們可以使用最簡單有效的方法處理缺失值的情況。那就是將出現有缺失值的樣本直接丟棄。這是一種很常用的策略。
2、均值填補法
根據缺失值的屬性相關系數最大的那個屬性把數據分成幾個組，然後分別計算每個組的均值，把這些均值放入到缺失的數值裡面就可以了。
3、熱卡填補法
對於一個包含缺失值的變數，熱卡填充法的做法是：在資料庫中找到一個與它最相似的對象，然後用這個相似對象的值來進行填充。不同的問題可能會選用不同的標准來對相似進行判定。最常見的是使用相關系數矩陣來確定哪個變數（如變數Y）與缺失值所在變數（如變數X）最相關。然後把所有變數按Y的取值大小進行排序。那麼變數X的缺失值就可以用排在缺失值前的那個個案的數據來代替了。
還有類似於最近距離決定填補法、回歸填補法、多重填補方法、K-最近鄰法、有序最近鄰法、基於貝葉斯的方法等。
B. 數據清洗技術有哪些
數據清洗是指在數據集中發現不準確、不完整或不合理數據，並對這些數據進行修補或移除以提高數據質量的過程。而通常來說，數據清洗框架由5個步驟構成，第一就是定義錯誤類型，第二就是搜索並標識錯誤實例，第三就是改正錯誤，第四就是文檔記錄錯誤實例和錯誤類型，第五就是修改數據錄入程序以減少未來的錯誤。
清洗數據有三個方法，分別是分箱法、聚類法、回歸法。這三種方法各有各的優勢，能夠對噪音全方位的清理。分箱法是一個經常使用到方法，所謂的分箱法，就是將需要處理的數據根據一定的規則放進箱子里，然後進行測試每一個箱子里的數據，並根據數據中的各個箱子的實際情況進行採取方法處理數據。
怎麼分箱，我們可以按照記錄的行數進行分箱，使得每箱有一個相同的記錄數。或者我們把每個箱的區間范圍設置一個常數，這樣我們就能夠根據區間的范圍進行分箱。其實我們也可以自定義區間進行分箱。這三種方式都是可以的。分好箱號，我們可以求每一個箱的平均值，中位數、或者使用極值來繪制折線圖，一般來說，折線圖的寬度越大，光滑程度也就越明顯。
C. 數據清洗的內容有哪些
數據清洗的內容包括：選擇子集、列名重命名、缺失值處理、數據類型轉換、異常值處理以及數據排序。
1、選擇子集
在數據分析的過程中，有可能數據量會非常大，但並不是每一列都有分析的價值，這時候就要從這些數據中選擇有用的子集進行分析，這樣才能提高分析的價值和效率。
2、列名重命名
在數據分析的過程中，有些列名和數據容易混淆或者讓人產生歧義。
3、缺失值處理
獲取的數據中很可能存在這缺失值，這會對分析的結果造成影響。
4、數據類型的轉換
在導入數據的時候為了防止導入不進來，python會強制轉換為object類型，然是這樣的數據類型在分析的過程中不利於運算和分析。
數據清洗是指發現並糾正數據文件中可識別的錯誤的最後一道程序，包括檢查數據一致性，處理無效值和缺失值等。與問卷審核不同，錄入後的數據清理一般是由計算機而不是人工完成。
數據清洗方法：一般來說，數據清理是將資料庫精簡以除去重復記錄，並使剩餘部分轉換成標准可接收格式的過程。數據清理標准模型是將數據輸入到數據清理處理器，通過一系列步驟「 清理」數據，然後以期望的格式輸出清理過的數據。數據清理從數據的准確性、完整性、一致性、惟一性、適時性、有效性幾個方面來處理數據的丟失值、越界值、不一致代碼、重復數據等問題。
D. 數據清洗需清理哪些數據
數據清洗需要清理的數據，是輸入數據後需要對數據進行預處理，只有處理得當的數據才能進到數據挖掘的步驟。而處理數據包括對數據數量和質量的處理。
包括對缺失的數據有添補或刪除相關行列方法，具體步驟自己判斷，如果數據量本來就很少還堅持刪除，那就是自己的問題了。
添補:常用拉格朗日插值或牛頓插值法，也蠻好理解，屬於數理基礎知識。(pandas庫里自帶拉格朗日插值函數，而且這個好處是還可以在插值前對數據進行異常值檢測，如果異常那麼該數據就也被視為需要進行插值的對象)。
刪除:這個也好理解，就是對結果分析沒有直接影響的數據刪除。
異常值
這個是否剔除需要視情況而定
像問題1中視為缺失值重新插值
刪除含有異常值的記錄(可能會造成樣本量不足，改變原有分布)
平均值修正(用前後兩個觀測值平均值)
綜上，還是方案一靠譜。
人生苦短，學好python
3 數據量太多，有三種方法:集成，規約，變換
(1)數據是分散的時，這個就是指要從多個分散的數據倉庫中抽取數據，此時可能會造成冗餘的情況。此時要做的是【數據集成】。
數據集成有兩方面內容:
①冗餘屬性識別②矛盾實體識別
屬性:
對於冗餘屬性個人理解是具有相關性的屬性分別從不同的倉庫中被調出整合到新表中，而新表中由於屬性太多造成冗餘，這時可以靠相關性分析來分析屬性a和屬性b的相關系數，來度量一個屬性在多大程度上蘊含另一個屬性。等等。
數據清洗時預處理階段主要做兩件事情：
一是將數據導入處理工具。通常來說，建議使用資料庫，單機跑數搭建MySQL環境即可。如果數據量大（千萬級以上），可以使用文本文件存儲+Python操作的方式。
二是看數據。這里包含兩個部分：一是看元數據，包括欄位解釋、數據來源、代碼表等等一切描述數據的信息；二是抽取一部分數據，使用人工查看方式，對數據本身有一個直觀的了解，並且初步發現一些問題，為之後的處理做准備。
數據清洗是整個數據分析過程中不可缺少的一個環節，其結果質量直接關繫到模型效果和最終結論。在實際操作中，數據清洗通常會占據分析過程的50%—80%的時間。
E. 數據清洗的方法不包括哪些
通常來說，清洗數據有三個方法，分別是分箱法、聚類法、回歸法。這三種方法各有各的優勢，能夠對噪音全方位的清理。分箱法是一個經常使用到方法，所謂的分箱法，就是將需要處理的數據根據一定的規則放進箱子里，然後進行測試每一個箱子里的數據，並根據數據中的各個箱子的實際情況進行採取方法處理數據。看到這里很多朋友只是稍微明白了，但是並不知道怎麼分箱。如何分箱呢？我們可以按照記錄的行數進行分箱，使得每箱有一個相同的記錄數。或者我們把每個箱的區間范圍設置一個常數，這樣我們就能夠根據區間的范圍進行分箱。其實我們也可以自定義區間進行分箱。這三種方式都是可以的。分好箱號，我們可以求每一個箱的平均值，中位數、或者使用極值來繪制折線圖，一般來說，折線圖的寬度越大，光滑程度也就越明顯。
回歸法和分箱法同樣經典。回歸法就是利用了函數的數據進行繪制圖像，然後對圖像進行光滑處理。回歸法有兩種，一種是單線性回歸，一種是多線性回歸。單線性回歸就是找出兩個屬性的最佳直線，能夠從一個屬性預測另一個屬性。多線性回歸就是找到很多個屬性，從而將數據擬合到一個多維面，這樣就能夠消除雜訊。
聚類法的工作流程是比較簡單的，但是操作起來確實復雜的，所謂聚類法就是將抽象的對象進行集合分組，成為不同的集合，找到在集合意外的孤點，這些孤點就是雜訊。這樣就能夠直接發現噪點，然後進行清除即可。
F. 數據挖掘中常用的數據清洗方法有哪些
數據清洗目的主要有：
①解決數據質量問題；
②讓數據更適合做挖掘；
數據清洗是對數據審查過程中發現的明顯錯誤值、缺失值、異常值、可疑數據，選用一定方法進行「清洗」，為後續的數據分析做准備。
數據清洗的方法有：
①數據數值化
對存在各種不同格式的數據形式的原始數據，對其進行標准化操作。對字元串取值，按照ANSI碼值求和得到字元串的值，如果值太大，取一個適當的質數對其求模。
②標准化 normalization
對整體數據進行歸一化工作，利用min-max標准化方法將數據都映射到一個指定的數值區間。
③數據降維
原始數據存在很多維度，使用主成分分析法對數據的相關性分析來降低數據維度。
④數據完整性
數據完整性包括數據缺失補數據和數據去重；
補全數據的方法有：
通過身份證件號碼推算性別、籍貫、出生日期、年齡（包括但不局限）等信息補全；
通過前後數據補全；
實在補不全的，對數據進行剔除。
數據去重的方法有：
用sql或者excel「去除重復記錄」去重；
按規則去重，編寫一系列的規則，對重復情況復雜的數據進行去重。
G. 數據清洗的方法不包括
數據清洗主要根據探索性分析後得到的一些結論入手，然後主要對四類異常數據進行處理，分別是缺失值(missing value)，異常值(離群點)，去重處理(Duplicate Data)以及噪音數據的處理。
H. 數據清洗有哪些方法
數據清洗有兩種辦法，第一種是物理辦法，直接通過對磁碟內信息的格式化重新加入新的數據，可以把原先的數據清洗掉。