⑴ 數據挖掘有哪些方法
1、神經元網路辦法
神經元網路由於本身優良的健壯性、自組織自適應性、並行計算、遍及貯存和高寬比容錯機制等特色特別適合處理數據發掘的難題，因而近些年愈來愈遭受大家的關心。
2、遺傳演算法
遺傳演算法是一種依據微生物自然選擇學說與基因遺傳原理的恣意優化演算法，是一種仿生技能全局性提升辦法。遺傳演算法具有的暗含並行性、便於和其他實體模型交融等特性促使它在數據發掘中被多方面運用。
3、決策樹演算法辦法
決策樹演算法是一種常見於預測模型的優化演算法，它依據將很多數據信息有目地歸類，從這當中尋找一些有使用價值的，潛在性的信息。它的要害優勢是敘說簡易，歸類速度更快，十分適宜規模性的數據處理辦法。
4、遮蓋正例抵觸典例辦法
它是使用遮蓋悉數正例、抵觸悉數典例的觀念來找尋規范。最先在正例結合中隨意選擇一個種子，到典例結合中逐一較為。與欄位名賦值組成的選擇子相溶則舍棄，反過來則保存。按此觀念循環系統悉數正例種子，將獲得正例的規范(選擇子的合取式)。
5、數據剖析辦法
在資料庫查詢欄位名項中心存有二種相關：函數關系和相關剖析，對他們的剖析可選用應用統計學辦法，即使用統計學原理對資料庫查詢中的信息展開剖析。可展開常見統計剖析、多元回歸剖析、相關性剖析、差異剖析等。
6、含糊集辦法
即使用含糊不清結合基礎理論對具體難題展開含糊不清評定、含糊不清管理決策、含糊不清系統識別和含糊聚類剖析。系統軟體的多元性越高，抽象性越強，一般含糊不清結合基礎理論是用從屬度來描繪含糊不清事情的亦此亦彼性的。
⑵ 數據分析中的缺失值處理
數據分析中的缺失值處理
沒有高質量的數據，就沒有高質量的數據挖掘結果，數據值缺失是數據分析中經常遇到的問題之一。當缺失比例很小時，可直接對缺失記錄進行舍棄或進行手工處理。但在實際數據中，往往缺失數據佔有相當的比重。這時如果手工處理非常低效，如果舍棄缺失記錄，則會丟失大量信息，使不完全觀測數據與完全觀測數據間產生系統差異，對這樣的數據進行分析，你很可能會得出錯誤的結論。
造成數據缺失的原因
現實世界中的數據異常雜亂，屬性值缺失的情況經常發全甚至是不可避免的。造成數據缺失的原因是多方面的：
信息暫時無法獲取。例如在醫療資料庫中，並非所有病人的所有臨床檢驗結果都能在給定的時間內得到，就致使一部分屬性值空缺出來。
信息被遺漏。可能是因為輸入時認為不重要、忘記填寫了或對數據理解錯誤而遺漏，也可能是由於數據採集設備的故障、存儲介質的故障、傳輸媒體的故障、一些人為因素等原因而丟失。
有些對象的某個或某些屬性是不可用的。如一個未婚者的配偶姓名、一個兒童的固定收入狀況等。
有些信息（被認為）是不重要的。如一個屬性的取值與給定語境是無關。
獲取這些信息的代價太大。
系統實時性能要求較高。即要求得到這些信息前迅速做出判斷或決策。
對缺失值的處理要具體問題具體分析，為什麼要具體問題具體分析呢？因為屬性缺失有時並不意味著數據缺失，缺失本身是包含信息的，所以需要根據不同應用場景下缺失值可能包含的信息進行合理填充。下面通過一些例子來說明如何具體問題具體分析，仁者見仁智者見智，僅供參考：
「年收入」：商品推薦場景下填充平均值，借貸額度場景下填充最小值；
「行為時間點」：填充眾數；
「價格」：商品推薦場景下填充最小值，商品匹配場景下填充平均值；
「人體壽命」：保險費用估計場景下填充最大值，人口估計場景下填充平均值；
「駕齡」：沒有填寫這一項的用戶可能是沒有車，為它填充為0較為合理；
」本科畢業時間」：沒有填寫這一項的用戶可能是沒有上大學，為它填充正無窮比較合理；
「婚姻狀態」：沒有填寫這一項的用戶可能對自己的隱私比較敏感，應單獨設為一個分類，如已婚1、未婚0、未填-1。
缺失的類型
在對缺失數據進行處理前，了解數據缺失的機制和形式是十分必要的。將數據集中不含缺失值的變數稱為完全變數，數據集中含有缺失值的變數稱為不完全變數。從缺失的分布來將缺失可以分為完全隨機缺失，隨機缺失和完全非隨機缺失。
完全隨機缺失（missing completely at random,MCAR）：指的是數據的缺失是完全隨機的，不依賴於任何不完全變數或完全變數，不影響樣本的無偏性。如家庭地址缺失。
隨機缺失(missing at random,MAR)：指的是數據的缺失不是完全隨機的，即該類數據的缺失依賴於其他完全變數。例如財務數據缺失情況與企業的大小有關。
非隨機缺失(missing not at random,MNAR)：指的是數據的缺失與不完全變數自身的取值有關。如高收入人群的不原意提供家庭收入。
對於隨機缺失和非隨機缺失,刪除記錄是不合適的,隨機缺失可以通過已知變數對缺失值進行估計；而非隨機缺失還沒有很好的解決辦法。
說明:對於分類問題，可以分析缺失的樣本中，類別之間的比例和整體數據集中，類別的比例
缺失值處理的必要性
數據缺失在許多研究領域都是一個復雜的問題。對數據挖掘來說，預設值的存在，造成了以下影響：
系統丟失了大量的有用信息；
系統中所表現出的不確定性更加顯著，系統中蘊涵的確定性成分更難把握；
包含空值的數據會使挖掘過程陷入混亂，導致不可靠的輸出。
數據挖掘演算法本身更致力於避免數據過分擬合所建的模型，這一特性使得它難以通過自身的演算法去很好地處理不完整數據。因此，預設值需要通過專門的方法進行推導、填充等，以減少數據挖掘演算法與實際應用之間的差距。
缺失值處理方法的分析與比較
處理不完整數據集的方法主要有三大類：刪除元組、數據補齊、不處理。
刪除元組
也就是將存在遺漏信息屬性值的對象（元組，記錄）刪除，從而得到一個完備的信息表。這種方法簡單易行，在對象有多個屬性缺失值、被刪除的含缺失值的對象與初始數據集的數據量相比非常小的情況下非常有效，類標號缺失時通常使用該方法。
然而，這種方法卻有很大的局限性。它以減少歷史數據來換取信息的完備，會丟棄大量隱藏在這些對象中的信息。在初始數據集包含的對象很少的情況下，刪除少量對象足以嚴重影響信息的客觀性和結果的正確性；因此，當缺失數據所佔比例較大，特別當遺漏數據非隨機分布時，這種方法可能導致數據發生偏離，從而引出錯誤的結論。
說明:刪除元組，或者直接刪除該列特徵，有時候會導致性能下降。
數據補齊
這類方法是用一定的值去填充空值，從而使信息表完備化。通常基於統計學原理，根據初始數據集中其餘對象取值的分布情況來對一個缺失值進行填充。數據挖掘中常用的有以下幾種補齊方法：
人工填寫（filling manually）
由於最了解數據的還是用戶自己，因此這個方法產生數據偏離最小，可能是填充效果最好的一種。然而一般來說，該方法很費時，當數據規模很大、空值很多的時候，該方法是不可行的。
特殊值填充（Treating Missing Attribute values as Special values）
將空值作為一種特殊的屬性值來處理，它不同於其他的任何屬性值。如所有的空值都用「unknown」填充。這樣將形成另一個有趣的概念，可能導致嚴重的數據偏離，一般不推薦使用。
平均值填充（Mean/Mode Completer）
將初始數據集中的屬性分為數值屬性和非數值屬性來分別進行處理。
如果空值是數值型的，就根據該屬性在其他所有對象的取值的平均值來填充該缺失的屬性值；
如果空值是非數值型的，就根據統計學中的眾數原理，用該屬性在其他所有對象的取值次數最多的值(即出現頻率最高的值)來補齊該缺失的屬性值。與其相似的另一種方法叫條件平均值填充法（Conditional Mean Completer）。在該方法中，用於求平均的值並不是從數據集的所有對象中取，而是從與該對象具有相同決策屬性值的對象中取得。
這兩種數據的補齊方法，其基本的出發點都是一樣的，以最大概率可能的取值來補充缺失的屬性值，只是在具體方法上有一點不同。與其他方法相比，它是用現存數據的多數信息來推測缺失值。
熱卡填充（Hot deck imputation，或就近補齊）
對於一個包含空值的對象，熱卡填充法在完整數據中找到一個與它最相似的對象，然後用這個相似對象的值來進行填充。不同的問題可能會選用不同的標准來對相似進行判定。該方法概念上很簡單，且利用了數據間的關系來進行空值估計。這個方法的缺點在於難以定義相似標准，主觀因素較多。
K最近距離鄰法（K-means clustering）
先根據歐式距離或相關分析來確定距離具有缺失數據樣本最近的K個樣本，將這K個值加權平均來估計該樣本的缺失數據。
使用所有可能的值填充（Assigning All Possible values of the Attribute）
用空缺屬性值的所有可能的屬性取值來填充，能夠得到較好的補齊效果。但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大，可能的測試方案很多。
組合完整化方法（Combinatorial Completer）
用空缺屬性值的所有可能的屬性取值來試，並從最終屬性的約簡結果中選擇最好的一個作為填補的屬性值。這是以約簡為目的的數據補齊方法，能夠得到好的約簡結果；但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大。
回歸（Regression）
基於完整的數據集，建立回歸方程。對於包含空值的對象，將已知屬性值代入方程來估計未知屬性值，以此估計值來進行填充。當變數不是線性相關時會導致有偏差的估計。
期望值最大化方法（Expectation maximization，EM）
EM演算法是一種在不完全數據情況下計算極大似然估計或者後驗分布的迭代演算法。在每一迭代循環過程中交替執行兩個步驟：E步（Excepctaion step,期望步），在給定完全數據和前一次迭代所得到的參數估計的情況下計算完全數據對應的對數似然函數的條件期望；M步（Maximzation step，極大化步），用極大化對數似然函數以確定參數的值，並用於下步的迭代。演算法在E步和M步之間不斷迭代直至收斂，即兩次迭代之間的參數變化小於一個預先給定的閾值時結束。該方法可能會陷入局部極值，收斂速度也不是很快，並且計算很復雜。
多重填補（Multiple Imputation，MI）
多重填補方法分為三個步驟：
為每個空值產生一套可能的填補值，這些值反映了無響應模型的不確定性；每個值都被用來填補數據集中的缺失值，產生若干個完整數據集合。
每個填補數據集合都用針對完整數據集的統計方法進行統計分析。
對來自各個填補數據集的結果進行綜合，產生最終的統計推斷，這一推斷考慮到了由於數據填補而產生的不確定性。該方法將空缺值視為隨機樣本，這樣計算出來的統計推斷可能受到空缺值的不確定性的影響。該方法的計算也很復雜。
C4.5方法
通過尋找屬性間的關系來對遺失值填充。它尋找之間具有最大相關性的兩個屬性，其中沒有遺失值的一個稱為代理屬性，另一個稱為原始屬性，用代理屬性決定原始屬性中的遺失值。這種基於規則歸納的方法只能處理基數較小的名詞型屬性。
就幾種基於統計的方法而言，刪除元組法和平均值法差於熱卡填充法、期望值最大化方法和多重填充法；回歸是比較好的一種方法，但仍比不上hot deck和EM；EM缺少MI包含的不確定成分。值得注意的是，這些方法直接處理的是模型參數的估計而不是空缺值預測本身。它們合適於處理無監督學習的問題，而對有監督學習來說，情況就不盡相同了。譬如，你可以刪除包含空值的對象用完整的數據集來進行訓練，但預測時你卻不能忽略包含空值的對象。另外，C4.5和使用所有可能的值填充方法也有較好的補齊效果，人工填寫和特殊值填充則是一般不推薦使用的。
不處理
補齊處理只是將未知值補以我們的主觀估計值，不一定完全符合客觀事實，在對不完備信息進行補齊處理的同時，我們或多或少地改變了原始的信息系統。而且，對空值不正確的填充往往將新的雜訊引入數據中，使挖掘任務產生錯誤的結果。因此，在許多情況下，我們還是希望在保持原始信息不發生變化的前提下對信息系統進行處理。
不處理缺失值，直接在包含空值的數據上進行數據挖掘的方法包括貝葉斯網路和人工神經網路等。
貝葉斯網路提供了一種自然的表示變數間因果信息的方法，用來發現數據間的潛在關系。在這個網路中，用節點表示變數，有向邊表示變數間的依賴關系。貝葉斯網路僅適合於對領域知識具有一定了解的情況，至少對變數間的依賴關系較清楚的情況。否則直接從數據中學習貝葉斯網的結構不但復雜性較高（隨著變數的增加，指數級增加），網路維護代價昂貴，而且它的估計參數較多，為系統帶來了高方差，影響了它的預測精度。
人工神經網路可以有效的對付缺失值，但人工神經網路在這方面的研究還有待進一步深入展開。
知乎上的一種方案：
4.把變數映射到高維空間。比如性別，有男、女、缺失三種情況，則映射成3個變數：是否男、是否女、是否缺失。連續型變數也可以這樣處理。比如Google、網路的CTR預估模型，預處理時會把所有變數都這樣處理，達到幾億維。這樣做的好處是完整保留了原始數據的全部信息、不用考慮缺失值、不用考慮線性不可分之類的問題。缺點是計算量大大提升。
而且只有在樣本量非常大的時候效果才好，否則會因為過於稀疏，效果很差。
總結
大多數數據挖掘系統都是在數據挖掘之前的數據預處理階段採用第一、第二類方法來對空缺數據進行處理。並不存在一種處理空值的方法可以適合於任何問題。無論哪種方式填充，都無法避免主觀因素對原系統的影響，並且在空值過多的情形下將系統完備化是不可行的。從理論上來說，貝葉斯考慮了一切，但是只有當數據集較小或滿足某些條件（如多元正態分布）時完全貝葉斯分析才是可行的。而現階段人工神經網路方法在數據挖掘中的應用仍很有限。值得一提的是，採用不精確信息處理數據的不完備性已得到了廣泛的研究。不完備數據的表達方法所依據的理論主要有可信度理論、概率論、模糊集合論、可能性理論，D-S的證據理論等。
⑶ 對於缺失值的處理
建議：不同場景下的數據缺失機制不同，這需要工程師基於對業務選擇合適的填充方法。
如何判斷缺失值類型？
缺失值的分類按照數據缺失機制可分為：
可忽略的缺失
不可忽略的缺失
平常工作中遇到的缺失值大部分情況下是隨機的（缺失變數和其他變數有關）
這個就可以用estimator來做了，選其中一個變數（y），然後用其他變數作為X，隨便選個值填充X的缺失部分，用X train一個estimator，再預測y的缺失部分（大致思路）
此外有些數據是符合某種分布的，利用這個分布呢也可以填充缺失的數據，如(EM演算法)
處理缺失數據的三個標准：
1. 非偏置的參數估計
不管你估計means, regressions或者是odds ratios，都希望參數估計可以准確代表真實的總體參數。在統計項中，這意味著估計需要是無偏的。有缺失值可能會影響無偏估計，所以需要處理。
2. 有效的能力：
刪除缺失數據會降低采樣的大小，因此會降低power。如果說問題是無偏的，那麼得到的結果會是顯著的，那麼會有足夠的能力來檢驗這個效力（have adequate power to detect your effects)。反之，整個檢測可能失效。
3. 准確的標准差（影響p值和置信區間）：
不僅需要參數估計無偏，還需要標准差估計准確，在統計推斷中才會有效。
缺失值處理的方法大致分為這幾類：1、刪除法；2、基於插補的方法；3、基於模型的方法; 4、不處理; 5、映射高維
有些處理方法是基於完全隨機缺失假設（MCAR），一般來說，當數據不是 MCAR 而 是隨機缺失（MAR）時，這些方法是不適用的；而有些方法(如似然估計法)在 MAR 的假設下是適用的，因此，在進行缺失數據處理時，首先需要認真分析缺失數 據產生的原因，然後採取有針對性的補救措施，這樣才能夠獲得無偏或弱偏估計。
此處關於使用多重插補來處理非隨機缺失（MNAR）的問題，它其實效果不一定，也可能出現效果倒退的情況，總的說多重更適合MAR
註：此處一元與多元指的是僅有一個特徵有缺失值與多個特徵有缺失值
對於不同類別的缺失值的處理方法如上圖。
以下展開介紹各個方法：
註： k-means插補 與KNN插補很相似，區別在於k-means是利用無缺失值的特徵來尋找最近的N個點，然後用這N個點的我們所需的缺失的特徵平均值來填充，而KNN則是先用均值填充缺失值再找最近的N個點。
類似的還有 隨機回歸插補 ：也優於純回歸插補
其他單一插補法：
與單一插補方法相比較，多重插補方法充分地考慮了數據的不確定性。多重插補的主要分為三個步驟，綜合起來即為：插補、分析、合並。插補步是為每個缺失值都構造出 m 個可能的插補值，缺失模型具有不確定性，這些插補值能體現出模型的這個性質，利用這些可能插補值對缺失值進行插補就得到了 m 個完整數據集。分析步是對插補後的 m 個完整數據集使用一樣的統計數據分析方法進行分析，同時得到 m 個統計結果。綜合步就是把得到的這 m 個統計結果綜合起來得到的分析結果，把這個分析結果作為缺失值的替代值。多重插補構造多個插補值主要是通過模擬的方式對估計量的分布進行推測，然後採用不同的模型對缺失值進行插補，這種插補是隨機抽取的方式，這樣以來能提高估計的有效性和可靠性。
多重插補-python手冊
多重插補法主要有以下幾種：
（使用回歸、貝葉斯、隨機森林、決策樹等模型對缺失數據進行預測。）
基於已有的其他欄位，將缺失欄位作為目標變數進行預測，從而得到較為可能的補全值。如果帶有缺失值的列是數值變數，採用回歸模型補全；如果是分類變數，則採用分類模型補全。
常見能夠自動處理缺失值模型包括：KNN、決策樹和隨機森林、神經網路和樸素貝葉斯、DBSCAN（基於密度的帶有雜訊的空間聚類）等。
處理思路：
自動插補 ：例如XGBoost會通過training loss rection來學習並找到最佳插補值。
忽略 ：缺失值不參與距離計算，例如：KNN，LightGBM
將缺失值作為分布的一種狀態 ：並參與到建模過程，例如：決策樹以及變體。
不基於距離做計算 ：因此基於值得距離計算本身的影響就消除了，例如：DBSCAN。
ID3、c4.5、cart、rf到底是如何處理缺失值的？
最精確的做法，把變數映射到高維空間。
比如性別，有男、女缺失三種情況，則映射成3個變數:是否男、否女、是否缺失。連續型變數也可以這樣處理。比如Google、 網路的CTR預估模型，預處理時會把所有變數都這樣處理，達到幾億維。又或者可根據每個值的頻數，將頻數較小的值歸為一類'other'，降低維度。此做法可最大化保留變數的信息。
前推法 （LOCF，Last Observation Carried Forward，將每個缺失值替換為缺失之前的最後一次觀測值）與 後推法 （NOCB，Next Observation Carried Backward，與LOCF方向相反——使用缺失值後面的觀測值進行填補）
這是分析可能缺少後續觀測值的縱向重復測量數據的常用方法。縱向數據在不同時間點跟蹤同一樣本。當數據具有明顯的趨勢時，這兩種方法都可能在分析中引入偏差，表現不佳。
線性插值 。此方法適用於具有某些趨勢但並非季節性數據的時間序列。
季節性調整+線性插值 。此方法適用於具有趨勢與季節性的數據。
總而言之，大部分數據挖掘的預處理都會使用比較方便的方法來處理缺失值，比如均值法，但是效果上並不一定好，因此還是需要根據不同的需要選擇合適的方法，並沒有一個解決所有問題的萬能方法。
具體的方法採用還需要考慮多個方面的：
在做數據預處理時，要多嘗試幾種填充方法，選擇表現最佳的即可。
總結來說，沒有一個最完美的策略，每個策略都會更適用於某些數據集和數據類型，但再另一些數據集上表現很差。雖然有一些規則能幫助你決定選用哪一種策略，但除此之外，你還應該嘗試不同的方法，來找到最適用於你的數據集的插補策略。
當前最流行的方法應該是 刪除法、KNN、多重插補法 。
參考文獻： 龐新生. 缺失數據處理方法的比較[J]. 統計與決策, 2010(24):152-155.
⑷ 數據挖掘的常用方法有哪些
1、決策樹法決策樹在解決歸類與預測上有著極強的能力，它以法則的方式表達，而這些法則則以一連串的問題表示出來，經由不斷詢問問題最終能導出所需的結果。典型的決策樹頂端是一個樹根，底部有許多的樹葉，它將紀錄分解成不同的子集，每個子集中的欄位可能都包含一個簡單的法則。此外，決策樹可能有著不同的外型，例如二元樹、三元樹或混和的決策樹型態。
2、神經網路法
神經網路法是模擬生物神經系統的結構和功能，是一種通過訓練來學習的非線性預測模型，它將每一個連接看作一個處理單元，試圖模擬人腦神經元的功能，可完成分類、聚類、特徵挖掘等多種數據挖掘任務。神經網路的學習方法主要表現在權值的修改上。其優點是具有抗干擾、非線性學習、聯想記憶功能，對復雜情況能得到精確的預測結果;缺點首先是不適合處理高維變數，不能觀察中間的學習過程，具有“黑箱”性，輸出結果也難以解釋;其次是需較長的學習時間。神經網路法主要應用於數據挖掘的聚類技術中。
3、關聯規則法
關聯規則是描述資料庫中數據項之間所存在的關系的規則，即根據一個事務中某些項的出現可導出另一些項在同一事務中也出現，即隱藏在數據間的關聯或相互關系。在客戶關系管理中，通過對企業的客戶資料庫里的大量數據進行挖掘，可以從大量的記錄中發現有趣的關聯關系，找出影響市場營銷效果的關鍵因素，為產品定位、定價與定製客戶群，客戶尋求、細分與保持，市場營銷與推銷，營銷風險評估和詐騙預測等決策支持提供參考依據。
4、遺傳演算法
遺傳演算法模擬了自然選擇和遺傳中發生的繁殖、交配和基因突變現象，是一種採用遺傳結合、遺傳交叉變異及自然選擇等操作來生成實現規則的、基於進化理論的機器學習方法。它的基本觀點是“適者生存”原理，具有隱含並行性、易於和其他模型結合等性質。主要的優點是可以處理許多數據類型，同時可以並行處理各種數據;缺點是需要的參數太多，編碼困難，一般計算量比較大。遺傳演算法常用於優化神經元網路，能夠解決其他技術難以解決的問題。
5、聚類分析法
聚類分析是把一組數據按照相似性和差異性分為幾個類別，其目的是使得屬於同一類別的數據間的相似性盡可能大，不同類別中的數據間的相似性盡可能小。根據定義可以把其分為四類：基於層次的聚類方法;分區聚類演算法;基於密度的聚類演算法;網格的聚類演算法。常用的經典聚類方法有K-mean，K-medoids，ISODATA等。
6、模糊集法
模糊集法是利用模糊集合理論對問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。模糊集合理論是用隸屬度來描述模糊事物的屬性。系統的復雜性越高，模糊性就越強。
7、web頁挖掘
通過對Web的挖掘，可以利用Web的海量數據進行分析，收集政治、經濟、政策、科技、金融、各種市場、競爭對手、供求信息、客戶等有關的信息，集中精力分析和處理那些對企業有重大或潛在重大影響的外部環境信息和內部經營信息，並根據分析結果找出企業管理過程中出現的各種問題和可能引起危機的先兆，對這些信息進行分析和處理，以便識別、分析、評價和管理危機。
8、邏輯回歸分析
反映的是事務資料庫中屬性值在時間上的特徵，產生一個將數據項映射到一個實值預測變數的函數，發現變數或屬性間的依賴關系，其主要研究問題包括數據序列的趨勢特徵、數據序列的預測以及數據間的相關關系等。
9、粗糙集法
是一種新的處理含糊、不精確、不完備問題的數學工具，可以處理數據約簡、數據相關性發現、數據意義的評估等問題。其優點是演算法簡單，在其處理過程中可以不需要關於數據的先驗知識，可以自動找出問題的內在規律;缺點是難以直接處理連續的屬性，須先進行屬性的離散化。因此，連續屬性的離散化問題是制約粗糙集理論實用化的難點。
10、連接分析
它是以關系為主體，由人與人、物與物或是人與物的關系發展出相當多的應用。例如電信服務業可藉連結分析收集到顧客使用電話的時間與頻率，進而推斷顧客使用偏好為何，提出有利於公司的方案。除了電信業之外，愈來愈多的營銷業者亦利用連結分析做有利於企業的研究。
⑸ 數據挖掘的方法有哪些
神經網路方法
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。
遺傳演算法
遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。
決策樹方法
決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。
粗集方法
粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點：不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單，易於操作。粗集處理的對象是類似二維關系表的信息表。
覆蓋正例排斥反例方法
它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去，相反則保留。按此思想循環所有正例種子，將得到正例的規則(選擇子的合取式)。
統計分析方法
在資料庫欄位項之間存在兩種關系：函數關系和相關關系，對它們的分析可採用統計學方法，即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。
模糊集方法
即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。
關於數據挖掘的方法有哪些，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。
⑹ 數據分析中缺失值的處理
數據缺失在許多研究領域都是一個復雜的問題，對數據挖掘來說，缺失值的存在，造成了以下影響：
1.系統丟失了大量的有用信息
2.系統中所表現出的不確定性更加顯著，系統中蘊涵的確定性成分更難把握
3.包含空值的數據會使挖掘過程陷入混亂，導致不可靠的輸出
數據挖掘演算法本身更致力於避免數據過分擬合所建的模型，這一特性使得它難以通過自身的演算法去很好地處理不完整數據。因此，缺失值需要通過專門的方法進行推導、填充等，以減少數據挖掘演算法與實際應用之間的差距。
1.列表顯示缺失值 mice包 md.pattern( )
2.圖形探究缺失值 VIM包
3.用相關性探索缺失值
1.人工填寫
由於最了解數據的還是用戶自己，因此這個方法產生數據偏離最小，可能是填充效果最好的一種。然而一般來說，該方法很費時，當數據規模很大、空值很多的時候，該方法是不可行的。
2.特殊值填充
將空值作為一種特殊的屬性值來處理，它不同於其他的任何屬性值。如所有的空值都用「unknown」填充。這樣將形成另一個有趣的概念，可能導致嚴重的數據偏離，一般不推薦使用。
3.平均值填充
將信息表中的屬性分為數值屬性和非數值屬性來分別進行處理。如果空值是數值型的，就根據該屬性在其他所有對象的取值的平均值來填充該缺失的屬性值；如果空值是非數值型的，就根據統計學中的眾數原理，用該屬性在其他所有對象的取值次數最多的值(即出現頻率最高的值)來補齊該缺失的屬性值。另外有一種與其相似的方法叫條件平均值填充法（Conditional Mean Completer）。在該方法中，缺失屬性值的補齊同樣是靠該屬性在其他對象中的取值求平均得到，但不同的是用於求平均的值並不是從信息表所有對象中取，而是從與該對象具有相同決策屬性值的對象中取得。這兩種數據的補齊方法，其基本的出發點都是一樣的，以最大概率可能的取值來補充缺失的屬性值，只是在具體方法上有一點不同。與其他方法相比，它是用現存數據的多數信息來推測缺失值。
4.熱卡填充
對於一個包含空值的對象，熱卡填充法在完整數據中找到一個與它最相似的對象，然後用這個相似對象的值來進行填充。不同的問題可能會選用不同的標准來對相似進行判定。該方法概念上很簡單，且利用了數據間的關系來進行空值估計。這個方法的缺點在於難以定義相似標准，主觀因素較多。
5.K最近距離鄰法
先根據歐式距離或相關分析來確定距離具有缺失數據樣本最近的K個樣本，將這K個值加權平均來估計該樣本的缺失數據。
同均值插補的方法都屬於單值插補，不同的是，它用層次聚類模型預測缺失變數的類型，再以該類型的均值插補。假設X=(X1,X2…Xp)為信息完全的變數，Y為存在缺失值的變數，那麼首先對X或其子集行聚類，然後按缺失個案所屬類來插補不同類的均值。如果在以後統計分析中還需以引入的解釋變數和Y做分析，那麼這種插補方法將在模型中引入自相關，給分析造成障礙。
6.使用所有可能的值填充
用空缺屬性值的所有可能的屬性取值來填充，能夠得到較好的補齊效果。但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大，可能的測試方案很多。
7.組合完整化方法
用空缺屬性值的所有可能的屬性取值來試，並從最終屬性的約簡結果中選擇最好的一個作為填補的屬性值。這是以約簡為目的的數據補齊方法，能夠得到好的約簡結果；但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大。
8.回歸
基於完整的數據集，建立回歸方程（模型）。對於包含空值的對象，將已知屬性值代入方程來估計未知屬性值，以此估計值來進行填充，當變數不是線性相關或預測變數高度相關時會導致有偏差的估計（SPSS菜單里有這種方法）
9.期望值最大化方法
EM演算法是一種在不完全數據情況下計算極大似然估計或者後驗分布的迭代演算法。在每一迭代循環過程中交替執行兩個步驟：E步（Excepctaion step,期望步），在給定完全數據和前一次迭代所得到的參數估計的情況下計算完全數據對應的對數似然函數的條件期望；M步（Maximzation step，極大化步），用極大化對數似然函數以確定參數的值，並用於下步的迭代。演算法在E步和M步之間不斷迭代直至收斂，即兩次迭代之間的參數變化小於一個預先給定的閾值時結束。該方法可能會陷入局部極值，收斂速度也不是很快，並且計算很復雜。（SPSS菜單里有這種方法）
10.1多重插補原理
多值插補的思想來源於貝葉斯估計，認為待插補的值是隨機的，它的值來自於已觀測到的值。具體實踐上通常是估計出待插補的值，然後再加上不同的雜訊，形成多組可選插補值。根據某種選擇依據，選取最合適的插補值。
10.2多重填補在SPSS中的實現
10.2.1缺失模式分析
分析>多重歸因>分析模式
10.2.2缺失值的多重填充
分析>多重歸因>歸因缺失數據值
10.2.3採用填充後的數據建模
10.3多重填補在R中的實現（基於mice包）
實例：
11.C4.5方法
通過尋找屬性間的關系來對遺失值填充。它尋找之間具有最大相關性的兩個屬性，其中沒有遺失值的一個稱為代理屬性，另一個稱為原始屬性，用代理屬性決定原始屬性中的遺失值。這種基於規則歸納的方法只能處理基數較小的名詞型屬性。
就幾種基於統計的方法而言，刪除元組法和平均值填充法差於熱卡填充法、期望值最大化方法和多重填充法；回歸是比較好的一種方法，但仍比不上熱卡填充和期望值最大化方法；期望值最大化方法缺少多重填補包含的不確定成分。值得注意的是，這些方法直接處理的是模型參數的估計而不是空缺值預測本身。它們合適於處理無監督學習的問題，而對有監督學習來說，情況就不盡相同了。譬如，你可以刪除包含空值的對象用完整的數據集來進行訓練，但預測時你卻不能忽略包含空值的對象。另外，C4.5和使用所有可能的值填充方法也有較好的補齊效果，人工填寫和特殊值填充則是一般不推薦使用的。
補齊處理只是將未知值補以我們的主觀估計值，不一定完全符合客觀事實，在對不完備信息進行補齊處理的同時，我們或多或少地改變了原始的信息系統。而且，對空值不正確的填充往往將新的雜訊引入數據中，使挖掘任務產生錯誤的結果。因此，在許多情況下，我們還是希望在保持原始信息不發生變化的前提下對信息系統進行處理。
直接在包含空值的數據上進行數據挖掘，這類方法包括貝葉斯網路和人工神經網路等。
貝葉斯網路是用來表示變數間連接概率的圖形模式，它提供了一種自然的表示因果信息的方法，用來發現數據間的潛在關系。在這個網路中，用節點表示變數，有向邊表示變數間的依賴關系。貝葉斯網路僅適合於對領域知識具有一定了解的情況，至少對變數間的依賴關系較清楚的情況。否則直接從數據中學習貝葉斯網的結構不但復雜性較高（隨著變數的增加，指數級增加），網路維護代價昂貴，而且它的估計參數較多，為系統帶來了高方差，影響了它的預測精度。當在任何一個對象中的缺失值數量很大時，存在指數爆炸的危險。人工神經網路可以有效的對付空值，但人工神經網路在這方面的研究還有待進一步深入展開。人工神經網路方法在數據挖掘應用中的局限性。
多數統計方法都假設輸入數據是完整的且不包含缺失值，但現實生活中大多數數據集都包含了缺失值。因此，在進行下一步分析前，你要麼刪除，要麼用合理的數值代理它們，SPSS、R、Python、SAS等統計軟體都會提供一些默認的處理缺失值方法，但這些方法可能不是最優的，因此，學習各種各樣的方法和他們的分支就顯得非常重要。Little和Rubin的《Sstatistical Analysis With Missing Data 》是缺失值領域里經典的讀本，值得一看。