如何剔除測量中的異常數據

Ⅰ 用什麼方法剔除不合理調查數據

剔除異常數據的方法有4d法、X士25法等。應用這些方法都有一定的條件,如樣本數據須來自正態總體(若來自對數正態總體,數據轉換成對數),且須是小樣本。當樣本容量較大時,用這些方法來剔除異常數據就不合理,不妥當。 以樣本容量為 100,用X士25法剔除異常數據為例。此法是這樣進行的:求出樣本的平均值X和標准差S,然後將樣本中落在(X士25)范圍外〔主〕的數據作為異常數據而剔除。 倘若樣本中只有一個數據(或數據不多,即是小樣本),這個方法是確實可行實的。因為在一次觀察中,得到一個數據,其值落在(X士25)范圍外,這意味著發生了小概率事件。根據統計學上的「小概率事件在一次試驗中實際上不可能出現」的原理,從而認為此數據不是來自我們所研究的總體,而是來自污染土壤的總體,因而是異常數據而加以剔除。 如果樣本中有100個數據,在這100個數據中出現落在(X士25)范圍外的數據就不是小概率事件了。它的概率可如下計算〔2〕:率事件,把樣本中落在(X士

Ⅱ 工程測量時，如何用格拉布斯准則剔除異常值

在做測量不確定度的評定時，對於測量結果進行數據處理之前，往往要進行異常值的剔除工作。超出在規定條件下預期的誤差叫做異常值。產生異常值的原因一般是由於疏忽、失誤或突然發生的不該發生的原因造成的，如讀錯、記錯、儀器示值突然跳動、突然震動、操作失誤等。所以必須在計算測量結果及不確定度評定中要考慮異常值的判別和剔除。
異常值的判別方法也叫異常值檢驗法，即：判斷異常值的統計檢驗法。其方法有很多種，例如格拉布斯法、狄克遜法、偏度-峰度法、拉依達法、奈爾法等等。每種方法都有其適用范圍和優缺點。每種統計檢驗法都會犯錯誤1和錯誤2。但是有人做過統計，在所有方法中，格拉布斯法犯這兩種錯誤的概率最小，所以本文介紹如何使用格拉布斯法來剔除異常值，其判別步驟如下：
1、假設現在有一組測量數據為：例如測量10次(n＝10)，獲得以下數據：8.2、5.4、14.0、7.3、4.7、9.0、6.5、10.1、7.7、6.0。
2、排列數據：將上述測量數據按從小到大的順序排列，得到4.7、5.4、6.0、6.5、7.3、7.7、8.2、9.0、10.1、14.0。可以肯定，可疑值不是最小值就是最大值。
3、計算平均值x-和標准差s：x-＝7.89；標准差s＝2.704。計算時，必須將所有10個數據全部包含在內。
4、計算偏離值：平均值與最小值之差為7.89－4.7＝3.19；最大值與平均值之差為14.0－7.89＝6.11。
5、確定一個可疑值：比較起來，最大值與平均值之差6.11大於平均值與最小值之差3.19，因此認為最大值14.0是可疑值。
6、計算Gi值：Gi＝(xi－x- )/s；其中i是可疑值的排列序號——10號；因此G10＝( x10－x- )/s＝(14.0－7.89)/2.704＝2.260。由於 x10－x-是殘差，而s是標准差，因而可認為G10是殘差與標准差的比值。下面要把計算值Gi與格拉布斯表給出的臨界值GP(n)比較，如果計算的Gi值大於表中的臨界值GP(n)，則能判斷該測量數據是異常值，可以剔除。但是要提醒，臨界值GP(n)與兩個參數有關：檢出水平α (與置信概率P有關)和測量次數n (與自由度f有關)。
7、定檢出水平α：如果要求嚴格，檢出水平α可以定得小一些，例如定α＝0.01，那麼置信概率P＝1－α＝0.99；如果要求不嚴格，α可以定得大一些，例如定α＝0.10，即P＝0.90；通常定α＝0.05，P＝0.95。
8、查格拉布斯表獲得臨界值：根據選定的P值(此處為0.95)和測量次數n(此處為10)，查格拉布斯表，橫豎相交得臨界值G95(10)＝2.176。
9、比較計算值Gi和臨界值G95(10)：Gi＝2.260，G95(10)＝2.176，Gi＞G95(10)。
10、判斷是否為異常值：因為Gi＞G95(10)，可以判斷測量值14.0為異常值，將它從10個測量數據中剔除。
11、餘下數據考慮：剩餘的9個數據再按以上步驟計算，如果計算的Gi＞G95(9)，仍然是異常值，剔除；如果Gi＜G95(9)，不是異常值，則不剔除。本例餘下的9個數據中沒有異常值。

Ⅲ excel 去除異常值怎麼做

步驟1：打開EXCEL，按表2格式輸入數據並建立工作表，其中數據個數為13。
步驟2：通過EXCEL提供的MAX函數、MIN函數、MEDIAN函數、STDEV函數，求出數據的最大值、最小值、中位數、標准差。具體求法如下：

取單元格C2，鍵入公式：=MAX(A2:A14)，確認即求得最大值為0.691。

maxx2、取單元格C3，鍵入公式：=MIN(A2:A14)，確認即求得最小值為0.527。

minx3、取單元格C4，鍵入公式：=MEDIAN (A2:A14)，確認即求得中位數為0.556； eM4、取單元格C5，鍵入公式：=STDEV (A2:A13)，確認即求得標准差為0.048。

異常數據的識別與剔除。

因為為2.787大於臨界值的2.33，而為0.598小於臨界值的2.33，則當取顯著性水平maxG)05.0,13(GminG)05.0,13(Gα為0.05（置信度為95%）時。

對應的最大值0.691數據（位於表2中的A列第7行），從統計學觀點來看應視為異常數據，應給予剔除。

望採納，謝謝！

Ⅳ 在spss中如何挑剔除異常值，主要是不知道如何操作，請高人指點

可以在數據菜單中把異常個案標先出來，步驟是：數據——》標志異常個案，個案識別變數可以取數據集中取值不同的變數。之後SPSS會自動把所有異常個案的值以及為什麼是異常值標出來，如果你要剔除再手動即可

Ⅳ 如何剔除數據中的異常值

剔除數據中的異常值的方法：

箱盒圖：實驗研究時經常使用，非常直觀的展示出異常數據。

散點圖：研究X和Y的關系時，可直觀展示查看是否有異常數據。

描述分析：可通過最大最小值等各類指標大致判斷數據是否有異常。

其它：比如結合正態分布圖，頻數分析等判斷是否有異常值。

定義：

異常值outlier：一組測定值中與平均值的偏差超過兩倍標准差的測定值 。與平均值的偏差超過三倍標准差的測定值，稱為高度異常的異常值。在處理數據時，應剔除高度異常的異常值。異常值是否剔除，視具體情況而定。

在統計檢驗時，指定為檢出異常值的顯著性水平α=0.05，稱為檢出水平；指定為檢出高度異常的異常值的顯著性水平α=0.01，稱為舍棄水平，又稱剔除水平(reject level)。

Ⅵ 異常數據剔除

Hough 變換擬合直線，不過這個是數字圖像處理裡面比較專業的知識。怕是...

我可以編寫程序，來幫你處理該問題，有興趣可以找我

補充： 我想知道LZ想做什麼，簡單方法是這樣做：

1。對於線性數列，求出所有相鄰兩樹差，得到一個新的數列，然後統計新數列的眾數（就是出現最多的那個）得到線性數列的公差。
2。然後假設第一個個數是非異常數字。
3。假設數據不斷加公差，看看絕大大多數是不是在原線性數列中，分情況：
4。若是 ： 則第一個數以及第一個數+公差與原數列相同的元素均為非異常數據，其他則為異常數據。
5。若不是：則第一個數為異常數列，在假設第2個非異常數據，返回到第3步。一直找到滿足條的的數。

注 ： 異常數據畢竟是少數，計算次數與線性數列內元素個數正相關。假設個數為n
最小計算次數；2*n
最大計算次數：n*(n-1)
理論平均： n*log(n)

在補充 ：

實驗數據其實一般用圖表，把所有元素對應點放在一張圖上，找直線，使最多點落在直線上，不在直線上的數據去掉就可以了

Ⅶ 如何用統計方法去除一組數中的異常值

可以選擇以下方法。用線性回歸的辦法求得某一點到直線最遠，去除這一點即可。異常值也稱離群值,具體地說,判斷標准依據實際情況,根據業務知識及實際需要而定。

要是一般地說,可以用公式計算：

upper adjacent value = 75th percentile + (75th percentile – 25th percentile) * 1.5。

lower adjacent value = 25th percentile – (75th percentile – 25th percentile) * 1.5。

(7)如何剔除測量中的異常數據擴展閱讀：

計算統計量：

μ=(X1+X2+…+Xn)/n。

s=(∑(Xi-μ)/(n-1))½(i=1,2…n)。

Gn=(X(n)-μ)/s。

式中μ——樣本平均值；

s——樣本標准差；

Gn——格拉布斯檢驗統計量。

確定檢出水平α，查表（見GB4883）得出對應n，α的格拉布斯檢驗臨界值G1-α(n)。當Gn>G1-α(n),則判斷Xn為異常值，否則無異常值。給出剔除水平α』的G1-α』(n),當當Gn>G1-α』(n)時,Xn為高度異常值，應剔除。

Ⅷ 如何剔除數據中的異常值

剔除數據中的異常值的方法：

一、異常值檢測

異常值的檢驗有很多種方法，最常見的是圖示法，也有使用分析方法進行探索。

箱盒圖：實驗研究時經常使用，非常直觀的展示出異常數據。

散點圖：研究X和Y的關系時，可直觀展示查看是否有異常數據。

描述分析：可通過最大最小值等各類指標大致判斷數據是否有異常。

其它：比如結合正態分布圖，頻數分析等判斷是否有異常值。

二、異常值判定

上述已經說明異常值會帶來嚴重的影響，扭曲數據結論等。那麼首先需要設定異常值的標准，然後再對其進行處理。異常值的判定標准並不統一，更多是通過人為標准進行設定，SPSSAU提供以下幾類判定規則：

1、設置為Null值；此類處理最簡單，而且絕大多數情況下均使用此類處理；直接將異常值「幹掉」，相當於沒有該異常值。如果異常值不多時建議使用此類方法。

2、填補；如果異常值非常多時，則可能需要進行填補設置，SPSSAU共提供平均值，中位數，眾數和隨機數共四種填補方式。建議使用平均值填補方式。

Ⅸ 用碼表測的一組數據，怎麼剔除異常值 用excel做正態分布是不是做直方圖怎麼確定做出來的直方圖是

excel有個數據分析工具，裡面可以做直方圖，但是正態分布圖不能直接做。
若要兩種圖都顯示，那麼就需要用到函數了。
方法如下：
假若你的數據在A1:A10
1.統計數據個數；任意選個單元格，如B1，輸入count(A1:A10)；
2.求最大值；如B2中輸入：max(A1:A10)
3.求最小值；如B3中輸入：min(A1:A10)
4.求平均值；如B4中輸入：average(A1:A10)
5.求標准偏差：如B5中輸入：stdev(A1:A10)
6.獲得數據區間；用最大值減最小值；如B6中輸入：B3-B2
7.獲得直方圖個數；個數的開放加1，如B7中輸入：sqrt（B1）+1
8.獲得直方圖組距；用區間除以(直方圖個數-1)，如B8中輸入B7/(B7-1)

下面就開始作圖了：
1.任選個空單元格：如C列第一個單元格C1，令C1等於最小值，即輸入=B3
2.在C2中輸入=C1+$B$8 (最小值逐漸累加，絕對引用)
3.選中C2，然後向下拉，直到數據大於最大值就可以了；比如你拉到C5了。
4.統計頻數，如在D1中輸入frequency（A1:A10，C1:C5）確定，然後將選中D1到D5，將游標定位到公式欄，同時按住ALT+Shift+Enter
5.統計正態分布的數據，E1中輸入normdist（C1，$B$4,$B$5,0）回車；然後選中E1，下拉到E5

這樣數據都准備好了，剩下來就可用這些數據畫出圖形

Ⅹ 剔除「異常值」的一般原則是啥

異常值（outlier）是指一組測定值中與平均值的偏差超過兩倍標准差的測定值，與平均值的偏差超過三倍標准差的測定值，稱為高度異常的異常值。異常值outlier：一組測定值中與平均值的偏差超過兩倍標准差的測定值。與平均值的偏差超過三倍標准差的測定值，稱為高度異常的異常值。在處理數據時，應剔除高度異常的異常值。異常值是否剔除，視具體情況而定。在統計檢驗時，指定為檢出異常值的顯著性水平α=0.05，稱為檢出水平；指定為檢出高度異常的異常值的顯著性水平α=0.01，稱為舍棄水平，又稱剔除水平(reject level)。異常值是指一組測定值中與平均值的偏差超過兩倍標准差的測定值。與平均值的偏差超過三倍標准差的測定值，稱為高度異常的異常值。在處理數據時，應剔除高度異常的異常值。異常值是否剔除，視具體情況而定。在統計檢驗時，指定為檢出異常值的顯著性水平α=0.05，稱為檢出水平；指定為檢出高度異常的異常值的顯著性水平α=0.01，稱為舍棄水平，又稱剔除水平(reject level)。標准化數值（Z-score）可用來幫助識別異常值。Z分數標准化後的數據服從正態分布。因此，應用Z分數可識別異常值。我們建議將Z分數低於-3或高於3的數據看成是異常值。這些數據的准確性要復查，以決定它是否屬於該數據集。肖維勒准則法（

Chauvenet）：經典方法，改善了拉依達准則，過去應用較多，但它沒有固定的概率意義，特別是當測量數據值n無窮大時失效。