如何剔除测量中的异常数据

Ⅰ 用什么方法剔除不合理调查数据

剔除异常数据的方法有4d法、X士25法等。应用这些方法都有一定的条件,如样本数据须来自正态总体(若来自对数正态总体,数据转换成对数),且须是小样本。当样本容量较大时,用这些方法来剔除异常数据就不合理,不妥当。 以样本容量为 100,用X士25法剔除异常数据为例。此法是这样进行的:求出样本的平均值X和标准差S,然后将样本中落在(X士25)范围外〔主〕的数据作为异常数据而剔除。 倘若样本中只有一个数据(或数据不多,即是小样本),这个方法是确实可行实的。因为在一次观察中,得到一个数据,其值落在(X士25)范围外,这意味着发生了小概率事件。根据统计学上的“小概率事件在一次试验中实际上不可能出现”的原理,从而认为此数据不是来自我们所研究的总体,而是来自污染土壤的总体,因而是异常数据而加以剔除。 如果样本中有100个数据,在这100个数据中出现落在(X士25)范围外的数据就不是小概率事件了。它的概率可如下计算〔2〕:率事件,把样本中落在(X士

Ⅱ 工程测量时，如何用格拉布斯准则剔除异常值

在做测量不确定度的评定时，对于测量结果进行数据处理之前，往往要进行异常值的剔除工作。超出在规定条件下预期的误差叫做异常值。产生异常值的原因一般是由于疏忽、失误或突然发生的不该发生的原因造成的，如读错、记错、仪器示值突然跳动、突然震动、操作失误等。所以必须在计算测量结果及不确定度评定中要考虑异常值的判别和剔除。
异常值的判别方法也叫异常值检验法，即：判断异常值的统计检验法。其方法有很多种，例如格拉布斯法、狄克逊法、偏度-峰度法、拉依达法、奈尔法等等。每种方法都有其适用范围和优缺点。每种统计检验法都会犯错误1和错误2。但是有人做过统计，在所有方法中，格拉布斯法犯这两种错误的概率最小，所以本文介绍如何使用格拉布斯法来剔除异常值，其判别步骤如下：
1、假设现在有一组测量数据为：例如测量10次(n＝10)，获得以下数据：8.2、5.4、14.0、7.3、4.7、9.0、6.5、10.1、7.7、6.0。
2、排列数据：将上述测量数据按从小到大的顺序排列，得到4.7、5.4、6.0、6.5、7.3、7.7、8.2、9.0、10.1、14.0。可以肯定，可疑值不是最小值就是最大值。
3、计算平均值x-和标准差s：x-＝7.89；标准差s＝2.704。计算时，必须将所有10个数据全部包含在内。
4、计算偏离值：平均值与最小值之差为7.89－4.7＝3.19；最大值与平均值之差为14.0－7.89＝6.11。
5、确定一个可疑值：比较起来，最大值与平均值之差6.11大于平均值与最小值之差3.19，因此认为最大值14.0是可疑值。
6、计算Gi值：Gi＝(xi－x- )/s；其中i是可疑值的排列序号——10号；因此G10＝( x10－x- )/s＝(14.0－7.89)/2.704＝2.260。由于 x10－x-是残差，而s是标准差，因而可认为G10是残差与标准差的比值。下面要把计算值Gi与格拉布斯表给出的临界值GP(n)比较，如果计算的Gi值大于表中的临界值GP(n)，则能判断该测量数据是异常值，可以剔除。但是要提醒，临界值GP(n)与两个参数有关：检出水平α (与置信概率P有关)和测量次数n (与自由度f有关)。
7、定检出水平α：如果要求严格，检出水平α可以定得小一些，例如定α＝0.01，那么置信概率P＝1－α＝0.99；如果要求不严格，α可以定得大一些，例如定α＝0.10，即P＝0.90；通常定α＝0.05，P＝0.95。
8、查格拉布斯表获得临界值：根据选定的P值(此处为0.95)和测量次数n(此处为10)，查格拉布斯表，横竖相交得临界值G95(10)＝2.176。
9、比较计算值Gi和临界值G95(10)：Gi＝2.260，G95(10)＝2.176，Gi＞G95(10)。
10、判断是否为异常值：因为Gi＞G95(10)，可以判断测量值14.0为异常值，将它从10个测量数据中剔除。
11、余下数据考虑：剩余的9个数据再按以上步骤计算，如果计算的Gi＞G95(9)，仍然是异常值，剔除；如果Gi＜G95(9)，不是异常值，则不剔除。本例余下的9个数据中没有异常值。

Ⅲ excel 去除异常值怎么做

步骤1：打开EXCEL，按表2格式输入数据并建立工作表，其中数据个数为13。
步骤2：通过EXCEL提供的MAX函数、MIN函数、MEDIAN函数、STDEV函数，求出数据的最大值、最小值、中位数、标准差。具体求法如下：

取单元格C2，键入公式：=MAX(A2:A14)，确认即求得最大值为0.691。

maxx2、取单元格C3，键入公式：=MIN(A2:A14)，确认即求得最小值为0.527。

minx3、取单元格C4，键入公式：=MEDIAN (A2:A14)，确认即求得中位数为0.556； eM4、取单元格C5，键入公式：=STDEV (A2:A13)，确认即求得标准差为0.048。

异常数据的识别与剔除。

因为为2.787大于临界值的2.33，而为0.598小于临界值的2.33，则当取显着性水平maxG)05.0,13(GminG)05.0,13(Gα为0.05（置信度为95%）时。

对应的最大值0.691数据（位于表2中的A列第7行），从统计学观点来看应视为异常数据，应给予剔除。

望采纳，谢谢！

Ⅳ 在spss中如何挑剔除异常值，主要是不知道如何操作，请高人指点

可以在数据菜单中把异常个案标先出来，步骤是：数据——》标志异常个案，个案识别变量可以取数据集中取值不同的变量。之后SPSS会自动把所有异常个案的值以及为什么是异常值标出来，如果你要剔除再手动即可

Ⅳ 如何剔除数据中的异常值

剔除数据中的异常值的方法：

箱盒图：实验研究时经常使用，非常直观的展示出异常数据。

散点图：研究X和Y的关系时，可直观展示查看是否有异常数据。

描述分析：可通过最大最小值等各类指标大致判断数据是否有异常。

其它：比如结合正态分布图，频数分析等判断是否有异常值。

定义：

异常值outlier：一组测定值中与平均值的偏差超过两倍标准差的测定值 。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。

在统计检验时，指定为检出异常值的显着性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显着性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。

Ⅵ 异常数据剔除

Hough 变换拟合直线，不过这个是数字图像处理里面比较专业的知识。怕是...

我可以编写程序，来帮你处理该问题，有兴趣可以找我

补充： 我想知道LZ想做什么，简单方法是这样做：

1。对于线性数列，求出所有相邻两树差，得到一个新的数列，然后统计新数列的众数（就是出现最多的那个）得到线性数列的公差。
2。然后假设第一个个数是非异常数字。
3。假设数据不断加公差，看看绝大大多数是不是在原线性数列中，分情况：
4。若是 ： 则第一个数以及第一个数+公差与原数列相同的元素均为非异常数据，其他则为异常数据。
5。若不是：则第一个数为异常数列，在假设第2个非异常数据，返回到第3步。一直找到满足条的的数。

注 ： 异常数据毕竟是少数，计算次数与线性数列内元素个数正相关。假设个数为n
最小计算次数；2*n
最大计算次数：n*(n-1)
理论平均： n*log(n)

在补充 ：

实验数据其实一般用图表，把所有元素对应点放在一张图上，找直线，使最多点落在直线上，不在直线上的数据去掉就可以了

Ⅶ 如何用统计方法去除一组数中的异常值

可以选择以下方法。用线性回归的办法求得某一点到直线最远，去除这一点即可。异常值也称离群值,具体地说,判断标准依据实际情况,根据业务知识及实际需要而定。

要是一般地说,可以用公式计算：

upper adjacent value = 75th percentile + (75th percentile – 25th percentile) * 1.5。

lower adjacent value = 25th percentile – (75th percentile – 25th percentile) * 1.5。

(7)如何剔除测量中的异常数据扩展阅读：

计算统计量：

μ=(X1+X2+…+Xn)/n。

s=(∑(Xi-μ)/(n-1))½(i=1,2…n)。

Gn=(X(n)-μ)/s。

式中μ——样本平均值；

s——样本标准差；

Gn——格拉布斯检验统计量。

确定检出水平α，查表（见GB4883）得出对应n，α的格拉布斯检验临界值G1-α(n)。当Gn>G1-α(n),则判断Xn为异常值，否则无异常值。给出剔除水平α’的G1-α’(n),当当Gn>G1-α’(n)时,Xn为高度异常值，应剔除。

Ⅷ 如何剔除数据中的异常值

剔除数据中的异常值的方法：

一、异常值检测

异常值的检验有很多种方法，最常见的是图示法，也有使用分析方法进行探索。

箱盒图：实验研究时经常使用，非常直观的展示出异常数据。

散点图：研究X和Y的关系时，可直观展示查看是否有异常数据。

描述分析：可通过最大最小值等各类指标大致判断数据是否有异常。

其它：比如结合正态分布图，频数分析等判断是否有异常值。

二、异常值判定

上述已经说明异常值会带来严重的影响，扭曲数据结论等。那么首先需要设定异常值的标准，然后再对其进行处理。异常值的判定标准并不统一，更多是通过人为标准进行设定，SPSSAU提供以下几类判定规则：

1、设置为Null值；此类处理最简单，而且绝大多数情况下均使用此类处理；直接将异常值“干掉”，相当于没有该异常值。如果异常值不多时建议使用此类方法。

2、填补；如果异常值非常多时，则可能需要进行填补设置，SPSSAU共提供平均值，中位数，众数和随机数共四种填补方式。建议使用平均值填补方式。

Ⅸ 用码表测的一组数据，怎么剔除异常值 用excel做正态分布是不是做直方图怎么确定做出来的直方图是

excel有个数据分析工具，里面可以做直方图，但是正态分布图不能直接做。
若要两种图都显示，那么就需要用到函数了。
方法如下：
假若你的数据在A1:A10
1.统计数据个数；任意选个单元格，如B1，输入count(A1:A10)；
2.求最大值；如B2中输入：max(A1:A10)
3.求最小值；如B3中输入：min(A1:A10)
4.求平均值；如B4中输入：average(A1:A10)
5.求标准偏差：如B5中输入：stdev(A1:A10)
6.获得数据区间；用最大值减最小值；如B6中输入：B3-B2
7.获得直方图个数；个数的开放加1，如B7中输入：sqrt（B1）+1
8.获得直方图组距；用区间除以(直方图个数-1)，如B8中输入B7/(B7-1)

下面就开始作图了：
1.任选个空单元格：如C列第一个单元格C1，令C1等于最小值，即输入=B3
2.在C2中输入=C1+$B$8 (最小值逐渐累加，绝对引用)
3.选中C2，然后向下拉，直到数据大于最大值就可以了；比如你拉到C5了。
4.统计频数，如在D1中输入frequency（A1:A10，C1:C5）确定，然后将选中D1到D5，将光标定位到公式栏，同时按住ALT+Shift+Enter
5.统计正态分布的数据，E1中输入normdist（C1，$B$4,$B$5,0）回车；然后选中E1，下拉到E5

这样数据都准备好了，剩下来就可用这些数据画出图形

Ⅹ 剔除“异常值”的一般原则是啥

异常值（outlier）是指一组测定值中与平均值的偏差超过两倍标准差的测定值，与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。异常值outlier：一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。在统计检验时，指定为检出异常值的显着性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显着性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。在统计检验时，指定为检出异常值的显着性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显着性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。标准化数值（Z-score）可用来帮助识别异常值。Z分数标准化后的数据服从正态分布。因此，应用Z分数可识别异常值。我们建议将Z分数低于-3或高于3的数据看成是异常值。这些数据的准确性要复查，以决定它是否属于该数据集。肖维勒准则法（

Chauvenet）：经典方法，改善了拉依达准则，过去应用较多，但它没有固定的概率意义，特别是当测量数据值n无穷大时失效。