数据建模如何处理无效值

㈠ 数学建模数据缺失怎么处理

数学建模数据缺失的处理也就是缺失值的处理，有以下的方法：

缺失太多，直接删除指标。

例如调查人口信息，发现“年龄”这一项缺失了40%，就直接把该项指标删除。后面做题时也压根不用管这一个变量。

因为当一个变量缺失的数据太多时，即使想办法补上，也可能与实际情况相差甚远，那么这些数据也就没什么价值了。

那么，到底缺多少算“多”呢？这并没有一个硬性的规定，显然要是缺了30%，40%那肯定是多了。而如果调查14亿人的数据中缺少了几千甚至几万，都不算多。所以要具体问题具体分析。

适用赛题：缺失数据“过多”的变量。

用均值、众数补上。

所谓均值就是平均数，众数就是出现次数最多的值。

定量数据，例如关于一群人的身高、年龄等数据，那么用整体的均值放到缺失数据的位置；

定性数据，例如关于一群人的性别、文化程度、某些事件调查的满意度，用出现次数最多的值也就是众数补缺失。

适用赛题：人口的数量年龄、经济产业情况等数据量大、且对个体精度要求不大的数据。

Newton插值法。

简单来说，牛顿插值法就是根据固定公式，构造近似函数，用近似函数的值来补上缺失值。

缺点：区间边缘处的不稳定震荡，即龙格现象。形象的来说就是插值次数高的时候，区间内函数看起来挺正常，但在区间边缘处却变得忽上忽下。

由于龙格现象，牛顿插值法不适合对导数有要求的题目。

㈡ 怎么处理缺失值/异常值

https://www.hu.com/question/58230411?sort=created
https://blog.csdn.net/Forlogen/article/details/89534235

（1）随机丢失（MAR，Missing at Random）（数据丢失的概率与丢失的数据本身无关，而依赖于其他完全变量（无缺失变量））

随机丢失意味着数据丢失的概率与丢失的数据本身无关，而仅与部分已观测到的数据有关。也就是说，数据的缺失不是完全随机的，该类数据的缺失依赖于其他完全变量。

（2）完全随机丢失（MCAR，Missing Completely at Random）（数据缺失完全随机事件，无依赖关系）

数据的缺失是完全随机的，不依赖于任何不完全变量或完全变量，不影响样本的无偏性。简单来说，就是数据丢失的概率与其假设值以及其他变量值都完全无关。

（3）非随机丢失（MNAR，Missing not at Random）

数据的缺失与不完全变量自身的取值有关。分为两种情况：缺失值取决于其假设值（例如，高收入人群通常不希望在调查中透露他们的收入）；或者，缺失值取决于其他变量值（假设基础数据很正常，也无临床症状，医生可能就觉得无需进一步检查，所以会有数据缺失）。

在前两种情况下可以根据其出现情况删除缺失值的数据，同时，随机缺失可以通过已知变量对缺失值进行估计。

在第三种情况下，删除包含缺失值的数据可能会导致模型出现偏差，同时，对数据进行填充也需要格外谨慎。

如果一个病人的体温测量值是有时缺失的，其原因是医生觉得病得太重的病人不需要量体温，那这个缺失显然不是MAR或者MCAR的。对于离散型特征，如果将特征中的缺失值单独编码成一个独立的类别（比如missing），而这个missing类别训练出来后对response有预测作用，那么这个特征中的缺失行为基本不是MAR或者MCAR的。

（1）generative methods：这些方法主要依赖于EM算法和深度学习，如DAE、GAN等
（2）discriminative methods：如MICE、MissForest、matrix completion等

目前的生成式填补算法存在着一些缺点，它们是以一种基于对数据分布的先验假设的方法，当数据中含有混合类别和连续变量时，它的泛化能力就会很差。DAE在一定程度上解决了这个问题，但是它在训练的过程中需要完整的数据集，在很多情况下，缺失的数据部分在一定程度上反映了完整数据集的内在结构信息，所以获取到完整的数据集是不太可能的。DAE的另一种方法允许使用不完整的数据集进行训练，但是它只能根据观察到的部分来表示数据。而使用DCGANs来完成图像填补的算法，同样需要完整的数据集来训练判别器。

难点：如果其他变量和缺失变量无关，则预测的结果无意义。如果预测结果相当准确，则又说明这个变量是没必要加入建模的。一般情况下，介于两者之间。

方法 0（最简单粗暴）：在构建模型时忽略异常值。 如果缺失数据量少的话

方法1（快速简单但效果差）：把数值型（连续型）变量中的缺失值用其所对应的类别中的中位数替换。把描述型（离散型）变量缺失的部分用所对应类别中出现最多的数值替代。

方法2(耗时费力但效果好)：虽然依然是使用中位数和出现次数最多的数来进行替换，方法2引入了权重。即对需要替换的数据先和其他数据做相似度测量也就是下面公式中的Weight，在补全缺失点是相似的点的数据会有更高的权重W。

方法3 （类xgboost）：把缺失值当做稀疏矩阵来对待，本身的在节点分裂时不考虑的缺失值的数值。缺失值数据会被分到左子树和右子树分别计算损失，选择较优的那一个。如果训练中没有数据缺失，预测时出现了数据缺失，那么默认被分类到右子树。这样的处理方法固然巧妙，但也有风险：即我们假设了训练数据和预测数据的分布相同，比如缺失值的分布也相同，不过直觉上应该影响不是很大:)

方法4 （回归）：基于完整的数据集，建立回归方程。对于包含空值的对象，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充。当变量不是线性相关时会导致有偏差的估计。

方法5 （Kmeans）先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。

方法6 （离散化）为缺失值定制一个特征值比如，男/女/缺失 分别对应[0/1,0/1,0/1]=>[0,0,1] 这种onehot编码，特征离散化后加入计算。

方法1（AutoEncoder系列）：在训练的时候使用0作为缺失值，相当于不激活边，在输出的时候不论输出了什么都强行置为0，防止反向传播的时候影响到边的权重。

方法2 GAN（GAIN），目前的SOTA

方法1（MissForest）：对于一个有n个特征的数据来说，其中特征T有缺失值，我们就把特征T当作标签，其他的n-1个特征和原本的标签组成新的特征矩阵。那对于T来说，它没有缺失的部分，就是我们的Y_test，这部分数据既有标签也有特征，而它缺失的部分，只有特征没有标签，就是我们需要预测的部分。

那如果数据中除了特征T之外，其他特征也有缺失值怎么办？答案是遍历所有的特征，从缺失最少的开始进行填补（因为填补缺失最少的特征所需要的准确信息最少）。

填补一个特征时，先将其他特征的缺失值若为连续型值可用中位数、平均数代替，离散可用众数代替，每完成一次回归预测，就将预测值放到原本的特征矩阵中，再继续填补下一个特征。每一次填补完毕，有缺失值的特征会减少一个，所以每次循环后，需要用0来填补的特征就越来越少。当进行到最后一个特征时（这个特征应该是所有特征中缺失值最多的），已经没有任何的其他特征需要用0来进行填补了，而我们已经使用回归为其他特征填补了大量有效信息，可以用来填补缺失最多的特征。

方法2（matrix factorization）：矩阵分解

然后梯度下降一把梭

“年收入”：商品推荐场景下填充平均值，借贷额度场景下填充最小值；
“行为时间点”：填充众数；
“价格”：商品推荐场景下填充最小值，商品匹配场景下填充平均值；
“人体寿命”：保险费用估计场景下填充最大值，人口估计场景下填充平均值；
“驾龄”：没有填写这一项的用户可能是没有车，为它填充为0较为合理；
”本科毕业时间”：没有填写这一项的用户可能是没有上大学，为它填充正无穷比较合理；
“婚姻状态”：没有填写这一项的用户可能对自己的隐私比较敏感，应单独设为一个分类，如已婚1、未婚0、未填-1。

主流的机器学习模型千千万，很难一概而论。但有一些经验法则(rule of thumb)供参考：
1）树模型对于缺失值的敏感度较低，大部分时候可以在数据有缺失时使用。
2）涉及到距离度量(distance measurement)时，如计算两个点之间的距离，缺失数据就变得比较重要。因为涉及到“距离”这个概念，那么缺失值处理不当就会导致效果很差，如K近邻算法(KNN)和支持向量机(SVM)。
3）线性模型的代价函数(loss function)往往涉及到距离(distance)的计算，计算预测值和真实值之间的差别，这容易导致对缺失值敏感。
4）神经网络的鲁棒性强，对于缺失数据不是非常敏感，但一般没有那么多数据可供使用。
5）贝叶斯模型对于缺失数据也比较稳定，数据量很小的时候首推贝叶斯模型。

总结来看，对于有缺失值的数据在经过缺失值处理后：

㈢ ​一文看懂数据清洗：缺失值、异常值和重复值的处理

作者：宋天龙

如需转载请联系华章 科技

数据缺失分为两种：一种是 行记录的缺失 ，这种情况又称数据记录丢失；另一种是 数据列值的缺失 ，即由于各种原因导致的数据记录中某些列的值空缺。

不同的数据存储和环境中对于缺失值的表示结果也不同，例如，数据库中是Null，Python返回对象是None，Pandas或Numpy中是NaN。

在极少数情况下，部分缺失值也会使用空字符串来代替，但空字符串绝对不同于缺失值。从对象的实体来看，空字符串是有实体的，实体为字符串类型；而缺失值其实是没有实体的，即没有数据类型。

丢失的数据记录通常无法找回，这里重点讨论数据列类型缺失值的处理思路。通常有4种思路。

1. 丢弃

这种方法简单明了，直接删除带有缺失值的行记录（整行删除）或者列字段（整列删除），减少缺失数据记录对总体数据的影响。 但丢弃意味着会消减数据特征 ，以下任何一种场景都不宜采用该方法。

2. 补全

相对丢弃而言，补全是更加常用的缺失值处理方式。通过一定的方法将缺失的数据补上，从而形成完整的数据记录，对于后续的数据处理、分析和建模至关重要。常用的补全方法如下。

3. 真值转换法

在某些情况下，我们可能无法得知缺失值的分布规律，并且无法对于缺失值采用上述任何一种补全方法做处理；或者我们认为数据缺失也是一种规律，不应该轻易对缺失值随意处理，那么还有一种缺失值处理思路—真值转换。

该思路的根本观点是， 我们承认缺失值的存在，并且把数据缺失也作为数据分布规律的一部分 ，将变量的实际值和缺失值都作为输入维度参与后续数据处理和模型计算中。但是变量的实际值可以作为变量值参与模型计算，而缺失值通常无法参与运算，因此需要对缺失值进行真值转换。

以用户性别字段为例，很多数据库集都无法对会员的性别进行补足，但又舍不得将其丢弃掉，那么我们将选择将其中的值，包括男、女、未知从一个变量的多个值分布状态转换为多个变量的真值分布状态。

然后将这3列新的字段作为输入维度替换原来的1个字段参与后续模型计算。

4. 不处理

在数据预处理阶段，对于具有缺失值的数据记录不做任何处理，也是一种思路。这种思路主要看后期的数据分析和建模应用， 很多模型对于缺失值有容忍度或灵活的处理方法 ，因此在预处理阶段可以不做处理。

常见的能够自动处理缺失值的模型包括：KNN、决策树和随机森林、神经网络和朴素贝叶斯、DBSCAN（基于密度的带有噪声的空间聚类）等。这些模型对于缺失值的处理思路是：

在数据建模前的数据归约阶段，有一种归约的思路是 降维 ，降维中有一种直接选择特征的方法。假如我们通过一定方法确定带有缺失值（无论缺少字段的值缺失数量有多少）的字段对于模型的影响非常小，那么我们根本就不需要对缺失值进行处理。

因此，后期建模时的字段或特征的重要性判断也是决定是否处理字段缺失值的重要参考因素之一。

对于缺失值的处理思路是先通过一定方法找到缺失值，接着分析缺失值在整体样本中的分布占比，以及缺失值是否具有显着的无规律分布特征，然后考虑后续要使用的模型中是否能满足缺失值的自动处理，最后决定采用哪种缺失值处理方法。

在选择处理方法时，注意投入的时间、精力和产出价值，毕竟，处理缺失值只是整个数据工作的冰山一角而已。

在数据采集时，可在采集端针对各个字段设置一个默认值。以MySQL为例，在设计数据库表时，可通过default指定每个字段的默认值，该值必须是常数。

在这种情况下，假如原本数据采集时没有采集到数据，字段的值应该为Null，虽然由于在建立库表时设置了默认值会导致“缺失值”看起来非常正常，但本质上还是缺失的。对于这类数据需要尤其注意。

异常数据是数据分布的常态，处于特定分布区域或范围之外的数据通常会被定义为异常或“噪音”。产生数据“噪音”的原因很多，例如业务运营操作、数据采集问题、数据同步问题等。

对异常数据进行处理前，需要先辨别出到底哪些是真正的数据异常。从数据异常的状态看分为两种：

大多数数据挖掘或数据工作中，异常值都会在数据的预处理过程中被认为是噪音而剔除，以避免其对总体数据评估和分析挖掘的影响。但在以下几种情况下，我们无须对异常值做抛弃处理。

1. 异常值正常反映了业务运营结果

该场景是由业务部门的特定动作导致的数据分布异常，如果抛弃异常值将导致无法正确反馈业务结果。

例如：公司的A商品正常情况下日销量为1000台左右。由于昨日举行优惠促销活动导致总销量达到10000台，由于后端库存备货不足导致今日销量又下降到100台。在这种情况下，10000台和100台都正确地反映了业务运营的结果，而非数据异常案例。

2. 异常检测模型

异常检测模型是针对整体样本中的异常数据进行分析和挖掘，以便找到其中的异常个案和规律，这种数据应用围绕异常值展开，因此异常值不能做抛弃处理。

异常检测模型常用于客户异常识别、信用卡欺诈、贷款审批识别、药物变异识别、恶劣气象预测、网络入侵检测、流量作弊检测等。在这种情况下，异常数据本身是目标数据，如果被处理掉将损失关键信息。

3. 包容异常值的数据建模

如果数据算法和模型对异常值不敏感，那么即使不处理异常值也不会对模型本身造成负面影响。例如在决策树中，异常值本身就可以作为一种分裂节点。

数据集中的重复值包括以下两种情况：

去重是重复值处理的主要方法，主要目的是保留能显示特征的唯一数据记录。但当遇到以下几种情况时，请慎重（不建议）执行数据去重。

1. 重复的记录用于分析演变规律

以变化维度表为例。例如在商品类别的维度表中，每个商品对应的同1个类别的值应该是唯一的，例如苹果iPhone7属于个人电子消费品，这样才能将所有商品分配到唯一类别属性值中。但当所有商品类别的值重构或升级时（大多数情况下随着公司的发展都会这么做），原有的商品可能被分配了类别中的不同值。如下表所示展示了这种变化。

此时，我们在数据中使用Full join做跨重构时间点的类别匹配时，会发现苹果iPhone7会同时匹配到个人电子消费品和手机数码2条记录。对于这种情况，需要根据具体业务需求处理。

2. 重复的记录用于样本不均衡处理

在开展分类数据建模工作时，样本不均衡是影响分类模型效果的关键因素之一。解决分类方法的一种方法是对少数样本类别做简单过采样，通过随机过采样，采取简单复制样本的策略来增加少数类样本。

经过这种处理方式后，也会在数据记录中产生相同记录的多条数据。此时，我们不能对其中的重复值执行去重操作。

3. 重复的记录用于检测业务规则问题

对于以分析应用为主的数据集而言，存在重复记录不会直接影响实际运营，毕竟数据集主要是用来做分析的。

但对于事务型的数据而言， 重复数据可能意味着重大运营规则问题 ，尤其当这些重复值出现在与企业经营中与金钱相关的业务场景时，例如：重复的订单、重复的充值、重复的预约项、重复的出库申请等。

这些重复的数据记录通常是由于数据采集、存储、验证和审核机制的不完善等问题导致的，会直接反映到前台生产和运营系统。以重复订单为例：

因此，这些问题必须在前期数据采集和存储时就通过一定机制解决和避免。如果确实产生了此类问题，那么数据工作者或运营工作者可以基于这些重复值来发现规则漏洞，并配合相关部门，最大限度地降低由此而带来的运营风险。

本文摘编自《Python数据分析与数据化运营》（第2版），经出版方授权发布。

㈣ 数据清理中，处理缺失值的方法有哪些

由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理。常用的处理方法有：估算，整例删除，变量删除和成对删除。

计算机俗称电脑，是一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件系统和软件系统所组成，没有安装任何软件的计算机称为裸机。

可分为超级计算机、工业控制计算机、网络计算机、个人计算机、嵌入式计算机五类，较先进的计算机有生物计算机、光子计算机、量子计算机、神经网络计算机。蛋白质计算机等。

当今计算机系统的运算速度已达到每秒万亿次，微机也可达每秒几亿次以上，使大量复杂的科学计算问题得以解决。例如：卫星轨道的计算、大型水坝的计算、24小时天气预报的计算等，过去人工计算需要几年、几十年，而现在用计算机只需几天甚至几分钟就可完成。

科学技术的发展特别是尖端科学技术的发展，需要高度精确的计算。计算机控制的导弹之所以能准确地击中预定的目标，是与计算机的精确计算分不开的。一般计算机可以有十几位甚至几十位（二进制）有效数字，计算精度可由千分之几到百万分之几，是任何计算工具所望尘莫及的。

随着计算机存储容量的不断增大，可存储记忆的信息越来越多。计算机不仅能进行计算，而且能把参加运算的数据、程序以及中间结果和最后结果保存起来，以供用户随时调用；还可以对各种信息（如视频、语言、文字、图形、图像、音乐等）通过编码技术进行算术运算和逻辑运算，甚至进行推理和证明。

计算机内部操作是根据人们事先编好的程序自动控制进行的。用户根据解题需要，事先设计好运行步骤与程序，计算机十分严格地按程序规定的步骤操作，整个过程不需人工干预，自动执行，已达到用户的预期结果。

超级计算机（supercomputers）通常是指由数百数千甚至更多的处理器（机）组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机。超级计算机是计算机中功能最强、运算速度最快、存储容量最大的一类计算机，是国家科技发展水平和综合国力的重要标志。

超级计算机拥有最强的并行计算能力，主要用于科学计算。在气象、军事、能源、航天、探矿等领域承担大规模、高速度的计算任务。

在结构上，虽然超级计算机和服务器都可能是多处理器系统，二者并无实质区别，但是现代超级计算机较多采用集群系统，更注重浮点运算的性能，可看着是一种专注于科学计算的高性能服务器，而且价格非常昂贵。

一般的超级计算器耗电量相当大，一秒钟电费就要上千，超级计算器的CPU至少50核也就是说是家用电脑的10倍左右，处理速度也是相当的快，但是这种CPU是无法购买的，而且价格要上千万。

㈤ 数据分析中缺失值的处理

数据缺失在许多研究领域都是一个复杂的问题，对数据挖掘来说，缺失值的存在，造成了以下影响：
1.系统丢失了大量的有用信息
2.系统中所表现出的不确定性更加显着，系统中蕴涵的确定性成分更难把握
3.包含空值的数据会使挖掘过程陷入混乱，导致不可靠的输出

数据挖掘算法本身更致力于避免数据过分拟合所建的模型，这一特性使得它难以通过自身的算法去很好地处理不完整数据。因此，缺失值需要通过专门的方法进行推导、填充等，以减少数据挖掘算法与实际应用之间的差距。

1.列表显示缺失值 mice包 md.pattern( )

2.图形探究缺失值 VIM包

3.用相关性探索缺失值

1.人工填写
由于最了解数据的还是用户自己，因此这个方法产生数据偏离最小，可能是填充效果最好的一种。然而一般来说，该方法很费时，当数据规模很大、空值很多的时候，该方法是不可行的。

2.特殊值填充
将空值作为一种特殊的属性值来处理，它不同于其他的任何属性值。如所有的空值都用“unknown”填充。这样将形成另一个有趣的概念，可能导致严重的数据偏离，一般不推荐使用。

3.平均值填充
将信息表中的属性分为数值属性和非数值属性来分别进行处理。如果空值是数值型的，就根据该属性在其他所有对象的取值的平均值来填充该缺失的属性值；如果空值是非数值型的，就根据统计学中的众数原理，用该属性在其他所有对象的取值次数最多的值(即出现频率最高的值)来补齐该缺失的属性值。另外有一种与其相似的方法叫条件平均值填充法（Conditional Mean Completer）。在该方法中，缺失属性值的补齐同样是靠该属性在其他对象中的取值求平均得到，但不同的是用于求平均的值并不是从信息表所有对象中取，而是从与该对象具有相同决策属性值的对象中取得。这两种数据的补齐方法，其基本的出发点都是一样的，以最大概率可能的取值来补充缺失的属性值，只是在具体方法上有一点不同。与其他方法相比，它是用现存数据的多数信息来推测缺失值。

4.热卡填充
对于一个包含空值的对象，热卡填充法在完整数据中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。该方法概念上很简单，且利用了数据间的关系来进行空值估计。这个方法的缺点在于难以定义相似标准，主观因素较多。

5.K最近距离邻法
先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。
同均值插补的方法都属于单值插补，不同的是，它用层次聚类模型预测缺失变量的类型，再以该类型的均值插补。假设X=(X1,X2…Xp)为信息完全的变量，Y为存在缺失值的变量，那么首先对X或其子集行聚类，然后按缺失个案所属类来插补不同类的均值。如果在以后统计分析中还需以引入的解释变量和Y做分析，那么这种插补方法将在模型中引入自相关，给分析造成障碍。

6.使用所有可能的值填充
用空缺属性值的所有可能的属性取值来填充，能够得到较好的补齐效果。但是，当数据量很大或者遗漏的属性值较多时，其计算的代价很大，可能的测试方案很多。

7.组合完整化方法
用空缺属性值的所有可能的属性取值来试，并从最终属性的约简结果中选择最好的一个作为填补的属性值。这是以约简为目的的数据补齐方法，能够得到好的约简结果；但是，当数据量很大或者遗漏的属性值较多时，其计算的代价很大。

8.回归
基于完整的数据集，建立回归方程（模型）。对于包含空值的对象，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充，当变量不是线性相关或预测变量高度相关时会导致有偏差的估计（SPSS菜单里有这种方法）

9.期望值最大化方法
EM算法是一种在不完全数据情况下计算极大似然估计或者后验分布的迭代算法。在每一迭代循环过程中交替执行两个步骤：E步（Excepctaion step,期望步），在给定完全数据和前一次迭代所得到的参数估计的情况下计算完全数据对应的对数似然函数的条件期望；M步（Maximzation step，极大化步），用极大化对数似然函数以确定参数的值，并用于下步的迭代。算法在E步和M步之间不断迭代直至收敛，即两次迭代之间的参数变化小于一个预先给定的阈值时结束。该方法可能会陷入局部极值，收敛速度也不是很快，并且计算很复杂。（SPSS菜单里有这种方法）

10.1多重插补原理
多值插补的思想来源于贝叶斯估计，认为待插补的值是随机的，它的值来自于已观测到的值。具体实践上通常是估计出待插补的值，然后再加上不同的噪声，形成多组可选插补值。根据某种选择依据，选取最合适的插补值。

10.2多重填补在SPSS中的实现
10.2.1缺失模式分析
分析>多重归因>分析模式

10.2.2缺失值的多重填充
分析>多重归因>归因缺失数据值

10.2.3采用填充后的数据建模

10.3多重填补在R中的实现（基于mice包）

实例：

11.C4.5方法
通过寻找属性间的关系来对遗失值填充。它寻找之间具有最大相关性的两个属性，其中没有遗失值的一个称为代理属性，另一个称为原始属性，用代理属性决定原始属性中的遗失值。这种基于规则归纳的方法只能处理基数较小的名词型属性。

就几种基于统计的方法而言，删除元组法和平均值填充法差于热卡填充法、期望值最大化方法和多重填充法；回归是比较好的一种方法，但仍比不上热卡填充和期望值最大化方法；期望值最大化方法缺少多重填补包含的不确定成分。值得注意的是，这些方法直接处理的是模型参数的估计而不是空缺值预测本身。它们合适于处理无监督学习的问题，而对有监督学习来说，情况就不尽相同了。譬如，你可以删除包含空值的对象用完整的数据集来进行训练，但预测时你却不能忽略包含空值的对象。另外，C4.5和使用所有可能的值填充方法也有较好的补齐效果，人工填写和特殊值填充则是一般不推荐使用的。

补齐处理只是将未知值补以我们的主观估计值，不一定完全符合客观事实，在对不完备信息进行补齐处理的同时，我们或多或少地改变了原始的信息系统。而且，对空值不正确的填充往往将新的噪声引入数据中，使挖掘任务产生错误的结果。因此，在许多情况下，我们还是希望在保持原始信息不发生变化的前提下对信息系统进行处理。
直接在包含空值的数据上进行数据挖掘，这类方法包括贝叶斯网络和人工神经网络等。

贝叶斯网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。贝叶斯网络仅适合于对领域知识具有一定了解的情况，至少对变量间的依赖关系较清楚的情况。否则直接从数据中学习贝叶斯网的结构不但复杂性较高（随着变量的增加，指数级增加），网络维护代价昂贵，而且它的估计参数较多，为系统带来了高方差，影响了它的预测精度。当在任何一个对象中的缺失值数量很大时，存在指数爆炸的危险。人工神经网络可以有效的对付空值，但人工神经网络在这方面的研究还有待进一步深入展开。人工神经网络方法在数据挖掘应用中的局限性。

多数统计方法都假设输入数据是完整的且不包含缺失值，但现实生活中大多数数据集都包含了缺失值。因此，在进行下一步分析前，你要么删除，要么用合理的数值代理它们，SPSS、R、Python、SAS等统计软件都会提供一些默认的处理缺失值方法，但这些方法可能不是最优的，因此，学习各种各样的方法和他们的分支就显得非常重要。Little和Rubin的《Sstatistical Analysis With Missing Data 》是缺失值领域里经典的读本，值得一看。

㈥ 数学建模-数据分析中缺失值删除与缺失值处理方法（python）

以下内容来源 《python3破冰人工智能从入门到实战》 ,如涉及版权请联系我删除。

Python 是一种面向对象的、动 态的程序设计语言，它具有非常简洁而清晰的语法，适合完成各种复杂任务。 并且，随着 NumPy、Pandas、SciPy、Matplotlib 等众多程序库的发布和发展， Python 越来越适合做科学计算。它既可以用来快速开发程序脚本，也可以用来开发大规模的软件。
内容来源 《python3破冰人工智能从入门到实战》 ,

Pandas由AQR Capital Management于2008年开发，并于2009年底开源发布，目前由专 注于 Python 数据包开发的 PyData 开发团队继续开发和维护。本书中使用的版本是 Pandas-0.22.0。Pandas 基于 NumPy 开发，提供了大量快速便捷的数据处理方法，对数据的处 理工作十分有用，它是支撑 Python 成为强大而高效的科学计算语言的重要因素之一。
内容来源 《python3破冰人工智能从入门到实战》 ,

dates = pd.date_range("20130101",periods=6)
df = pd.DataFrame(np.random.rand(6,4),index=dates,columns=list
print("获取 df 数据:\n{}".format(df))

内容来源[《python3破冰人工智能从入门到实战》]

数据的填充方法

参考文献：
来源数据 《python3破冰人工智能从入门到实战》 ,如涉及版权请联系我删除。

㈦ 大数据建模过程中的数据处理

数据是建模的基础，也是研究事物发展规律的材料。数据本身的可信度和处理的方式将直接决定模型的天花板在何处。一个太过杂乱的数据，无论用多么精炼的模型都无法解决数据的本质问题，也就造成了模型的效果不理想的效果。这也是我们目前所要攻克的壁垒。但是，目前我们市场对的数据或者科研的数据并不是完全杂乱无章的，基本都是有规律可循的，因此，用模型算法去进行科学的分析，可以主观情绪对决策的影响。所以数据是非常重要的一部分。那么，接下来我们就详细说一下数据的处理与分析。

当看到数据的时候，首要做的并不是进行清洗或者特征工程，而是要观察数据所呈现的基本状态，以及进行数据与任务的匹配，这就需要我们之前所提到的业务常识与数据敏感度的能力了，只有通过完整的数据分析，才能够更为精准的做符合需求的特征工程工作。数据的基本特征分析主要从以下几个方面进行：

1. 确定类型 ：数据集的类型包括文本，音频，视频，图像，数值等多种形式交织而成，但是传入模型中的都是以数值形式呈现的，所以确定数据的类型，才可以确定用什么方法进行量化处理。

2. 验证可靠度 ：由于数据的收集的方式不尽相同，数据来源的途径多种多样。所以数据的可信度判断也显得尤为重要。而数据可靠性校验的方法非常多。例如：根据收集途径判断，如果调查问卷也可根据问卷设计的可靠度进行判断，当然转化为数值后也可辅助一些模型进行精细校验等。采用何种方式，取决于获取数据的方式，数据类型以及项目的需求。

3. 样本定义 ：需要确定样本对应的每一个特征属性的内容是什么。例如：样本的容量，样本的具体内容，样本所包含的基本信息等。

4. 任务匹配： 在任务分析中我们把项目拆分成了小的子问题，这些问题有分类，回归，关联关系等。也就是每个问题的所达成的目标是不一样的，那么我们要从数据集中筛选出符合子问题的数据，也就是选好解决问题的原料，很多情况下是靠你的数据敏感度和业务常识进行判断的。

5. 数据集的划分： 由于模型搭建完成之后有一个训练与验证评估的过程，而目前最为简单的一种验证手段就是就是交叉验证，因此我们需要将数据集拆分成训练集和测试集，这一步仅仅确定训练集和测试集的比例关系，例如：70%的数据用于训练，30%的数据用于测试。

数据的清洗是一件非常繁琐且耗费时间的事情，基本可以占到一个工程的30%到50%的时间。并且数据的清洗很难有规律可循，基本上依托于你对数据的基本分析与数据敏感度。当然，当你看的数据够多，数据的清洗的经验也就越多，会为你今后哦搭建模型提供很多遍历，我们这里提供一些常见的清洗的点。

清洗异常数据样本需要考虑到方方面面，通常情况下我们从以下方面：

1.处理格式或者内容错误：

首先，观察时间，日期，数值等是否出现格式不一致，进行修改整理；其次，注意开头，或者中间部分是否存在异常值；最后，看字段和内容是否一致。例如，姓名的内容是男，女。

2. 逻辑错误清洗：

去重：通常我们收集的数据集中有一些数据是重复的，重复的数据会直接影响我们模型的结果，因此需要进行去重操作；

去除或者替换不合理的值：例如年龄突然某一个值是-1，这就属于不合理值，可用正常值进行替换或者去除；

修改矛盾内容:例如身份证号是91年的，年龄35岁，显然不合理，进行修改或者删除。

3. 去除不要的数据： 根据业务需求和业务常识去掉不需要的字段

4. 关联性错误验证： 由于数据来源是多个途径，所以存在一个id，进行不同的数据收集，可通过，id或者姓名进行匹配合并。

该问题主要出现在分类模型中，由于正例与负例之间样本数量差别较大，造成分类结果样本量比较少的类别会大部分分错。因此需要进行数据不平衡处理。常用的处理方法有：向上采样、向下采样、数据权重复制、异常点检测等。

㈧ 为什么spss选择个案没有过滤掉无效数值呢

在SPSS中如果数据包含缺失值，会导致具体变量计算和分析时实际有效样本量减少，不管是pairwise delete还是listwise delete的缺失值处理方法。另外，如果用Amos做结构方程模型，分析变量存在缺失值的话拟合指数会报告不全（如缺失GFI、AGFI）；在用Mplus等软件做某些模型时，数据存在缺失值的话会出现不能运行或某些估计法不适用的情况。因此，处理缺失值是非常重要的环节。

缺失值的处理大体上有两种方法：第一，删除有缺失值的个案；第二，缺失值替换。哪一种方法好呢？

如果样本量本身很大，那么删除个案法影响不大；但如果样本量不是很大，而存在缺失值的变量又很多，删除法会使样本量明显减少，对研究不利。那是不是缺失值替换就好呢？也不尽然。因为如果某个变量存在比较多的缺失值，用均值替换显然对结果影响很大。此外，如果一个个案本身有多个缺失指标，比如调查问卷中有10%以上的题目存在缺失值，那么将这个个案的问卷数据判断为无效个案会更好。

这里又涉及到一个问题，缺失值比例多大可以认定为无效数据呢？个人认为，单纯从数量的角度来看，一个个案有10%以上的指标存在缺失值的话就可以判断该个案数据无效。但有时候我们不能笼统看缺失值的数量和比例，还要看缺失值的分布问题，例如心理学、教育学、管理学的问卷或量表是分多个维度的，如果缺失值零星分散于不同的维度，那么较大比例的缺失值可能对整体个案数据影响不大；但如果缺失值集中于某个维度或一两个维度，简单说，同一个维度中有多个缺失值甚至整个维度都缺失数据，那么比例较小的缺失值也可以导致整个维度无效，以至于整个个案样本数据无效。