A. 数据清洗方法的阐述
数据清洗方法
对于数据值缺失的处理，通常使用的方法有下面几种：
1、删除缺失值
当样本数很多的时候，并且出现缺失值的样本在整个的样本的比例相对较小，这种情况下，我们可以使用最简单有效的方法处理缺失值的情况。那就是将出现有缺失值的样本直接丢弃。这是一种很常用的策略。
2、均值填补法
根据缺失值的属性相关系数最大的那个属性把数据分成几个组，然后分别计算每个组的均值，把这些均值放入到缺失的数值里面就可以了。
3、热卡填补法
对于一个包含缺失值的变量，热卡填充法的做法是：在数据库中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。最常见的是使用相关系数矩阵来确定哪个变量（如变量Y）与缺失值所在变量（如变量X）最相关。然后把所有变量按Y的取值大小进行排序。那么变量X的缺失值就可以用排在缺失值前的那个个案的数据来代替了。
还有类似于最近距离决定填补法、回归填补法、多重填补方法、K-最近邻法、有序最近邻法、基于贝叶斯的方法等。
B. 数据清洗技术有哪些
数据清洗是指在数据集中发现不准确、不完整或不合理数据，并对这些数据进行修补或移除以提高数据质量的过程。而通常来说，数据清洗框架由5个步骤构成，第一就是定义错误类型，第二就是搜索并标识错误实例，第三就是改正错误，第四就是文档记录错误实例和错误类型，第五就是修改数据录入程序以减少未来的错误。
清洗数据有三个方法，分别是分箱法、聚类法、回归法。这三种方法各有各的优势，能够对噪音全方位的清理。分箱法是一个经常使用到方法，所谓的分箱法，就是将需要处理的数据根据一定的规则放进箱子里，然后进行测试每一个箱子里的数据，并根据数据中的各个箱子的实际情况进行采取方法处理数据。
怎么分箱，我们可以按照记录的行数进行分箱，使得每箱有一个相同的记录数。或者我们把每个箱的区间范围设置一个常数，这样我们就能够根据区间的范围进行分箱。其实我们也可以自定义区间进行分箱。这三种方式都是可以的。分好箱号，我们可以求每一个箱的平均值，中位数、或者使用极值来绘制折线图，一般来说，折线图的宽度越大，光滑程度也就越明显。
C. 数据清洗的内容有哪些
数据清洗的内容包括：选择子集、列名重命名、缺失值处理、数据类型转换、异常值处理以及数据排序。
1、选择子集
在数据分析的过程中，有可能数据量会非常大，但并不是每一列都有分析的价值，这时候就要从这些数据中选择有用的子集进行分析，这样才能提高分析的价值和效率。
2、列名重命名
在数据分析的过程中，有些列名和数据容易混淆或者让人产生歧义。
3、缺失值处理
获取的数据中很可能存在这缺失值，这会对分析的结果造成影响。
4、数据类型的转换
在导入数据的时候为了防止导入不进来，python会强制转换为object类型，然是这样的数据类型在分析的过程中不利于运算和分析。
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
数据清洗方法：一般来说，数据清理是将数据库精简以除去重复记录，并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是将数据输入到数据清理处理器，通过一系列步骤“ 清理”数据，然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。
D. 数据清洗需清理哪些数据
数据清洗需要清理的数据，是输入数据后需要对数据进行预处理，只有处理得当的数据才能进到数据挖掘的步骤。而处理数据包括对数据数量和质量的处理。
包括对缺失的数据有添补或删除相关行列方法，具体步骤自己判断，如果数据量本来就很少还坚持删除，那就是自己的问题了。
添补:常用拉格朗日插值或牛顿插值法，也蛮好理解，属于数理基础知识。(pandas库里自带拉格朗日插值函数，而且这个好处是还可以在插值前对数据进行异常值检测，如果异常那么该数据就也被视为需要进行插值的对象)。
删除:这个也好理解，就是对结果分析没有直接影响的数据删除。
异常值
这个是否剔除需要视情况而定
像问题1中视为缺失值重新插值
删除含有异常值的记录(可能会造成样本量不足，改变原有分布)
平均值修正(用前后两个观测值平均值)
综上，还是方案一靠谱。
人生苦短，学好python
3 数据量太多，有三种方法:集成，规约，变换
(1)数据是分散的时，这个就是指要从多个分散的数据仓库中抽取数据，此时可能会造成冗余的情况。此时要做的是【数据集成】。
数据集成有两方面内容:
①冗余属性识别②矛盾实体识别
属性:
对于冗余属性个人理解是具有相关性的属性分别从不同的仓库中被调出整合到新表中，而新表中由于属性太多造成冗余，这时可以靠相关性分析来分析属性a和属性b的相关系数，来度量一个属性在多大程度上蕴含另一个属性。等等。
数据清洗时预处理阶段主要做两件事情：
一是将数据导入处理工具。通常来说，建议使用数据库，单机跑数搭建MySQL环境即可。如果数据量大（千万级以上），可以使用文本文件存储+Python操作的方式。
二是看数据。这里包含两个部分：一是看元数据，包括字段解释、数据来源、代码表等等一切描述数据的信息；二是抽取一部分数据，使用人工查看方式，对数据本身有一个直观的了解，并且初步发现一些问题，为之后的处理做准备。
数据清洗是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。
E. 数据清洗的方法不包括哪些
通常来说，清洗数据有三个方法，分别是分箱法、聚类法、回归法。这三种方法各有各的优势，能够对噪音全方位的清理。分箱法是一个经常使用到方法，所谓的分箱法，就是将需要处理的数据根据一定的规则放进箱子里，然后进行测试每一个箱子里的数据，并根据数据中的各个箱子的实际情况进行采取方法处理数据。看到这里很多朋友只是稍微明白了，但是并不知道怎么分箱。如何分箱呢？我们可以按照记录的行数进行分箱，使得每箱有一个相同的记录数。或者我们把每个箱的区间范围设置一个常数，这样我们就能够根据区间的范围进行分箱。其实我们也可以自定义区间进行分箱。这三种方式都是可以的。分好箱号，我们可以求每一个箱的平均值，中位数、或者使用极值来绘制折线图，一般来说，折线图的宽度越大，光滑程度也就越明显。
回归法和分箱法同样经典。回归法就是利用了函数的数据进行绘制图像，然后对图像进行光滑处理。回归法有两种，一种是单线性回归，一种是多线性回归。单线性回归就是找出两个属性的最佳直线，能够从一个属性预测另一个属性。多线性回归就是找到很多个属性，从而将数据拟合到一个多维面，这样就能够消除噪声。
聚类法的工作流程是比较简单的，但是操作起来确实复杂的，所谓聚类法就是将抽象的对象进行集合分组，成为不同的集合，找到在集合意外的孤点，这些孤点就是噪声。这样就能够直接发现噪点，然后进行清除即可。
F. 数据挖掘中常用的数据清洗方法有哪些
数据清洗目的主要有：
①解决数据质量问题；
②让数据更适合做挖掘；
数据清洗是对数据审查过程中发现的明显错误值、缺失值、异常值、可疑数据，选用一定方法进行“清洗”，为后续的数据分析做准备。
数据清洗的方法有：
①数据数值化
对存在各种不同格式的数据形式的原始数据，对其进行标准化操作。对字符串取值，按照ANSI码值求和得到字符串的值，如果值太大，取一个适当的质数对其求模。
②标准化 normalization
对整体数据进行归一化工作，利用min-max标准化方法将数据都映射到一个指定的数值区间。
③数据降维
原始数据存在很多维度，使用主成分分析法对数据的相关性分析来降低数据维度。
④数据完整性
数据完整性包括数据缺失补数据和数据去重；
补全数据的方法有：
通过身份证件号码推算性别、籍贯、出生日期、年龄（包括但不局限）等信息补全；
通过前后数据补全；
实在补不全的，对数据进行剔除。
数据去重的方法有：
用sql或者excel“去除重复记录”去重；
按规则去重，编写一系列的规则，对重复情况复杂的数据进行去重。
G. 数据清洗的方法不包括
数据清洗主要根据探索性分析后得到的一些结论入手，然后主要对四类异常数据进行处理，分别是缺失值(missing value)，异常值(离群点)，去重处理(Duplicate Data)以及噪音数据的处理。
H. 数据清洗有哪些方法
数据清洗有两种办法，第一种是物理办法，直接通过对磁盘内信息的格式化重新加入新的数据，可以把原先的数据清洗掉。