数据预处理包括哪些

㈠ 什么是数据预处理（在数据仓库中的概念）

数据预处理：就是指在数据进入数据仓库之前，对数据进行清洗转换装载。

㈡ 数据预处理的方法有哪几类

数据预处理有多种方法： 数据清理， 数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。

㈢ 大数据的预处理过程包括

大数据采集过程中通常有一个或多个数据源，这些数据源包括同构或异构的数据库、文件系统、服务接口等，易受到噪声数据、数据值缺失、数据冲突等影响，因此需首先对收集到的大数据集合进行预处理，以保证大数据分析与预测结果的准确性与价值性。

大数据的预处理环节主要包括数据清理、数据集成、数据归约与数据转换等内容，可以大大提高大数据的总体质量，是大数据过程质量的体现。 数据清理技术包括对数据的不一致检测、噪声数据的识别、数据过滤与修正等方面，有利于提高大数据的一致性、准确性、真实性和可用性等方面的质量;

数据集成则是将多个数据源的数据进行集成，从而形成集中、统一的数据库、数据立方体等，这一过程有利于提高大数据的完整性、一致性、安全性和可用性等方面质量;

数据归约是在不损害分析结果准确性的前提下降低数据集规模，使之简化，包括维归约、数据归约、数据抽样等技术，这一过程有利于提高大数据的价值密度，即提高大数据存储的价值性。

数据转换处理包括基于规则或元数据的转换、基于模型与学习的转换等技术，可通过转换实现数据统一，这一过程有利于提高大数据的一致性和可用性。

总之，数据预处理环节有利于提高大数据的一致性、准确性、真实性、可用性、完整性、安全性和价值性等方面质量，而大数据预处理中的相关技术是影响大数据过程质量的关键因素

㈣ 数据的预处理包括哪些内容

数据预处理（datapreprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。
数据预处理的方法：
1、数据清理
数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。
2、数据集成
数据集成例程将多个数据源中的数据结合起来并 统一存储，建立数据仓库的过程实际上就是数据集成。
3、数据变换
通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。
4、数据归约
数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归约前结果相同或几乎相同。

㈤ 数据预处理过程由前到后分为哪几个阶段

数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。

㈥ 数据预处理的主要方法有哪些

1.墓于粗糙集( Rough Set)理论的约简方法
粗糙集理论是一种研究不精确、不确定性知识的数学工具。目前受到了KDD的广泛重视，利用粗糙集理论对数据进行处理是一种十分有效的精简数据维数的方法。我们所处理的数据一般存在信息的含糊性(Vagueness)问题。含糊性有三种:术语的模糊性，如高矮;数据的不确定性，如噪声引起的;知识自身的不确定性，如规则的前后件间的依赖关系并不是完全可靠的。在KDD中，对不确定数据和噪声干扰的处理是粗糙集方法的
2.基于概念树的数据浓缩方法
在数据库中，许多属性都是可以进行数据归类，各属性值和概念依据抽象程度不同可以构成一个层次结构，概念的这种层次结构通常称为概念树。概念树一般由领域专家提供，它将各个层次的概念按一般到特殊的顺序排列。
3.信息论思想和普化知识发现
特征知识和分类知识是普化知识的两种主要形式，其算法基本上可以分为两类:数据立方方法和面向属性归纳方法。
普通的基于面向属性归纳方法在归纳属性的选择上有一定的盲目性，在归纳过程中，当供选择的可归纳属性有多个时，通常是随机选取一个进行归纳。事实上，不同的属性归纳次序获得的结果知识可能是不同的，根据信息论最大墒的概念，应该选用一个信息丢失最小的归纳次序。
4.基于统计分析的属性选取方法
我们可以采用统计分析中的一些算法来进行特征属性的选取，比如主成分分析、逐步回归分析、公共因素模型分析等。这些方法的共同特征是，用少量的特征元组去描述高维的原始知识基。
5.遗传算法〔GA, Genetic Algo}thrn})
遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索算法。遗传算法的基本思想是:将问题的可能解按某种形式进行编码，形成染色体。随机选取N个染色体构成初始种群。再根据预定的评价函数对每个染色体计算适应值。选择适应值高的染色体进行复制，通过遗传运算(选择、交叉、变异)来产生一群新的更适应环境的染色体，形成新的种群。这样一代一代不断繁殖进化，最后收敛到一个最适合环境的个体上，从而求得问题的最优解。遗传算法应用的关键是适应度函数的建立和染色体的描述。在实际应用中，通常将它和神经网络方法综合使用。通过遗传算法来搜寻出更重要的变量组合。

㈦ 数据预处理

根据掌握资料情况，结合工作实际，确定工作区的比例尺为1∶50万，为进一步的成矿预测工作，将工作区内所有数据通过变换统一到同一坐标系统下，选用“高斯-克吕格”投影方式，任意分带，中央经线1150000，最南端纬线为440000。

(1)生成基准经纬网:根据工作的制图投影方式，利用“生成经纬网”功能，生成工作区的基准经纬网。

(2)生成金矿床(点)图层:收集的矿产地数据中，各矿产地均有“地理经度”、“地理纬度”数据，由此，利用“生成点图层”功能，生成矿床(点)分布图层，投影参数与生成的基准经纬网一致。

(3)数据格式转换:将数据准备中的MapGIS格式文件转换为shp格式。

(4)图层配准:将准备好的各矢量化图层，通过对图层的“缩放”、“旋转”、“平移”等，配准到基准经纬网上。

(5)线性构造方位角统计:对地质断裂，利用“线走向”功能，统计每条构造线的走向。

(6)统计构造线密度及交叉点数:对遥感解译构造(包括线形和环形)，利用“单元格内线性体交点数”和“单元内实体数”功能，统计构造密度及交叉点数。

(7)线图层转为面图层:对化探异常、重砂异常等线图层，利用“线面互转”工具，转换为面图层，形成异常区，以供统计预测使用。

(8)岩浆岩图层:各时代岩浆岩是地质体图层的组成部分，由于地质上的特殊性，将其检索出来单独成层。利用“专用查询”工具，根据“颜色号(Color-no)”字段，将各时代岩浆岩检索出来。

(9)有利地质体图层:利用点(已知矿床)对区(地质体)的空间分析，得出与金矿产出相关的地质体，利用“专用查询”→“A.根据给定的字符串查询”，从地质体图层中根据“颜色号(Col-or-no)”或“地质符号(Symbel)”或“地质体名称(Unitname)”字段，将有利地质体检索出来。

㈧ 预处理常用的方法有哪些

一、混凝－絮凝

混凝是指向水中投加一定剂量的化学药剂，这些化学药剂在水中发生水解，和水中的胶体粒子互相碰撞，发生电性中和，产生吸附、架桥和网捕作用，从而形成大的絮体颗粒，并从水中沉降，起到了降低颗粒悬浮物和胶体的作用。

二、介质过滤

介质过滤是指以石英砂或无烟煤等为介质，使水在重力或压力下通过由这些介质构成的床层，而水中的的颗粒污染物质则被介质阻截，从而达到与水分离的过程。粒状介质过滤基于“过滤－澄清”的工作过程去除水中的颗粒、悬浮物和胶体。

工业水处理

在工业用水处理中，预处理工序的任务是将工业用水的水源——地表水、地下水或城市自来水处理到符合后续水处理装置所允许的进水水质指标，从而保证水处理系统长期安全、稳定地运行，为工业生产提供优质用水。

预处理的对象主要是水中的悬浮物、胶体、微生物、有机物、游离性余氯和重金属等。这些杂质对于电渗析、离子交换、反渗透、钠滤等水处理装置会产生不利的影响。

㈨ 数据预处理主要针对哪些数据

数据预处理一方面是为了提高数据的质量，另一方面也是为了适应所做数据分析的软件或者方法。一般来说，数据预处理步骤有数据清洗、数据集成、数据变换、数据规约，每个大步骤又有一些小的细分点。当然了，这四个大步骤在做数据预处理时未必都要执行。

一、数据清洗

数据清洗，顾名思义，“黑”的变成“白”的，“脏”的数据变成“干净”的，脏数据表现在形式上和内容上的脏。

形式上的脏，如：缺失值、带有特殊符号的；
内容上的脏，如：异常值。
缺失值包括缺失值的识别和缺失值的处理。

在R里缺失值的识别使用函数is.na()判别，函数complete.cases()识别样本数据是否完整。

缺失值处理常用的方法有：删除、替换和插补。

删除法 ：删除法根据删除的不同角度又可以分为删除观测样本和变量，删除观测样本（行删除法），在R里na.omit()函数可以删除所含缺失值的行。这就相当于减少样本量来换取信息的完整度，但当变量有较大缺失并且对研究目标影响不大时，可考虑删除变量R里使用语句mydata[,-p]来完成。mydata表示所删数据集的名字，p是该删除变量的列数，-表示删除。
替换法 ：替换法顾名思义对缺失值进行替换，根据变量的不同又有不同的替换规则，缺失值的所在变量是数值型用该变量下其他数的均值来替换缺失值；变量为非数值变量时则用该变量下其他观测值的中位数或众数替换。
插补法 ：插补法分为回归插补和多重插补。回归插补指的是将插补的变量当作因变量y，其他变量看错自变量，利用回归模型进行拟合，在R里使用lm（）回归函数对缺失值进行插补；多重插补是指从一个包含缺失值的数据集中生成一组完整的数据，多次进行，产生缺失值的一个随机样本，在R里mice（）包可以进行多重插补。
异常值跟缺失值一样包括异常值的识别和异常值的处理。

异常值的识别通常用单变量散点图或箱形图来处理，在R里dotchart（）是绘制单变量散点图的函数，boxplot（）函数绘制箱现图；在图形中，把远离正常范围的点当作异常值。
异常值的的处理有删除含有异常值的观测（直接删除，当样本少时直接删除会造成样本量不足，改变变量的分布）、当作缺失值（利用现有的信息，对其当缺失值填补）、平均值修正（用前后两个观测值的均值修正该异常值）、不处理。在进行异常值处理时要先复习异常值出现的可能原因，再判断异常值是否应该舍弃。

㈩ 数据预处理的流程是什么

数据预处理的常用流程为：去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析。
去除唯一属性
唯一属性通常是一些id属性，这些属性并不能刻画样本自身的分布规律，所以简单地删除这些属性即可。

处理缺失值
缺失值处理的三种方法：直接使用含有缺失值的特征；删除含有缺失值的特征（该方法在包含缺失值的属性含有大量缺失值而仅仅包含极少量有效值时是有效的）；缺失值补全。

常见的缺失值补全方法：均值插补、同类均值插补、建模预测、高维映射、多重插补、极大似然估计、压缩感知和矩阵补全。

（1）均值插补

如果样本属性的距离是可度量的，则使用该属性有效值的平均值来插补缺失的值；

如果的距离是不可度量的，则使用该属性有效值的众数来插补缺失的值。如果使用众数插补，出现数据倾斜会造成什么影响？

（2）同类均值插补

首先将样本进行分类，然后以该类中样本的均值来插补缺失值。

（3）建模预测

将缺失的属性作为预测目标来预测，将数据集按照是否含有特定属性的缺失值分为两类，利用现有的机器学习算法对待预测数据集的缺失值进行预测。

该方法的根本的缺陷是如果其他属性和缺失属性无关，则预测的结果毫无意义；但是若预测结果相当准确，则说明这个缺失属性是没必要纳入数据集中的；一般的情况是介于两者之间。

（4）高维映射

将属性映射到高维空间，采用独热码编码（one-hot）技术。将包含K个离散取值范围的属性值扩展为K+1个属性值，若该属性值缺失，则扩展后的第K+1个属性值置为1。

这种做法是最精确的做法，保留了所有的信息，也未添加任何额外信息，若预处理时把所有的变量都这样处理，会大大增加数据的维度。这样做的好处是完整保留了原始数据的全部信息、不用考虑缺失值；缺点是计算量大大提升，且只有在样本量非常大的时候效果才好。
（5）多重插补（MultipleImputation，MI）

多重插补认为待插补的值是随机的，实践上通常是估计出待插补的值，再加上不同的噪声，形成多组可选插补值，根据某种选择依据，选取最合适的插补值。

（6）压缩感知和矩阵补全

（7）手动插补

插补处理只是将未知值补以我们的主观估计值，不一定完全符合客观事实。在许多情况下，根据对所在领域的理解，手动对缺失值进行插补的效果会更好。