‘壹’ 技巧 | Pandas 数据填充
课程学习： Pandas 数据处理基础入门
除了直接填充值，我们还可以通过参数，将缺失值前面或者后面的值填充给相应的缺失值。例如使用缺失值前面的值进行填充：
或者是后面的值：
可以看到，连续缺失值好腔芹也是按照前序数值进行填充的，并且完全填充。这里，我们可以通过 limit= 参数设置连续填充的限制数量：
除了上面的填充方式，还可以通过 Pandas 自带的求平均值方法等来填充特定列或行。举个例子：友毕
插值是数值分析中一种方法。简而言之，就是借助于一个函数（线性或非线性），再根据已知数据去求解未知数据的值。插值在数据领域非常常见，它的好处在于，可以尽量去还原数据本身的样子。我们可以通过 interpolate() 方法完成线性插值。
对于 interpolate() 支持的插值算法，也就是 method= 。下面给出几条选择的建议：
除了上面提到圆旦的一些方法和技巧，实际上 Pandas 常用的还有：
--- End ---
‘贰’ Pandas-DataFrame基础知识点总结
DataFrame是一种表格型数据结构，它含有一组有序的列，每列可以是不同的值。DataFrame既有行索引，也有列索引，它可以看作是由Series组成的字典，不过这些Series公用一个索引。
DataFrame的创隐饥空建有多种方式，不过最重要的还是根据dict进行创建，以及读取csv或者txt文件来创建。这里主要介绍这两种方式。
根据字典创建
DataFrame的行索引是index，列索引是columns，我们可以在创建DataFrame时指定索引的值：
使用嵌套字典也可以创建DataFrame，此时外层字典的键作为列，内层键则作为索引:
我们可以用index，columns，values来访问DataFrame的行索引，列索引以及数据值，数据值返回的是一个二维的ndarray
读取文件
读取文件生成DataFrame最常用的是read_csv,read_table方法。该方法中几个重要的参数如下所示：
其他创建DataFrame的方式有很多，比如我们可以通过读取mysql或者mongoDB来生成，也可以读取json文件等等，这里就不再介绍。
在DataFrame的处理中经常会遇到轴的概念，这里先给大家一个直观的印象，我们所说的axis=0即表示沿着每一列或行标签索引值向下执行方法，axis=1即表示沿着每一行或者列标签模向执行对应的方法。
索引、切片
我们可以根据列名来选取一列，返回一个Series:
我们还可以选取多列或者多行：
当然，在选取数据的时候，我们还可以根据逻辑条件来选取：
pandas提供了专门的用于灶瞎索引DataFrame的方法，即使用ix方法进行索引,不过ix在最新的版本中已经被废弃了，如果要是用标签，最好使用loc方法，如果使用下标，最好使用iloc方法：
修改数据
可以使用一个标量修改DataFrame中的某一列，此时这个标量会广播到DataFrame的每一行肢迅上:
也可以使用一个列表来修改，不过要保证列表的长度与DataFrame长度相同：
可以使用一个Series，此时会根据索引进行精确匹配：
重新索引
使用reindex方法对DataFrame进行重新索引。对DataFrame进行重新索引，可以重新索引行，列或者两个都修改，如果只传入一个参数，则会从新索引行：
填充数据只能按行填充，此时只能对行进行重新索引：
丢弃指定轴上的值
可以使用drop方法丢弃指定轴上的值，不会对原DataFrame产生影响
算术运算
DataFrame在进行算术运算时会进行补齐，在不重叠的部分补足NA：
可以使用fill_value方法填充NA数据，不过两个df中都为NA的数据，该方法不会填充：
函数应用和映射
numpy的元素级数组方法，也可以用于操作Pandas对象:
另一个常见的操作是，将函数应用到由各列或行所形成的一维数组上。DataFrame的apply方法即可实现此功能。
元素级的Python函数也是可以用的,使用applymap方法:
排序和排名
对于DataFrame,sort_index可以根据任意轴的索引进行排序，并指定升序降序
DataFrame也可以按照值进行排序：
汇总和计算描述统计
DataFrame中的实现了sum、mean、max等方法,我们可以指定进行汇总统计的轴，同时，也可以使用describe函数查看基本所有的统计项：
DataFrame也实现了corr和cov方法来计算一个DataFrame的相关系数矩阵和协方差矩阵，同时DataFrame也可以与Series求解相关系数。
处理缺失数据
Pandas中缺失值相关的方法主要有以下三个：
isnull方法用于判断数据是否为空数据；
fillna方法用于填补缺失数据；
dropna方法用于舍弃缺失数据。
上面两个方法返回一个新的Series或者DataFrame，对原数据没有影响,如果想在原数据上进行直接修改，使用inplace参数：
对DataFrame来说，dropna方法如果发现缺失值，就会进行整行删除，不过可以指定删除的方式，how=all，是当整行全是na的时候才进行删除,同时还可以指定删除的轴。
DataFrame填充缺失值可以统一填充，也可以按列填充，或者指定一种填充方式：
‘叁’ Pandas基本操作
一、查看数据
1.查看DataFrame前xx行或后xx行
a=DataFrame(data);
a.head(6)表示显示前6行数据，若head()中不带参数则会显示全部数据。
a.tail(6)表示显示后6行数据，若tail()中不带参数则也会显示全部数据。
2.查看DataFrame的index，columns以，dtypes及values
a.index ; a.columns ; a.values;a.dtypes 即可
3.describe()函数对于数据的快速统计汇总
a.describe()对每一列数据进行统计，包括计数，均值，std，各个分位数等。
4.对数据的转置
a.T
5.对轴进行排序
a.sort_index(axis=1,ascending=False)；
其中axis=1表示对 所有的columns 进行排序，下面的数也跟着发生移动。后面的ascending=False表示按降序排列，参数缺失时默认升序。
6.对DataFrame中的值排序
a.sort(columns='x')
即对a中的x这一列，从小到大扰雀进行排序。注意仅仅是x这一列，而上面的按轴进行排序时会对所有的columns进行操作。
二、选择对象
1.选择特定列和行的数据
a['x'] 那么将会返回columns为x的列， 注意这种方式一次只能返回一个列。 a.x与a['x']意思一样。
取行数据，神李空通过切片[]来选择
如：a[0:3] 则会返回前三行的数据。
2.通过标签来选择
a.loc['one']则会默认表示选取行为'one'的行；
a.loc[:,['a','b'] ] 表示选取所有的行以及columns为a,b的列；
a.loc[['one','two'],['a','b']] 表示选取'one'和'two'这两行以及columns为a,b的列；
a.loc['one',''a]与a.loc[['one'],['a']]作用是一样的，不过前者只显示对应的值，而后者会显示对应的行和列游瞎标签。
3.通过位置来选择
这与通过标签选择类似
a.iloc[1:2,1:2] 则会显示第一行第一列的数据;(切片后面的值取不到)
a.iloc[1:2] 即后面表示列的值没有时，默认选取 行位置为1的数据 ;
a.iloc[[0,2],[1,2]] 即可以自由选取行位置，和列位置对应的数据。
4.使用条件来选择
使用 单独的列 来选择数据
a[a.c>0] 表示选择c列中大于0的数据
使用where来选择数据
a[a>0] 表直接选择a中所有大于0的数据
使用isin()选出 特定列中包含特定值的行
a1=a.()
a1[a1['one'].isin(['2','3'])] 表显示满足条件：列one中的值包含'2','3'的所有行。
三、设置值（赋值）
赋值操作在上述选择操作的基础上直接赋值即可。
例a.loc[:,['a','c']]=9 即将a和c列的所有行中的值设置为9
a.iloc[:,[1,3]]=9 也表示将a和c列的所有行中的值设置为9
同时也依然可以用条件来直接赋值
a[a>0]=-a 表示将a中所有大于0的数转化为负值
四、缺失值处理
在pandas中，使用np.nan来代替缺失值，这些值将默认不会包含在计算中。
1.reindex()方法
用来 对指定轴上的索引进行改变/增加/删除操作 ，这将返回原始数据的一个拷贝。
a.reindex(index=list(a.index)+['five'],columns=list(b.columns)+['d'])
a.reindex(index=['one','five'],columns=list(b.columns)+['d'])
即用index=[]表示对index进行操作，columns表对列进行操作。
2.对缺失值进行填充
a.fillna(value=x)
表示用值为x的数来对缺失值进行填充
3.去掉包含缺失值的行
a.dropna(how='any')
表示去掉所有包含缺失值的行
五、合并
1.contact
contact(a1,axis=0/1，keys=['xx','xx','xx',...])，其中a1表示要进行进行连接的列表数据,axis=1时表横着对数据进行连接。axis=0或不指定时，表将数据竖着进行连接。a1中要连接的数据有几个则对应几个keys， 设置keys是为了在数据连接以后区分每一个原始a1中的数据。
例：a1=[b['a'],b['c']]
result= pd.concat (a1,axis=1，keys=['1','2'])
2.Append 将一行或多行数据连接到一个DataFrame上
a.append(a[2:],ignore_index=True)
表示将a中的第三行以后的数据全部添加到a中，若不指定ignore_index参数，则会把添加的数据的index保留下来，若ignore_index=Ture则会 对所有的行重新自动建立索引。
3.merge类似于SQL中的join
设a1,a2为两个dataframe,二者中存在相同的键值，两个对象连接的方式有下面几种：
(1)内连接，pd.merge(a1, a2, on='key')
(2)左连接，pd.merge(a1, a2, on='key', how='left')
(3)右连接，pd.merge(a1, a2, on='key', how='right')
(4)外连接， pd.merge(a1, a2, on='key', how='outer')
至于四者的具体差别，具体学习参考sql中相应的语法。
六、分组（groupby）
用pd.date_range函数生成连续指定天数的的日期
pd.date_range('20000101',periods=10)
‘肆’ 2020-08-05--Pandas-03--缺失值处理
这一章节我们来看下如何使用Pandas处理缺失值。
在了解缺失值（也叫控制）如何处理之前，首先要知道的就是什么是缺失值？直观上理解，缺知瞎失值表示的是“缺失的数据”。
可以思考一个问题：是什么原因造成的缺失值呢？其实有很多原因，实际生活中可能由于有的数据不全所以导致数据缺失，也有可能由于误操作导致数据缺失，又或者人为地造成数据缺失。
来看下我们的示例吧。
可以看到，用户 Tom 的性别为 None，用户 Mary 的年龄为 NAN，生日为 NaT。在 Pandas 的眼中，这些都属于缺失值，可以使用 isnull() 或 notnull() 方法来操作。
isnull针对DataFrame对象，notnull()针对Series对象
isnull():判断数据中的缺失值,若是确实值，则为True，否则为Flase，返回一个具体数据权威bool值的DataFrame对象
除了简单的可以识别出哪些是缺失值或非缺失值外，最常用的就是过滤掉一些缺失的行。比如，我想过滤掉用户年龄为空的用户，如何操作呢？
notnull():查看每行的该值是否为确实值，若是，则为True，否则为False，返回Series对象。
对于Series对象，相对简单，直接删除对应搭旦空值为缺失值的行,返回删除后的数据(Series对象)
对于DataFrame对象，相对复杂，因为删除要谨慎操作,参数有：
除了可以丢弃缺失值外，也可以填充缺失值，最常见的是使用 fillna 完成填充。
fillna 这名字一看就是用来填充缺失值的。
填充缺失值时，常见的一种方式是使用一个标量来填充。例如，这里我样有缺失的年龄都填充为 0。
除了可以使用标量来填充之外，还可以使用前一个或后一个有效值来填充。
设置参数 method='pad' 或 method='ffill' 可以使用前一个有效值来填充。
设置参数 method='bfill' 或 method='backfill' 可以使用后一个有效值来填充。
除了通过 fillna 方法来填充缺失值外，还可以通过 interpolate 方法来填充。默认情况下使用线性差值，可以是设置 method 参数来改变方式。
大家有没有想过一个问题：到底什么才是缺失值呢？你可能会奇怪说，前面不是已经说过了么，None、np.nan、NaT 这些都是缺失值。但是我也说过了，这些在 Pandas 的眼中是缺失值，有时候在我们人类的眼中，某些异常值我们也会当做缺失值来处理。
例如，在我们的存储的用户信息中，假定我们限定用户都是青年，出现了年龄为 40 的，我们就可以认为这是一个异常值。再比如，我们都知道性别分为男迟枯性（male）和女性（female），在记录用户性别的时候，对于未知的用户性别都记为了 “unknown”,很明显，我们也可以认为“unknown”是缺失值。此外，有的时候会出现空白字符串，这些也可以认为是缺失值。
对于上面的这种情况，我们可以使用 replace 方法来替换缺失值。
对于Series对象
也可以指定一个映射字典。
对于DataFrame来说，可以在replace方法中加上参数inplace=True来做原地操作：可以对DataFrame，也可以针对某一列/行(Series):
可以指定每列要替换的值。设置为原地操作
类似地，我们可以将特定字符串进行替换.
除了可以替换特定的值之外，还可以使用正则表达式来替换，如：将空白字符串替换成空值。
除了我们自己手动丢弃、填充已经替换缺失值之外，我们还可以使用对象来填充。
例如有两个关于用户年龄的 Series，其中一个有缺失值，另一个没有，我们可以将没有的缺失值的 Series 中的元素传给有缺失值的。
对于Series：
对于DataFrame,与Series一样。
‘伍’ 缺失值处理
缺失数据
1 缺失值的统计和删除
1.1 缺失信息的统计
缺失数据可以使用 isna 或 isnull （两个函数没有区别）来查看每个单元格是否缺失，通过和 sum 的组合可以计算出每列缺失值的比例。
如果想要查看某一列缺失或者非缺失的行，腊困信可以利用 Series 上的 isna 或者 notna 进行布尔索引。例如，查看身高缺失的行：
如果想要同时对几个列，检索出全部为缺失或者至少有一个缺失或者没有缺失的行，可以使用 isna, notna 和any, all 的组合。例如，对身高、体重和转系情况这 3 列分别进行这三种情况的检索
1.2 缺失信息的删除
数据处理中经常需要根据缺失值的大小、比例或其他特征来进行行样本或列特征的删除，pandas 中提供了dropna 函数来进行操作。
dropna 的主要参数为轴方向 axis （默认为 0，即删除行）、删除方式 how 、删除的非缺失值个数阈值 thresh（非缺失值没有达到这个数量的相应维度会被删除）、备选的删除子集 subset ，其中 how 主要有 any 和 all两种参数可以选择。
2 缺失值的填充和插值
2.1 利用 fillna 进行填充
在 fillna 中有三个参数是常用的：value, method, limit 。其中，value 为填充值，可以是标量，也可以是索引到元素的字轮轮典映射；method 为填充方法，有用前面的元素填充 ffill 和用后面的元素填充 bfill 两种类型，limit 参数表示连续缺失值的最大填充次数。
2.2 插值函数
在关于 interpolate 函数的 文档 描述中，列举了许多插值法，包括了大量 Scipy 中的方法。由于很多插值方法涉及到比较复尺禅杂的数学知识，因此这里只讨论比较常用且简单的三类情况，即线性插值、最近邻插值和索引插值。
对于 interpolate 而言，除了插值方法（默认为 linear 线性插值）之外，有与 fillna 类似的两个常用参数，一个是控制方向的 limit_direction ，另一个是控制最大连续缺失值插值个数的 limit 。其中，限制插值的方向默认为 forward ，这与 fillna 的 method 中的 ffill 是类似的，若想要后向限制插值或者双向限制插值可以指定为 backward 或 both
关于 polynomial 和 spline 插值的注意事项
在 interpolate 中 如 果 选 用 polynomial 的 插 值 方 法， 它 内 部 调 用 的 是scipy.interpolate.interp1d(*,*,kind=order) ， 这 个 函 数 内 部 调 用 的 是 make_interp_spline方法，因此其实是样条插值而不是类似于 numpy 中的 polyfit 多项式拟合插值；而当选用 spline方法时，pandas 调用的是 scipy.interpolate.UnivariateSpline 而不是普通的样条插值。这一部分的文档描述比较混乱，而且这种参数的设计也是不合理的，当使用这两类插值方法时，用户一定要小心谨慎地根据自己的实际需求选取恰当的插值方法。
3 Nullable 类型
3.1 缺失记号及其缺陷
在 python 中的缺失值用 None 表示，该元素除了等于自己本身之外，与其他任何元素不相等：
在 numpy 中利用 np.nan 来表示缺失值，该元素除了不和其他任何元素相等之外，和自身的比较结果也返回False
值得注意的是，虽然在对缺失序列或表格的元素进行比较操作的时候，np.nan 的对应位置会返回 False ，但是在使用 equals 函数进行两张表或两个序列的相同性检验时，会自动跳过两侧表都是缺失值的位置，直接返回 True ：
在时间序列的对象中，pandas 利用 pd.NaT 来指代缺失值，它的作用和 np.nan 是一致的
那么为什么要引入 pd.NaT 来表示时间对象中的缺失呢？仍然以 np.nan 的形式存放会有什么问题？在 pandas中可以看到 object 类型的对象，而 object 是一种混杂对象类型，如果出现了多个类型的元素同时存储在 Series中，它的类型就会变成 object
NaT 问题的根源来自于 np.nan 的本身是一种浮点类型，而如果浮点和时间类型混合存储，如果不设计新的内置缺失类型来处理，就会变成含糊不清的 object 类型，这显然是不希望看到的。
同时，由于 np.nan 的浮点性质，如果在一个整数的 Series 中出现缺失，那么其类型会转变为 float64 ；而如果在一个布尔类型的序列中出现缺失，那么其类型就会转为 object 而不是 bool
因此，在进入 1.0.0 版本后，pandas 尝试设计了一种新的缺失类型 pd.NA 以及三种 Nullable 序列类型来应对这些缺陷，它们分别是 Int, boolean 和 string 。
3.2 Nullable 类型的性质
从字面意义上看 Nullable 就是可空的，言下之意就是序列类型不受缺失值的影响。例如，在上述三个 Nullable类型中存储缺失值，都会转为 pandas 内置的 pd.NA
在 Int 的序列中，返回的结果会尽可能地成为 Nullable 的类型
对于 boolean 类型的序列而言，其和 bool 序列的行为主要有两点区别：
第一点是带有缺失的布尔列表无法进行索引器中的选择，而 boolean 会把缺失值看作 False
第二点是在进行逻辑运算时，bool 类型在缺失处返回的永远是 False ，而 boolean 会根据逻辑运算是否能确定唯一结果来返回相应的值。那什么叫能否确定唯一结果呢？举个简单例子：True | pd.NA 中无论缺失值为什么值，必然返回 True ；False | pd.NA 中的结果会根据缺失值取值的不同而变化，此时返回 pd.NA ；False& pd.NA 中无论缺失值为什么值，必然返回 False 。
3.3 缺失数据的计算和分组
当调用函数 sum, prob 使用加法和乘法的时候，缺失数据等价于被分别视作 0 和 1，即不改变原来的计算结果
当使用累计函数时，会自动跳过缺失值所处的位置：
当进行单个标量运算的时候，除了 np.nan ** 0 和 1 ** np.nan 这两种情况为确定的值之外，所有运算结果全为缺失（pd.NA 的行为与此一致），并且 np.nan 在比较操作时一定返回 False ，而 pd.NA 返回 pd.NA
另外需要注意的是，diff, pct_change 这两个函数虽然功能相似，但是对于缺失的处理不同，前者凡是参与缺失计算的部分全部设为了缺失值，而后者缺失值位置会被设为 0% 的变化率
对于一些函数而言，缺失可以作为一个类别处理，例如在 groupby, get_mmies 中可以设置相应的参数来进行增加缺失类别：
4 练习
4.1 Ex1：缺失值与类别的相关性检验
.4.2 Ex2：用回归模型解决分类问题
‘陆’ Pandas基础教程
DataFrameGroupBy对象常用的函数：
数据缺失通常有两种情况：
一种就是空，None等，在pandas是NaN(和np.nan一样)。
另一高历如种是我们让其为0，蓝色框中。
在pandas中数据缺失处理方法 ：
判断数据是否为NaN：pd.isnull(df),pd.notnull(df)
处理方式1：删除NaN所在的行列dropna (axis=0, how='any', inplace=False)
处理方式2：填充数据，t.fillna(t.mean()),t.fiallna(t.median()),t.fillna(0)
处理为0的数据：t[t==0]=np.nan
注意 ：当然并不是每次为0的数据都需要处理；计算平均值等情况，nan是不参与计算的，但是0会。
r取值范围[‐1,1]
0.8‐1.0 极强相关；0.6‐0.8 强相关；戚启 0.4‐0.6 中等程度相关； 0.2‐0.4 弱相关； 0.0‐0.2 极弱相关或无相关。
相关分析函数 适用于Series和DataFrame类型
参考资料：
网址：
https://blog.csdn.net/qq_35318838/article/details/80564938
书籍：
《python数据科学手册》
《利用python进行数据分析》
《python科学计算》
视频：
《黑马程序员之数据分析》
《烂仔python数据分析与展示》
‘柒’ pandas 处理缺失值[dropna、drop、fillna]
一本正经胡说八道的猫
面对缺失值三种处理方法源轿扰：
参考原文链接
option 1： 去掉含有缺失值的样本（行）
option 2：将含有缺失值的列（特征向量）去掉
option 3：将缺失值用某雹旦些帆悉值填充（0，平均值，中值等）
对于dropna和fillna,dataframe和series都有，在这主要讲datafame的
dropna() 方法的其他参数。
参数说明：
方法二：替换并删除，Python pandas 如果某列值为空，过滤删除所在行数据
如上面的df数据，这个时候的思路是：
fillna()给空值填充一个数值（如999999）
index.tolist()找出值为填充值所在行的索引
drop根据索引干掉对应的行
‘捌’ 【数据分析】：Pandas的函数与功能
【注意】：显示索引选择时，包括最后一轮棚困个索引。隐式索引则不包括。
索引器包括：loc、iloc、ix
[Out]:
[Out]:
【技能提升】:ix 索引器，可以将显示索引和隐式索引混合使用。但是 ix不被新版本支持了，所以作为了解就好。
【】：
任何处于处理Numpy形式数据的方法 ，都可以用于这些索引器。比如：掩码、花式索引；
【】：腊念任何一种取值方法，都可以用于调整数据。
【解释】：
[Out]:
【解释】：
【注释】：
Pandas 采用标签法来表示缺失值，有两种方式：
【注意】：
pandas 将None与NaN看成是可等价交换的，在适当的时候，会将两者进行替换，除此之外，Pandas 会将没有标签值的数据，自动转换成NaN。实例如下：
andas：对不同类型的缺失值的转换规则
【注意】：Pandas 中，字符串使用object类型存储。
关于 【thresh】：通过thresh 设置非和改缺失值的最小数量（thresh=n：表没有缺失值）
【方法优化】：
将Series | DataFrame 的index参数设置为至少二维的索引数组
‘玖’ 基于python的prosper借贷平台之数据分析
项目介绍：
p2p 借贷业兄租务具有门槛低，渠道成本低的特性，风险防控对于出借企业来说亩升非常重要。本项目需要
从大量借贷者的数据集中分析出容易违约和不容易违约的人群画像特征，以给业务做贷前决策使
用。同时使用机器学习算法，实现自动识别风险人群（精准率为 89.86%），加快人工审查效率。
项目具体内容：
1、使用 python pandas 工具进行数据清洗、缺失值、异常值处理以及特征指标筛选。
2、使用 python matplotlib 可视化工具进行探索式数据分析，展示用户关键特征如月收入、信用卡
透支情况对于违约率的影响情况。
3、使用机器学习随机森林进行建模分析，使用学习曲线、网格搜索、交叉验证，最终得到了一个评
分为 84.9%、精准率为 89.86%、召回率为 80.70%、auc 面积为 0.9337 数据预测模型。
本次数据训练使用的模型是随机森林分类算法，通过对预处理过的数据集进行训练，使用学习曲线、网格搜索、交叉验证。最终得到了一个评分为84.9%、精准率为89.86%、召回率为80.70%、 auc面积为0.9337 数据预测模型。
数据预处理的基本流程与思路：
1、首先要明确有多少特征，哪些是连续的，哪些是类别的。
2、检查有没有缺失值，对确实的特征选择恰当方式进行弥补，使数据完整。
3、对连续的数值型特征进行标准化，使得均值为0，方差为1。
4、对类别型的特征进行one-hot编码。
5、将需要转换成类别型数据的连续型数据进行二值化。
6、为防止过拟合或者其他原因，选择是否要将数据进行正则化。
7、在对数据进行初探之后发现效果不佳，可以尝试使用多项式方法，寻找非线性的关系。
8、根据实际问题分析是否需要对特征进行相应的函数转换。
导入数据集，并查看数据基本情况。可以看到prosper原始数据量比较庞大，一个有113937个样本，80个特征列，1个标签列。
1.1、特征较多，先共删减一部分无用的特征。
1.2 查看数据缺失情况，可以看到有40个特征是存在数据缺失的，缺失率从0.000219-0.882909不等。下面处理缺失数据。
1.2.1 删除缺失值比较多的特征
下面两个特征缺失率太高，且与迅尘老我们要分析的相关性不大，直接删除掉。
1.2.2 获取数据类型是分类变量的所有特征，并使用unknown进行填充
1.2.3 特殊变量使用计算公式进行填充
1.2.4 去掉意义重复列
1.2.5 删除缺失率比较少的特征的缺失数据行
处理完缺失数据后，样本量为106290，特征量为55
1.3 数据过滤
1.3.1 从2009年7月开始，Prosper调整了对客户的评估方式，此次我们只对2009-07-01后的贷款进行分析。
过滤完数据后，样本量变为82931，特征量为54
2.1单变量分析
0为未违约人数，1位违约人数，可以看到2009.07以后，违约率为22.90%
2.1.1不同地区贷款数量分布
从图中可以看到加利福尼亚州贷款数量远比其他州的数量高。由于prosper总部就位于加利福尼亚州，这与实际情况一致。其他排名靠前的分别是得克萨斯、纽约、佛罗里达、伊利诺伊，贷款数据均超过了5000条。根据2015年美国各州的GDP排名，这5个州刚好排名前五，而且顺序也是一致的。说明Prosper平台的用户主要分布在美国经济发达的地区。
2.1.2 贷款人收入情况分布
年薪在25000美金以上在美国属于技术性白领或者有一定学历的职员，50000美金已经是近金领阶层，比如：大学教授，医生等。从图中可以看出Prosper平台用户的收入水平都相对较高，有利于用户还款，利于平台和投资者的风险控制。
2.1.3贷款人职业分布
从图中可以看出，除了不愿意透露具体职业的人，大部分用户是教授、程序员、企业高管等具有一定社会地位的人，这部分人受过高等教育，信用有一定保障。另外，这与之前看到的收入情况相符。
2.1.4贷款人债务收入比分布
大部分用户的债务收入比在0.2左右，超过0.5的占很少部分。说明Prosper平台用户的还款能力还是比较乐观的
2.1.5 贷款者信用卡使用情况
BankcardUtilization代表的是信用卡使用金额和信用卡额度的比值，可以体现用户的资金需求。Prosper用户多是0.5~1之间，说明用户每个月还有信用卡要还，降低了其还款能力。
2.2 相关的关键因素对贷款违约率的影响
2.2.1借贷人收入IncomeRange对违约率的影响
从图中可以看出：
1.一般来说收入越高违约率越低
2.贷款的人员主要集中在中等收入群体
2.2.2 债务收入比DebtToIncomeRatio对违约率的影响
从上图可以看出：
1.债务收入比小于0.6时，违约数明显小于未违约数，
2.当债务收入比大于0.6时，两者的差距不是很明显甚至违约数大于未违约数，说明了债务收入比越大的人越容易违约
2.2.3 借款人BankcardUtilization对违约率的影响
1.总的来说，随着信用卡的透支比例越来越高，违约率也越来越高
2.SuperUse的违约率到了37.5%，这部分人群需要严格了监控，No Use人群也有31%的违约率，当初将信用卡透支比例为0和NA的数据都归类为No Use，显然没有这么简单，应该是大部分人群的NA值是为了隐藏自己的高透支比例而填写的
2.2.4 消费信用分CreditScoreRange对违约率的影响
从上图可以看出：
1.随着信用分数CreditScore的上升，它的违约率在下降
2.大部分贷款者的信用分为650-800，违约率在0.06-0.02
2.2.5 过去7年借款人违约次数DelinquenciesLast7Years对违约率的影响
过去七年违约次数(DelinquenciesLast7Years)能够衡量一个人在过去七年中征信情况，违约一次或以上的人在借款时违约概率更大。
从上图可以看出：
1.总体来说过去7年违约次数越多，违约率越高
2.过去7年未违约的人数相对来说比其他违约的人数高很多，具体看下面的分析
3.1 数据转化
3.1.1类变量进行哑变量化
样本量变为82931，特征量为127
3.1.2 标签变量进行二分类
已完成贷款的样本量变为26365，特征量为127
未违约率为：0.7709084012895885；违约率为0.22909159871041151
3.2 至此，数据预处理的工作就告一段落，保存预处理好的数据。
导入经过预处理的prosper借贷数据集
4.1 手工挑选特征查看一下建模效果
准确率为0.7695
4.2 使用模型自己选取特征
准确率为0.7780
4.3 使用学习曲线选取最优n_estimators
在0-200/20内学习，得到最优n_estimators=161,score = 0.8508
在151-171/20内学习，得到最优n_estimators=163,score = 0.8511
4.4 使用网格搜索调其他参数
在0-60/5内学习，得到最优max_depth=41
在0-60/5内学习，得到最优max_features=16
这里由于比较耗时，没有进一步细化选择更高的参数
4.4 最终模型效果
最终准确率 0.8490528905289052
混淆矩阵 :
[[5552 554]
[1175 4914]]
精准率 : [0.82533076 0.89868325]
召回率 : [0.90926957 0.80702907]
roc和auc面积为0.9337
4.5 查看各特征的重要性
4.6 数据预测
预测的违约率0.0427