A. python提取excel表中的数据两列
1、首先打开excel表格,在单元格中输入两列数据,需要将这两列数据进行比对相同数据。
2、然后在C1单元格中输入公式:=VLOOKUP(B1,A:A,1,0),意思是比对B1单元格中A列中是否有相同数据。
3、点击回车,即可将公式的计算结果显示出来,可以看到C1中显示的是B1在A列中找到的相同数据。
4、将公式向下填充,即可发现C列中显示出的数字即为有相同数据的,显示“#N/A”的为没有找到匹配数据的。
5、将C1-C4中的数据进行复制并粘贴成数值,即可完成相同数据的提取操作。
在实际研究中,我们经常需要获取大量数据,而这些数据很大一部分以pdf表格的形式呈现,如公司年报、发行上市公告等。面对如此多的数据表格,采用手工复制黏贴的方式显然并不可取。那么如何才能高效提取出pdf文件中的表格数据呢?
Python提供了许多可用于pdf表格识别的库,如camelot、tabula、pdfplumber等。综合来看,pdfplumber库的性能较佳,能提取出完整、且相对规范的表格。因此,本推文也主要介绍pdfplumber库在pdf表格提取中的作用。
作为一个强大的pdf文件解析工具,pdfplumber库可迅速将pdf文档转换为易于处理的txt文档,并输出pdf文档的字符、页面、页码等信息,还可进行页面可视化操作。使用pdfplumber库前需先安装,即在cmd命令行中输入:
pip install pdfplumber
pdfplumber库提供了两种pdf表格提取函数,分别为.extract_tables( )及.extract_table( ),两种函数提取结果存在差异。为进行演示,我们网站上下载了一份短期融资券主体信用评级报告,为pdf格式。任意选取某一表格,其界面如下:
接下来,我们简要分析两种提取模式下的结果差异。
(1).extract_tables( )
可输出页面中所有表格,并返回一个嵌套列表,其结构层次为table→row→cell。此时,页面上的整个表格被放入一个大列表中,原表格中的各行组成该大列表中的各个子列表。若需输出单个外层列表元素,得到的便是由原表格同一行元素构成的列表。例如,我们执行如下程序:
输出结果:
(2).extract_table( )
返回多个独立列表,其结构层次为row→cell。若页面中存在多个行数相同的表格,则默认输出顶部表格;否则,仅输出行数最多的一个表格。此时,表格的每一行都作为一个单独的列表,列表中每个元素即为原表格的各个单元格内容。若需输出某个元素,得到的便是具体的数值或字符串。如下:
输出结果:
在此基础上,我们详细介绍如何从pdf文件中提取表格数据。其中一种思路便是将提取出的列表视为一个字符串,结合Python的正则表达式re模块进行字符串处理后,将其保存为以标准英文逗号分隔、可被Excel识别的csv格式文件,即进行如下操作:
输出结果:
尽管能获得完整的表格数据,但这种方法相对不易理解,且在处理结构不规则的表格时容易出错。由于通过pdfplumber库提取出的表格数据为整齐的列表结构,且含有数字、字符串等数据类型。因此,我们可调用pandas库下的DataFrame( )函数,将列表转换为可直接输出至Excel的DataFrame数据结构。DataFrame的基本构造函数如下:
DataFrame([data,index, columns])
三个参数data、index和columns分别代表创建对象、行索引和列索引。DataFrame类型可由二维ndarray对象、列表、字典、元组等创建。本推文中的data即指整个pdf表格,提取程序如下:
其中,table[1:]表示选定整个表格进行DataFrame对象创建,columns=table[0]表示将表格第一行元素作为列变量名,且不创建行索引。输出Excel表格如下:
通过以上简单程序,我们便提取出了完整的pdf表格。但需注意的是,面对不规则的表格数据提取,创建DataFrame对象的方法依然可能出错,在实际操作中还需进行核对。
关于我们
微信公众号“爬虫俱乐部”分享实用的stata命令,欢迎转载、打赏。爬虫俱乐部是由李春涛教授领导下的研究生及本科生组成的大数据分析和数据挖掘团队。
投稿要求:
1)必须原创,禁止抄袭;
2)必须准确,详细,有例子,有截图;
B. python中的列表与数组转换
将列表转换成数组或者数组转换成列敏判表,隐逗操作如下(使用桥携改函数array 和 tolist):
from numpy import *
listS = [[1, 2, 3, 4, 5], [6, 7, 8, 9, 10], [20, 30, 40, 50, 60, 70, 80, 90, 100]]
print(listS)
temp_array = array(listS, dtype=object)
print(temp_array)
listR = temp_array.tolist()
print(listR)
C. python对excel操作
Python对于Excel的闹掘操作是多种多样的,掌握了相关用法就可以随心所欲的操作数据了!
操作xls文件
xlrd(读操作):
import xlrd
1、引入xlrd模块
workbook=xlrd.open_workbook("36.xls")
2、打开[36.xls]文件,获取excel文件的workbook(工作簿)对象
names=workbook.sheet_names()
3、获取所有sheet的名字
worksheet=workbook.sheet_by_index(0)
4、通过sheet索引获得sheet对象
worksheet为excel表第一个sheet表的实例化对象
worksheet=workbook.sheet_by_name("各省市")
5、通过sheet名获得sheet对象
worksheet为excel表sheet名为【各省市】的实例化对象
nrows=worksheet.nrows
6、获取该表的总行数
ncols=worksheet.ncols
7、获取该表的总列数
row_data=worksheet.row_values(n)
8、获取该表第n行的内容
col_data=worksheet.col_values(n)
9、获取该表第n列的内容
cell_value=worksheet.cell_value(i,j)
10、获取该表第i行第j列的单元格内容
xlwt(写操作):
import xlwt
1、引入xlwt模块
book=xlwt.Workbook(encoding="utf-8")
2、创建一个Workbook对象,相当于创建了一个Excel文件
sheet = book.add_sheet('test')
3、创建一个sheet对象,一个sheet对象对应Excel文件中的一张表格。
sheet.write(i, j, '各省市')
4、向sheet表的第i行第j列,写入'各省市'
book.save('Data\\36.xls')
5、保存为Data目录下【36.xls】文件
操作xlsx文件
openpyxl(读操作):
import openpyxl
1、引入openpyxl模块
workbook=openpyxl.load_workbook("36.xlsx")
2、打开[36.xlsx]文件,获取excel文件的workbook(工作簿)对象
names=workbook.sheetnames
worksheet=workbook.worksheets[0]
worksheet=workbook["各省市"]
ws = workbook.active
6、获取当前活跃的worksheet,默认就是第一个worksheet
nrows=worksheet.max_row
7、获取该表皮拍的总行数
ncols=worksheet.max_column
8、获取该表的总列数
content_A1= worksheet['A1'].value
9、获取该表A1单元格的内容
content_A1=worksheet.cell(row=1,column=1).value
10、获取该表第1列第1列的内容
openpyxl(写操作):
workbook=openpyxl.Workbook()worksheet = workbook.active
3、获取当前活跃的worksheet,默认就是第一个worksheet
worksheet.title="test"
4、worksheet的名称设置为"test"
worksheet = workbook.create_sheet()
5、创建一个新的sheet表,默认插在工作簿末尾
worksheet.cell(i,j,'空')
6、第i行第j列的值改成'空'
worksheet["B2"]="空"
7、将B2的值改成'空'
worksheet.insert_cols(1)
8、在第一列之前插入燃弯羡一列
worksheet.append(["新增","台湾省"])
9、添加行
workbook.save("Data\\36.xlsx")
10、保存为Data目录下【36.xlsx】文件
pandas处理excel文件
pandas操作:
import pandas as pd
1、引入pandas模块
data = pd.read_excel('36.xls')
2、读取[36.xls]或者[36.xlsx]文件
data = pd.read_csv('36.csv')
3、读取[36.csv]文件
data=data.dropna(subset=['店铺'])
4、过滤掉data店铺列有缺失的数据
data.sort_values("客户网名", inplace=True)
5、将data数据按照客户网名列进行从小到大排序
data = pd.read_csv(36.csv, skiprows = [0,1,2],sep = None, skipfooter = 4)
6、读取[36.csv]文件,前三行和后四行的数据略过
data = data.fillna('空')
7、将data中的空白处填充成'空'
data.drop_plicates('订单','first',inplace=True)
8、data中的数据,按照【订单】列做去重处理,保留第一条数据
data=pd.DataFrame(data,columns=['订单','仓库'])
9、只保留data中【订单】【仓库】列的数据
data = data[(data[u'展现量'] > 0)]
10、只保留【展现量】列中大于0的数据
data= data[data["订单"].str.contains('000')]
11、只保留【订单】列中包含'000'的数据
data= data[data["仓库"]=='正品仓']
12、只保留【仓库】列是'正品仓'的数据
xs= data[data["店铺"]=='南极人']['销售额']
13、获取店铺是南极人的销售额数据
data['订单'] = data['订单'].str[3:7]
14、【订单】列的值只保留4-8个字节的值
data["邮资"] = np.where((data['店铺'].str.contains('T|t')) & -(data['仓库'] == '代发仓'), 8, data['邮资'])
15、满足店铺列包含 T 或 t 并且仓库不等于'代发仓'的话,将邮资的值改成8,否则值不变
data = np.array(data).tolist()
16、将data从DataFrame转换成列表
data=pd.DataFrame(data)
17、将列表转换成DataFrame格式
zhan = data[u'展现'].sum().round(2)
18、将data中所有展现列数据求和,并取两位小数
sum=data.groupby(['店铺'])['刷单'].sum()
19、将data中按照店铺对刷单进行求和
counts=data['店铺'].value_counts()
20、将data按照店铺进行计算
avg=data.groupby(['店铺'])['刷单'].mean()
21、将data按照店铺对刷单进行求平均数
count = pd.concat([counts,sum], axis=1, ignore_index=True, sort=True)
22、将counts和sum两个DataFrame进行了组合
count=count.rename(index=str, columns={0: "订单", 1: "成本"})
23、将新生成的DataFrame列名进行修改
data = pd.merge(sum, counts, how='left', left_on='店铺', right_on='店铺')
24、将列表转换成DataFrame格式
from openpyxl import Workbook
wb=Workbook()
ws1=wb.active
data.to_excel('36.xlsx')
wb.close()
25、data完整的写入到关闭过程,执行此操作的时候【36.xlsx】不能是打开状态
excel格式操作
样式处理:
1、打开【36.xlsx】
sheet=workbook.worksheets[0]
2、将第一个sheet对象赋值给sheet
sheet.column_dimensions['A'].width = 20.0
3、将A列的宽度设置为20
sheet.row_dismensions[1].height = 20.0
4、将第一行的行高设置为20
sheet.merge_cells('A1:A2')
5、将sheet表A1和A2单元格合并
sheet.unmerge_cells('A1:A2')
6、将sheet表A1和A2单元格取消合并
sheet.insert_rows(2,2)
7、将sheet表从第2行插入2行
sheet.insert_cols(3,2)
8、将sheet表从第3列插入2列
sheet.delete_rows(2)
9、删除第2行
sheet.delete_cols(3, 2)
10、将sheet表从第3列开始删除2列
from openpyxl.styles import Font, Border, PatternFill, colors, Alignment
11、分别引入字体、边框、图案填充、颜色、对齐方式
sheet.cell(i,j).font = Font(name='Times New Roman', size=14, bold=True, color=colors.WHITE)
12、设置sheet表第 i 行第 j 列的字体
sheet.cell(i,j).alignment = Alignment(horizontal='center', vertical='center')
13、设置sheet表第 i 行第 j 列的字体对齐方式
left, right, top, bottom = [Side(style='thin', color='000000')] * 4sheet.cell(i,j).border = Border(left=left, right=right, top=top, bottom=bottom)
14、引入边框样式并调用
fill = PatternFill("solid", fgColor="1874CD")sheet.cell(1,j).fill = fill
15、引入填充样式,并调用
import xlrd
from openpyxl import Workbook
from openpyxl import load_workbook
workbook=load_workbook(filename='C:/Users/EDZ/Desktop/工作/2021.08.03/大兄弟.xlsx')
sheet=workbook.active
sheet.insert_cols(idx=1)
sheet.merge_cells(A1:A3)
sheet['A1']=['上海','山东','浙江']
D. Python 如何将该列表转换成excel表格
可以使用 Python 的第三方库 pandas 将列表转换成 excel 表格。
首先需要安装 pandas 库,在命令行中输入:
pip install pandas
然后可以使用 pandas 库中的 DataFrame 函数将列表转换成 DataFrame 数据结差昌樱构,再使用 to_excel 函数将 DataFrame 保存为 excel 文件。
示例代码:
import pandas as pd
# 假设你有一个名为 data 的列表
data = [['Tom', 10], ['Dick', 15], ['Harry', 20]]
# 使用 pandas 将列表转换成 DataFrame
df = pd.DataFrame(data, columns=['Name', 'Age'])
# 使用 to_excel 函数虚丛将 DataFrame 保存为 excel 文件
df.to_excel("data.xlsx")
这样就可以在当前目录下生成一个名为 data.xlsx 的 excel 文件,里面包含迅唤了你的列表数据。
E. 如何快速转换列表的数据类型
快速转换方法: 假设数据在A列,从A2开始,B列为空,用于输入临缓团运时公式。 在B2处输入 =A2*1 点B2右下角的黑点出现“十”时,按住左或芦键往下拖 选择B列中的数值,右键“复制”,点A2选 “选择性粘贴扰梁--点--数值”即可。
F. Pandas 将List 转为 Dataframe
使用 xlwings 对 excel 进行操作。
G. Python:怎么将"列表嵌套字典"转换成理想的DataFrame
H. R语言 将lists转变为dataframe
将R语言中的列表转变带碧为蠢野举dataframe格式,脊拦rbind函数比较好用,也有一些需要注意的问题
请参考: https://stackoverflow.com/questions/4227223/convert-a-list-to-a-data-frame
I. python中list 合并为dataframe问题
python中要把字符串转换成日期格式需要使用time模凯巧老块中的strptime函数,例子如下: import timet = time.strptime('2016-05-09 21:09:30', '%Y-%m-%d %H:%M:%S')print(t)执行盯升宽春结果如下: time.struct_time(tm_year=2016, tm_mon=5, tm_mday=9,
J. python 如何将一行十列的数据转换dataframe格式两行五列的数据
见样表稿禅截图
A3输入哪敬孝
=OFFSET($A$1,,COLUMN(A1)-1+(ROW(A1)-1)*5)
公式右李稿拉再下拉