A. python提取excel表中的數據兩列
1、首先打開excel表格,在單元格中輸入兩列數據,需要將這兩列數據進行比對相同數據。
2、然後在C1單元格中輸入公式:=VLOOKUP(B1,A:A,1,0),意思是比對B1單元格中A列中是否有相同數據。
3、點擊回車,即可將公式的計算結果顯示出來,可以看到C1中顯示的是B1在A列中找到的相同數據。
4、將公式向下填充,即可發現C列中顯示出的數字即為有相同數據的,顯示「#N/A」的為沒有找到匹配數據的。
5、將C1-C4中的數據進行復制並粘貼成數值,即可完成相同數據的提取操作。
在實際研究中,我們經常需要獲取大量數據,而這些數據很大一部分以pdf表格的形式呈現,如公司年報、發行上市公告等。面對如此多的數據表格,採用手工復制黏貼的方式顯然並不可取。那麼如何才能高效提取出pdf文件中的表格數據呢?
Python提供了許多可用於pdf表格識別的庫,如camelot、tabula、pdfplumber等。綜合來看,pdfplumber庫的性能較佳,能提取出完整、且相對規范的表格。因此,本推文也主要介紹pdfplumber庫在pdf表格提取中的作用。
作為一個強大的pdf文件解析工具,pdfplumber庫可迅速將pdf文檔轉換為易於處理的txt文檔,並輸出pdf文檔的字元、頁面、頁碼等信息,還可進行頁面可視化操作。使用pdfplumber庫前需先安裝,即在cmd命令行中輸入:
pip install pdfplumber
pdfplumber庫提供了兩種pdf表格提取函數,分別為.extract_tables( )及.extract_table( ),兩種函數提取結果存在差異。為進行演示,我們網站上下載了一份短期融資券主體信用評級報告,為pdf格式。任意選取某一表格,其界面如下:
接下來,我們簡要分析兩種提取模式下的結果差異。
(1).extract_tables( )
可輸出頁面中所有表格,並返回一個嵌套列表,其結構層次為table→row→cell。此時,頁面上的整個表格被放入一個大列表中,原表格中的各行組成該大列表中的各個子列表。若需輸出單個外層列表元素,得到的便是由原表格同一行元素構成的列表。例如,我們執行如下程序:
輸出結果:
(2).extract_table( )
返回多個獨立列表,其結構層次為row→cell。若頁面中存在多個行數相同的表格,則默認輸出頂部表格;否則,僅輸出行數最多的一個表格。此時,表格的每一行都作為一個單獨的列表,列表中每個元素即為原表格的各個單元格內容。若需輸出某個元素,得到的便是具體的數值或字元串。如下:
輸出結果:
在此基礎上,我們詳細介紹如何從pdf文件中提取表格數據。其中一種思路便是將提取出的列表視為一個字元串,結合Python的正則表達式re模塊進行字元串處理後,將其保存為以標准英文逗號分隔、可被Excel識別的csv格式文件,即進行如下操作:
輸出結果:
盡管能獲得完整的表格數據,但這種方法相對不易理解,且在處理結構不規則的表格時容易出錯。由於通過pdfplumber庫提取出的表格數據為整齊的列表結構,且含有數字、字元串等數據類型。因此,我們可調用pandas庫下的DataFrame( )函數,將列表轉換為可直接輸出至Excel的DataFrame數據結構。DataFrame的基本構造函數如下:
DataFrame([data,index, columns])
三個參數data、index和columns分別代表創建對象、行索引和列索引。DataFrame類型可由二維ndarray對象、列表、字典、元組等創建。本推文中的data即指整個pdf表格,提取程序如下:
其中,table[1:]表示選定整個表格進行DataFrame對象創建,columns=table[0]表示將表格第一行元素作為列變數名,且不創建行索引。輸出Excel表格如下:
通過以上簡單程序,我們便提取出了完整的pdf表格。但需注意的是,面對不規則的表格數據提取,創建DataFrame對象的方法依然可能出錯,在實際操作中還需進行核對。
關於我們
微信公眾號「爬蟲俱樂部」分享實用的stata命令,歡迎轉載、打賞。爬蟲俱樂部是由李春濤教授領導下的研究生及本科生組成的大數據分析和數據挖掘團隊。
投稿要求:
1)必須原創,禁止抄襲;
2)必須准確,詳細,有例子,有截圖;
B. python中的列表與數組轉換
將列表轉換成數組或者數組轉換成列敏判表,隱逗操作如下(使用橋攜改函數array 和 tolist):
from numpy import *
listS = [[1, 2, 3, 4, 5], [6, 7, 8, 9, 10], [20, 30, 40, 50, 60, 70, 80, 90, 100]]
print(listS)
temp_array = array(listS, dtype=object)
print(temp_array)
listR = temp_array.tolist()
print(listR)
C. python對excel操作
Python對於Excel的鬧掘操作是多種多樣的,掌握了相關用法就可以隨心所欲的操作數據了!
操作xls文件
xlrd(讀操作):
import xlrd
1、引入xlrd模塊
workbook=xlrd.open_workbook("36.xls")
2、打開[36.xls]文件,獲取excel文件的workbook(工作簿)對象
names=workbook.sheet_names()
3、獲取所有sheet的名字
worksheet=workbook.sheet_by_index(0)
4、通過sheet索引獲得sheet對象
worksheet為excel表第一個sheet表的實例化對象
worksheet=workbook.sheet_by_name("各省市")
5、通過sheet名獲得sheet對象
worksheet為excel表sheet名為【各省市】的實例化對象
nrows=worksheet.nrows
6、獲取該表的總行數
ncols=worksheet.ncols
7、獲取該表的總列數
row_data=worksheet.row_values(n)
8、獲取該表第n行的內容
col_data=worksheet.col_values(n)
9、獲取該表第n列的內容
cell_value=worksheet.cell_value(i,j)
10、獲取該表第i行第j列的單元格內容
xlwt(寫操作):
import xlwt
1、引入xlwt模塊
book=xlwt.Workbook(encoding="utf-8")
2、創建一個Workbook對象,相當於創建了一個Excel文件
sheet = book.add_sheet('test')
3、創建一個sheet對象,一個sheet對象對應Excel文件中的一張表格。
sheet.write(i, j, '各省市')
4、向sheet表的第i行第j列,寫入'各省市'
book.save('Data\\36.xls')
5、保存為Data目錄下【36.xls】文件
操作xlsx文件
openpyxl(讀操作):
import openpyxl
1、引入openpyxl模塊
workbook=openpyxl.load_workbook("36.xlsx")
2、打開[36.xlsx]文件,獲取excel文件的workbook(工作簿)對象
names=workbook.sheetnames
worksheet=workbook.worksheets[0]
worksheet=workbook["各省市"]
ws = workbook.active
6、獲取當前活躍的worksheet,默認就是第一個worksheet
nrows=worksheet.max_row
7、獲取該表皮拍的總行數
ncols=worksheet.max_column
8、獲取該表的總列數
content_A1= worksheet['A1'].value
9、獲取該表A1單元格的內容
content_A1=worksheet.cell(row=1,column=1).value
10、獲取該表第1列第1列的內容
openpyxl(寫操作):
workbook=openpyxl.Workbook()worksheet = workbook.active
3、獲取當前活躍的worksheet,默認就是第一個worksheet
worksheet.title="test"
4、worksheet的名稱設置為"test"
worksheet = workbook.create_sheet()
5、創建一個新的sheet表,默認插在工作簿末尾
worksheet.cell(i,j,'空')
6、第i行第j列的值改成'空'
worksheet["B2"]="空"
7、將B2的值改成'空'
worksheet.insert_cols(1)
8、在第一列之前插入燃彎羨一列
worksheet.append(["新增","台灣省"])
9、添加行
workbook.save("Data\\36.xlsx")
10、保存為Data目錄下【36.xlsx】文件
pandas處理excel文件
pandas操作:
import pandas as pd
1、引入pandas模塊
data = pd.read_excel('36.xls')
2、讀取[36.xls]或者[36.xlsx]文件
data = pd.read_csv('36.csv')
3、讀取[36.csv]文件
data=data.dropna(subset=['店鋪'])
4、過濾掉data店鋪列有缺失的數據
data.sort_values("客戶網名", inplace=True)
5、將data數據按照客戶網名列進行從小到大排序
data = pd.read_csv(36.csv, skiprows = [0,1,2],sep = None, skipfooter = 4)
6、讀取[36.csv]文件,前三行和後四行的數據略過
data = data.fillna('空')
7、將data中的空白處填充成'空'
data.drop_plicates('訂單','first',inplace=True)
8、data中的數據,按照【訂單】列做去重處理,保留第一條數據
data=pd.DataFrame(data,columns=['訂單','倉庫'])
9、只保留data中【訂單】【倉庫】列的數據
data = data[(data[u'展現量'] > 0)]
10、只保留【展現量】列中大於0的數據
data= data[data["訂單"].str.contains('000')]
11、只保留【訂單】列中包含'000'的數據
data= data[data["倉庫"]=='正品倉']
12、只保留【倉庫】列是'正品倉'的數據
xs= data[data["店鋪"]=='南極人']['銷售額']
13、獲取店鋪是南極人的銷售額數據
data['訂單'] = data['訂單'].str[3:7]
14、【訂單】列的值只保留4-8個位元組的值
data["郵資"] = np.where((data['店鋪'].str.contains('T|t')) & -(data['倉庫'] == '代發倉'), 8, data['郵資'])
15、滿足店鋪列包含 T 或 t 並且倉庫不等於'代發倉'的話,將郵資的值改成8,否則值不變
data = np.array(data).tolist()
16、將data從DataFrame轉換成列表
data=pd.DataFrame(data)
17、將列表轉換成DataFrame格式
zhan = data[u'展現'].sum().round(2)
18、將data中所有展現列數據求和,並取兩位小數
sum=data.groupby(['店鋪'])['刷單'].sum()
19、將data中按照店鋪對刷單進行求和
counts=data['店鋪'].value_counts()
20、將data按照店鋪進行計算
avg=data.groupby(['店鋪'])['刷單'].mean()
21、將data按照店鋪對刷單進行求平均數
count = pd.concat([counts,sum], axis=1, ignore_index=True, sort=True)
22、將counts和sum兩個DataFrame進行了組合
count=count.rename(index=str, columns={0: "訂單", 1: "成本"})
23、將新生成的DataFrame列名進行修改
data = pd.merge(sum, counts, how='left', left_on='店鋪', right_on='店鋪')
24、將列表轉換成DataFrame格式
from openpyxl import Workbook
wb=Workbook()
ws1=wb.active
data.to_excel('36.xlsx')
wb.close()
25、data完整的寫入到關閉過程,執行此操作的時候【36.xlsx】不能是打開狀態
excel格式操作
樣式處理:
1、打開【36.xlsx】
sheet=workbook.worksheets[0]
2、將第一個sheet對象賦值給sheet
sheet.column_dimensions['A'].width = 20.0
3、將A列的寬度設置為20
sheet.row_dismensions[1].height = 20.0
4、將第一行的行高設置為20
sheet.merge_cells('A1:A2')
5、將sheet表A1和A2單元格合並
sheet.unmerge_cells('A1:A2')
6、將sheet表A1和A2單元格取消合並
sheet.insert_rows(2,2)
7、將sheet表從第2行插入2行
sheet.insert_cols(3,2)
8、將sheet表從第3列插入2列
sheet.delete_rows(2)
9、刪除第2行
sheet.delete_cols(3, 2)
10、將sheet表從第3列開始刪除2列
from openpyxl.styles import Font, Border, PatternFill, colors, Alignment
11、分別引入字體、邊框、圖案填充、顏色、對齊方式
sheet.cell(i,j).font = Font(name='Times New Roman', size=14, bold=True, color=colors.WHITE)
12、設置sheet表第 i 行第 j 列的字體
sheet.cell(i,j).alignment = Alignment(horizontal='center', vertical='center')
13、設置sheet表第 i 行第 j 列的字體對齊方式
left, right, top, bottom = [Side(style='thin', color='000000')] * 4sheet.cell(i,j).border = Border(left=left, right=right, top=top, bottom=bottom)
14、引入邊框樣式並調用
fill = PatternFill("solid", fgColor="1874CD")sheet.cell(1,j).fill = fill
15、引入填充樣式,並調用
import xlrd
from openpyxl import Workbook
from openpyxl import load_workbook
workbook=load_workbook(filename='C:/Users/EDZ/Desktop/工作/2021.08.03/大兄弟.xlsx')
sheet=workbook.active
sheet.insert_cols(idx=1)
sheet.merge_cells(A1:A3)
sheet['A1']=['上海','山東','浙江']
D. Python 如何將該列表轉換成excel表格
可以使用 Python 的第三方庫 pandas 將列表轉換成 excel 表格。
首先需要安裝 pandas 庫,在命令行中輸入:
pip install pandas
然後可以使用 pandas 庫中的 DataFrame 函數將列表轉換成 DataFrame 數據結差昌櫻構,再使用 to_excel 函數將 DataFrame 保存為 excel 文件。
示例代碼:
import pandas as pd
# 假設你有一個名為 data 的列表
data = [['Tom', 10], ['Dick', 15], ['Harry', 20]]
# 使用 pandas 將列表轉換成 DataFrame
df = pd.DataFrame(data, columns=['Name', 'Age'])
# 使用 to_excel 函數虛叢將 DataFrame 保存為 excel 文件
df.to_excel("data.xlsx")
這樣就可以在當前目錄下生成一個名為 data.xlsx 的 excel 文件,裡麵包含迅喚了你的列表數據。
E. 如何快速轉換列表的數據類型
快速轉換方法: 假設數據在A列,從A2開始,B列為空,用於輸入臨緩團運時公式。 在B2處輸入 =A2*1 點B2右下角的黑點出現「十」時,按住左或蘆鍵往下拖 選擇B列中的數值,右鍵「復制」,點A2選 「選擇性粘貼擾梁--點--數值」即可。
F. Pandas 將List 轉為 Dataframe
使用 xlwings 對 excel 進行操作。
G. Python:怎麼將"列表嵌套字典"轉換成理想的DataFrame
H. R語言 將lists轉變為dataframe
將R語言中的列表轉變帶碧為蠢野舉dataframe格式,脊攔rbind函數比較好用,也有一些需要注意的問題
請參考: https://stackoverflow.com/questions/4227223/convert-a-list-to-a-data-frame
I. python中list 合並為dataframe問題
python中要把字元串轉換成日期格式需要使用time模凱巧老塊中的strptime函數,例子如下: import timet = time.strptime('2016-05-09 21:09:30', '%Y-%m-%d %H:%M:%S')print(t)執行盯升寬春結果如下: time.struct_time(tm_year=2016, tm_mon=5, tm_mday=9,
J. python 如何將一行十列的數據轉換dataframe格式兩行五列的數據
見樣表稿禪截圖
A3輸入哪敬孝
=OFFSET($A$1,,COLUMN(A1)-1+(ROW(A1)-1)*5)
公式右李稿拉再下拉