Ⅰ python 生成的資料庫文件放哪裡
根據路徑
如果不指定路徑就在執行腳本的地方
Ⅱ 數據挖掘數據集怎麼找
去超市或者什麼銷售商店找他們合作試試,他們都有銷售購買記錄,
有技術的沒數據,有數據的不懂分析,我導師就是採用合作的方法,
1)數據就是財富,有些人不會分析就只能和他們合作了
2)數據關系用戶的隱私信息,一般都不會公開的
還有建議你索要時,表明只做研究用途,可以給他們一些銷售建議,另外註明會簽訂數據保密協議的
若遇到沒頭腦沒經營遠見不懂數據的經理,你還是去網上搜搜吧,不過網上的都是修改過的類似真實數據的數據,都不是真實數據集(真實的也沒人敢放在網上),也可以去UCI上搜搜類似的數據集
PS:不要忘記給最佳答案呦,我都辛苦半天了 (^-^)
Ⅲ 如何用python pymysql查看資料庫
1、python安裝目錄設定為d:/python342、pymysql安裝方法為:解壓下載的文件,在cmd中運行: python setup.py install。
檢驗安裝安裝是否成功的方法:import pymysql 。 如果不報錯 說明安裝成功。
3、mysql安裝目錄為D:/phpStudy/MySQL。為避免更多配置問題,可在啟動phpstudy後,將其設為系統服務
4、基本操作:
(1)導入pymysql: import pymysql
(2)連接資料庫:
conn=pymysql.connect(host='localhost',user='root',passwd='root',db='ere',charset='utf8')
務必注意各等號前面的內容!charset參數可避免中文亂碼
(3)獲取操作游標:cur=conn.cursor()
(4)執行sql語句,插入記錄:sta=cur.execute("insert 語句") 執行成功後sta值為1。更新、刪除語句與此類似。
(5)執行sql語句,查詢記錄:cur.execute("select語句") 執行成功後cur變數中保存了查詢結果記錄集,然後再用循環列印結果:
for each in cur:
print(each[1].decode('utf-8')) # each[1] 表示當前游標所在行的的第2列值,如果是中文則需要處理編碼
Ⅳ python iris數據集在哪
from sklearn.datasets import load_iris
iris = load_iris()
print(iris.keys())
n_samples, n_features = iris.data.shape
print((n_samples, n_features))
print(iris.data[0])
print(iris.target.shape)
print(iris.target)
print(iris.target_names)
print("feature_names:",iris.feature_names)
sklearn中的iris數據集有5個key:
[『target_names』, 『data』, 『target』, 『DESCR』, 『feature_names』]
(150L, 4L)
data[0]:[ 5.1 3.5 1.4 0.2]
(『feature_names:』, [『sepal length (cm)』, 『sepal width (cm)』, 『petal length (cm)』, 『petal width (cm)』])
(150L,)
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2]
[『setosa』 『versicolor』 『virginica』]
target_names : 分類名稱
target:分類(150個)
feature_names: 特徵名稱
data : 特徵值
Ⅳ python 怎麼顯示資料庫數據
首先你要知道如何在視圖里渲染模板,另外得要看你用的是什麼資料庫,以及你是否使用django的orm。
拿mysql為例,如果你只需要從現有資料庫中查詢數據並顯示,那麼使用MySQLdb模塊即可,查詢出來的數據和模板進行渲染,之後返回渲染後的模板對象即可。
Ⅵ python如何訪問資料庫
1.背景:
python提供了很多資料庫介面, 常用的資料庫有 MS SQL Server /mysql /oracle 等。
打開鏈接 https://wiki.python.org/moin/DatabaseInterfaces
是python 關於資料庫介面的一個總結 , 可以看到python支持的訪問的資料庫系統。
2.模塊:
python 主要是通過模塊和資料庫連接的。
2.1 安裝模塊:
如果使用anconda,本身就會集合很多模塊,不需要手動安裝。如果用pycharm就要手動安裝模塊。
安裝模塊流程:
下載模塊擴展包放到路徑下——>cmd找到相應路徑——> pip install +擴展包名字
下面列舉一些常用連接資料庫的模塊:pymssql / sqlite3/ PyMySQL/pyodbc/odbc/adodbapi
不同模塊連接的資料庫不同, 支持的版本系統有的也不一樣。但是大體用法都是相近的, 因為有DB-API
相關推薦:《Python教程》
3.Python DB-API
3.1背景:
在沒有DB-API 之前, 不同資料庫有不同的資料庫介面程序, 這就導致python 訪問 database 的介面程序非常混亂。如果我們學習了python 訪問 mysql 的介面程序, 然後要切換到另一個資料庫上, 我們還要在學習另外一個資料庫的介面程序。python DB-API就是為了解決介面程序混亂而生成的。有了DB-API, 在不同資料庫上移植代碼就變得簡單的多了。
3.2Python DB-API:
Python 定義了一套操作資料庫的 DB-API 介面,它是一個規范,定義了一系列必須的對象和資料庫存取方式,以便為不同的底層資料庫系統提供一致的訪問介面
這個鏈接就是python 官方給定的 DB-API 的說明 https://www.python.org/dev/peps/pep-0249/
3.3 Python DB--API的內容:
連接對象:
?Connect()創建連接:host/server /user/password/db connect方法生成一個connect對象, 我們通過這個對象來訪問資料庫。符合標準的模塊都會實現connect方法。
?close():關閉連接
?commit():提交當前事務。做出某些更改後確保已經進行了提交,這樣才可以將這些修改真正地保存到database中
?rollback() 回滾上一次調用 commit()以來對資料庫所做的更改
?cursor():創建游標。系統為用戶開通的一個數據緩沖區,用於存放SQL語句執行結果。cursor游標是有狀態的,它可以記錄當前已經取到結果的第幾個記錄了,因此,一般你只可以遍歷結果集一次。在上面的情況下,如果執行fetchone()會返回為空。這一點在測試時需要注意
游標對象:
?Execute()執行一個資料庫查詢或命令。 execute 執行sql 語句之後運行的結果不會直接output 出來 , 而是放到了一個緩存區, 要用 fetch語句+print 可以查詢sql運行的結果
?fetchone ()得到結果集的下一行
?fetchmany(size)得到結果集的下幾行
?fetchall()返回結果集中剩下的所有行
?rowcount 返回影響的行數
?Close()關閉游標對象
3.4Python DB--API的工作原理及流程:
如圖所示如果把python 和資料庫比作兩個不同的地點, connection 就是路, 能連接python和database。cursor就像在路上行駛的小貨車, 可以用於執行sql 語句, 以及存儲sql 運行的結果。
流程:
4.MS SQL Server 示例:
4.1 導入模塊、創建連接:
4.2 創建游標: 游標創建之後就可以對資料庫進行查詢更改了!
4.3對數據進行操作(創建表、插入行、更新數據、增加列、刪除行、列、表):
4.4 查詢 獲取行:
5.其他:
使用游標的時候要注意, 每次連接只能有一個游標查詢處於活躍狀態。 code演示:
execute()循環和 executemany() 插入100000 條數據測速:
Ⅶ Python數據挖掘從哪些
一. 基於Python的數據挖掘 基本架構
1. matplotlib, 圖形化
2. pandas,數據挖掘的關鍵, 提供各種挖掘分析的演算法
3. numpy, 提供基本的統計
scipy, 提供各種數學公式
4. python common lib,python基本框架
二. 環境搭建
1. 安裝python
2. 安裝pip
pandas依賴的pip版本,最低是8.0.0。如果pip是8以下的版本,如7.2.1,需要升級pip.
命令是「python -m pip install -U pip」,這是windows版本。
Linux是」pip install -U pip「
通過命令「pip --version」, 可以查看pip版本號
3. 安裝pandas
命令「pip install pandas", 這是windows版本。
Linux平台可用
sudo apt-get install python-pandas
4. 安裝matplotlib
pip install matplotlib
三. 數據類型
pypython common type
string list tuple dict set
6鍾學列
list, tuple, string, unicode string, buffer object, xrange
pandas type
ndarray, series dateFrame
ndarray, 數組類型,新增原因:
list, tuple是基於指針+對象設計的。即list,tuple存儲的是void*指針,指針指向具體對象的數據。
因為是void*指針,所以二者可以存儲各種數據類型,即數據類型可以不統一。
雖然存儲豐富,但如果數據量過大時,即處理大數據時,有弊端。
1. 存儲空間大,浪費內存。因為存兩部分,指針+數據
2. 讀取慢,通過index,找到指針;基於指針,找到數據
所以在大數據處理時,新增ndarray,數字類型,類似C++ 數組。存儲相同,讀取、修改快捷。
別名:array, 有利於節省內存、提高CPU的計算時間,有豐富的處理函數
series,變長字典,
類似一維數組的對象;有數據和索引組成
新增原因:
dict是無序的,它的key和value存在映射關系。但key和value之間是不獨立的,存儲在一起。
如果需要對一項進行操作,會影響到另外一項。所以有了series, series的key和value是獨立的,獨立存儲。
series的key是定長有序的。通過series.key獲取整個索引, 通過series.values獲取所有values.
series的key,可以通過series.index.name,設置唯一的名稱。
series整體也可以設置唯一名稱,通過series.name
DataFrame:
1. 一個表格型的數據結構
2. 含有一組有序的列(類似於index)
3. 可以認為是,共享一個index的Series集合
data1={'name':['java', 'c', 'python'], 'year': [2,2,3]}
frame = pd.DataFrame(data1)
------------------------------------------------
四. 基本的數據分析流程:
1. 數據的獲取
2. 數據准備--規格化,建立各種索引index
3. 數據的顯示、描述,用於調試
如df.index, df.values, df.head(n), df.tail(n) df.describe
4. 數據的選擇
index獲取, 切片獲取, 行、列獲取, 矩形區域獲取
index獲取,df.row1 或者 df['row1']
行列,df.loc[行list, 列list], 如df.loc[0:1,['co1','col2'] ]
通過二位索引,取二維左上角,df.iloc[0,0],也可以列表 df.iloc[0:2,0:2],取前2行。
5. 簡單的統計與處理
統計平均值、最大值等
6. Grouping 分組
df.groupby(df.row1)
7. Merge合並
append追加,
contact連接, 包含append功能,也可以兩個不同的二維數據結構合並
join連接, SQL連接,基於相同欄位連接,如 sql的where, a.row1 = b.row1
------------------------------------------------
五. 高級的數據處理與可視化:
1. 聚類分析
聚類是數據挖掘描述性任務和預測性任務的一個重要組成部分,它以相似性為基礎,
把相似的對象通過靜態分類,分成不同的組別和子集。
在python中,有很多第三方庫提供了聚類演算法。
聚類演算法有很多, 其中K-均值演算法,因為其簡單、快捷的特點,被廣泛使用。
基本原理是,
1. 查找某數據集的中心,
2. 使用均方差,計算距離。使得每一個數據點都收斂在一個組內;各個組是完全隔離的
案例:
>>> from pylab import *
>>> from scipy.cluster.vq import *
>>>
>>> list1=[88,64,96,85]
>>> list2=[92,99,95,94]
>>> list3=[91,87,99,95]
>>> list4 = [78,99,97,81]
>>> list5=[88,78,98,84]
>>> list6=[100,95,100,92]
>>> tempdate = (list1, list2, list3, list4, list5, list6)
>>>
>>> tempdate
([88, 64, 96, 85], [92, 99, 95, 94], [91, 87, 99, 95], [78, 99, 97, 81], [88, 78
, 98, 84], [100, 95, 100, 92])
>>> date = vstack(tempdate)
>>>
>>> date
array([[ 88, 64, 96, 85],
[ 92, 99, 95, 94],
[ 91, 87, 99, 95],
[ 78, 99, 97, 81],
[ 88, 78, 98, 84],
[100, 95, 100, 92]])
>>> centroids,abc=kmeans(date,2) #查找聚類中心,第二個參數是設置分N類,如5類,則為5
>>> centroids # 基於每列查找的中心點,可能是平均值
array([[88, 71, 97, 84],
[90, 95, 97, 90]])
>>>
>>> result,cde=vq(date,centroids) #對數據集,基於聚類中心進行分類
>>> result
array([0, 1, 1, 1, 0, 1])
2. 繪圖基礎
python描繪庫,包含兩部分,
繪圖api, matplotlib提供各種描繪介面。
集成庫,pylab(包含numpy和matplotlib中的常用方法),描繪更快捷、方便。
import numpy as np
import matplotlib.pyplot as plt
t = np.arange(0,10)
plt.plot(t, t+2)
plt.plot(t,t, 'o', t,t+2, t,t**2, 'o') #(x,y)一組,默認是折線;『o'是散點,
plt.bar(t,t**2) # 柱狀圖
plt.show()
--------------------
import pylab as pl
t = np.arange(0,10)
plt.plot(t, t+2)
plt.show()
3. matplotlib圖像屬性控制
色彩、樣式
名稱: 圖、橫、縱軸,
plt.title('philip\'s python plot')
plt.xlabel('date')
plt.ylabel('value')
其他: pl.figure(figsize=(8,6),dpi=100)
pl.plot(x,y, color='red', linewidth=3, lable='line1')
pl.legend(loc='upper left')
子圖
pl.subplot(211) # 整體圖片,可以分為二維部分;
#第一個是圖的行,第二個是列;第三個是index, 從左上開始0遍歷 當前行,再下一行。
#如果是2位數,如11,需要『,』
axes(left, bottom, width, height) # 參數取值范圍是(0,1), left,是到左邊的距離,bottom是到下面的距離
4. pandas作圖
Series、DataFrame支持直接描繪,封裝了調用matplotlib的介面,如
series.close.plot()
df.close.plot() #具體參數類似matplotlib普通介面
屬性控制
類似matplotlib普通介面,修改各種圖片的類型,柱形圖、折線等
--------common-----------------
list, tuple, dict
--------numpy-----------------
ndarray, Series, DataFrame
Ⅷ python 資料庫文件 在 哪裡
不帶路徑的話,和代碼放在同一個目錄下,即可
Ⅸ Python在哪裡找到
學Python應該去選擇哪個機構?建議大家從這幾方面去挑選!
一:看背景。如果一家Python機構剛創建,沒有經過歲月的沉澱,那你要三思。因為他們就像是剛出生的嬰兒一樣,需要成長,這也就意味著他們可能有諸多不完善的地方,需要你的包容與理解,那你就要衡量你自己是否願意給他這個機會了。
二:看課程。我們選擇Python機構當然是為了提升自己,希望自己經過系統的理論學習能扎實基礎,通過項目實戰能夠直接上手相關工作,所以你需要看看他們的課程設置、看看他們的實戰項目是不是過時等。
三:看師資。我們需要尋找不與實際脫節的講師,挑選Python機構的時候要找那些業內有名的,推薦是在公司以前做過項目總監級別的,這樣的授課會很有力度。一個好的老師能給我們節省大量的自己研讀的時間,一個好的老師授之以漁,教給我們的是解決問題的思路、方法,而不是乾巴巴的理論。
四:看管理。一個好的、負責任的武漢Python培訓機構,一定不是拿了你的學費,就你想怎麼辦就怎麼辦的機構。這里一定是對你從嚴要求,記錄你的出勤、解答你的疑問、評改你的作業、評估你的學習效果等,時刻把你放在心上。
五:看合作看求職。來參加Python培訓就是為了升職、加薪、轉行、求職等,如果這家機構的合作企業比較廣泛、學員求職情況好的話,那我們學完出來結果也不會太差。
最後,大家通過以上幾方面篩選過後,建議再去實地試聽感受一下,選擇一個適合自己的機構。
Ⅹ 如何使用python訪問ECMWF公共數據集
1.安裝ECMWF KEY
如果您沒有帳戶,請通過https //apps.ecmwf.int/registration/ 進行自我注冊,然後轉到以下步驟。
登錄https //apps.ecmwf.int/auth/login/
通過https //api.ecmwf.int/v1/key/ 獲取密鑰
請注意,該密鑰在1年內到期。您將在到期日期前1個月收到注冊電子郵件地址的電子郵件,並附上續訂說明。要查看當前密鑰登錄的到期日期,請訪問www.ecmwf.int
復制此頁面中的信息,並將其粘貼到文件$ HOME / .ecmwfapirc(Unix / Linux)或%USERPROFILE% .ecmwfapirc(Windows;
如何創建前導點文件?
重命名
創建file.txt
重命名.file.,最後一個點將被刪除,你就得到.file
這里我們需要 創建 .ecmwfapirc 文件 ,並將下面內容拷貝進去
上面的文件放在 %USERPROFILE%下,這里這個路徑可以在用戶變數中找到,本人電腦用戶名為Cronous 路徑為C:UsersCronous
所以將.ecmwfapirc 放在上面路徑下面
$ HOME / .ecmwfapirc(Unix / Linux)或%USERPROFILE%。ecmwfapirc(Windows)的內容
{2.安裝客戶端庫
該版本的庫提供對Python 2.7.x和Python 3的支持。
您可以ecmwfapi通過在Unix / Linux上運行來安裝python庫:
sudopipinstallhttps://software.ecmwf.int/wiki/download/attachments/56664858/ecmwf-api-client-python.tgz或在Windows上:
pip installhttps://software.ecmwf.int/wiki/download/attachments/56664858/ecmwf-api-client-python.tgz如果您無法運行sudo或pip命令,只需下載ecmwf-api-client-python.tgz。提取其內容並將模塊復制ecmwfapi到環境變數指向的目錄中PYTHONPATH。
3.檢查數據可用性
要查看ECMWF Public Datasets的可用性,請訪問Web界面:
http://apps.ecmwf.int/datasets/
使用此界面,您可以發現我們存檔中提供的所有ECMWF公用數據集。我們強烈建議您瀏覽我們的公共數據集以熟悉其可用性。您可以選擇一個公共數據集,並開始瀏覽其內容。
請考慮有關內容的一些注意事項:
不同的ECMWF公共數據集包括不同的「參數」,「時間」和「步驟」
在每個ECMWF公共數據集中,並非所有「參數」都可以從所有「步驟」
在每個ECMWF公共數據集中,並非所有「時間」都提供所有「步驟」
上面的Web界面將幫助您檢查和了解可用性。對於任何類型的選擇,系統將以動態方式更新屬性以反映當前的可用性。(即如果您更改步驟,一些參數將被添加或刪除)。
小費
選擇完成後,我們鼓勵用戶使用頁面底部的「查看MARS請求」功能。使用這個MARS請求,你可以建立自己的Python腳本。
這里說一下查看MARS請求可以自動生成python腳本樣例文件,我們可以對照著學習一下,如下面的我選擇的數據源:
我的請求已經排隊(或活動)了很長時間。我要殺了嗎?
根據許多因素和限制,請求可能需要一些時間才能完成。
訪問您的工作列表以查看請求的狀態
您可能需要訪問我們的疑難解答頁面了解更多信息。
進一步
我可以要求「netcdf」格式的數據嗎?
是的,你只需要添加你的請求「格式」:「netcdf」
我可以要求有限區域嗎?
是
如果您已經在請求中設置了「grid」關鍵字,可以添加「area」:「coordinates」關鍵字。您可以設置預定義的區域,例如歐洲,或者使用北/西/南/東的坐標設置區域。
您還可以訪問MARS區域關鍵字以獲取更多信息:後處理關鍵字。
見下面的例子。
轉至元數據結尾
由Cristian Simarro創建,最後修改於五月11,2015
轉至元數據起始
TIGGE壓力水平控制預測
TIGGE表面擾動預測
請參閱簡要請求語法來了解每個關鍵字。
TIGGE壓力水平控制預測
10m風組件,10m v風組件,來自NCEP。所有壓力水平。
ECMWF公共數據集Web界面
#!/usr/bin/env =ECMWFDataServer()server.retrieve({'origin':"kwbc",'levelist':"200/250/300/500/700/850/925/1000",'levtype':"pl",'expver':"prod",'dataset':"tigge",'step':"0/6/12/18/24/30",'grid':"0.5/0.5",'param':"131/132",'time':"00/06/12/18",'date':"2014-10-01",'type':"cf",'class':"ti",'target':"tigge_2014-10-01_00061218.grib"})TIGGE表面擾動預測
2m溫度。01 NOV 2014,來自ECMWF
ECMWF公共數據集Web界面
#!/usr/bin/env =ECMWFDataServer()server.retrieve({'origin':"ecmf",'levtype':"sfc",'number':"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26/27/28/29/30/31/32/33/34/35/36/37/38/39/40/41/42/43/44/45/46/47/48/49/50",'expver':"prod",'dataset':"tigge",'step':"0/6/12/18",'grid':"0.5/0.5",'param':"167",'time':"00/12",'date':"2014-11-01",'type':"pf",'class':"ti",'target':"tigge_2014-11-01_0012.grib"})來自日本東京日本的rjtd
#!/usr/bin/env =ECMWFDataServer()server.retrieve({'origin':"rjtd",'levtype':"sfc",'number':"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26",'expver':"prod",'dataset':"tigge",'step':"0/6/12/18",'grid':"0.5/0.5",'param':"167",'time':"00/12",'date':"2014-11-01",'type':"pf",'class':"ti",'target':"tigge_2014-11-01_0012.grib"})來自rksl,韓國:
#!/usr/bin/env =ECMWFDataServer()server.retrieve({'origin':"rksl",'levtype':"sfc",'number':"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23",'expver':"prod",'dataset':"tigge",'step':"0/6/12/18",'grid':"0.5/0.5",'param':"167",'time':"00/12",'date':"2014-11-01",'type':"pf",'class':"ti",'target':"tigge_2014-11-01_0012.grib"})