Ⅰ python 生成的数据库文件放哪里
根据路径
如果不指定路径就在执行脚本的地方
Ⅱ 数据挖掘数据集怎么找
去超市或者什么销售商店找他们合作试试,他们都有销售购买记录,
有技术的没数据,有数据的不懂分析,我导师就是采用合作的方法,
1)数据就是财富,有些人不会分析就只能和他们合作了
2)数据关系用户的隐私信息,一般都不会公开的
还有建议你索要时,表明只做研究用途,可以给他们一些销售建议,另外注明会签订数据保密协议的
若遇到没头脑没经营远见不懂数据的经理,你还是去网上搜搜吧,不过网上的都是修改过的类似真实数据的数据,都不是真实数据集(真实的也没人敢放在网上),也可以去UCI上搜搜类似的数据集
PS:不要忘记给最佳答案呦,我都辛苦半天了 (^-^)
Ⅲ 如何用python pymysql查看数据库
1、python安装目录设定为d:/python342、pymysql安装方法为:解压下载的文件,在cmd中运行: python setup.py install。
检验安装安装是否成功的方法:import pymysql 。 如果不报错 说明安装成功。
3、mysql安装目录为D:/phpStudy/MySQL。为避免更多配置问题,可在启动phpstudy后,将其设为系统服务
4、基本操作:
(1)导入pymysql: import pymysql
(2)连接数据库:
conn=pymysql.connect(host='localhost',user='root',passwd='root',db='ere',charset='utf8')
务必注意各等号前面的内容!charset参数可避免中文乱码
(3)获取操作游标:cur=conn.cursor()
(4)执行sql语句,插入记录:sta=cur.execute("insert 语句") 执行成功后sta值为1。更新、删除语句与此类似。
(5)执行sql语句,查询记录:cur.execute("select语句") 执行成功后cur变量中保存了查询结果记录集,然后再用循环打印结果:
for each in cur:
print(each[1].decode('utf-8')) # each[1] 表示当前游标所在行的的第2列值,如果是中文则需要处理编码
Ⅳ python iris数据集在哪
from sklearn.datasets import load_iris
iris = load_iris()
print(iris.keys())
n_samples, n_features = iris.data.shape
print((n_samples, n_features))
print(iris.data[0])
print(iris.target.shape)
print(iris.target)
print(iris.target_names)
print("feature_names:",iris.feature_names)
sklearn中的iris数据集有5个key:
[‘target_names’, ‘data’, ‘target’, ‘DESCR’, ‘feature_names’]
(150L, 4L)
data[0]:[ 5.1 3.5 1.4 0.2]
(‘feature_names:’, [‘sepal length (cm)’, ‘sepal width (cm)’, ‘petal length (cm)’, ‘petal width (cm)’])
(150L,)
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2]
[‘setosa’ ‘versicolor’ ‘virginica’]
target_names : 分类名称
target:分类(150个)
feature_names: 特征名称
data : 特征值
Ⅳ python 怎么显示数据库数据
首先你要知道如何在视图里渲染模板,另外得要看你用的是什么数据库,以及你是否使用django的orm。
拿mysql为例,如果你只需要从现有数据库中查询数据并显示,那么使用MySQLdb模块即可,查询出来的数据和模板进行渲染,之后返回渲染后的模板对象即可。
Ⅵ python如何访问数据库
1.背景:
python提供了很多数据库接口, 常用的数据库有 MS SQL Server /mysql /oracle 等。
打开链接 https://wiki.python.org/moin/DatabaseInterfaces
是python 关于数据库接口的一个总结 , 可以看到python支持的访问的数据库系统。
2.模块:
python 主要是通过模块和数据库连接的。
2.1 安装模块:
如果使用anconda,本身就会集合很多模块,不需要手动安装。如果用pycharm就要手动安装模块。
安装模块流程:
下载模块扩展包放到路径下——>cmd找到相应路径——> pip install +扩展包名字
下面列举一些常用连接数据库的模块:pymssql / sqlite3/ PyMySQL/pyodbc/odbc/adodbapi
不同模块连接的数据库不同, 支持的版本系统有的也不一样。但是大体用法都是相近的, 因为有DB-API
相关推荐:《Python教程》
3.Python DB-API
3.1背景:
在没有DB-API 之前, 不同数据库有不同的数据库接口程序, 这就导致python 访问 database 的接口程序非常混乱。如果我们学习了python 访问 mysql 的接口程序, 然后要切换到另一个数据库上, 我们还要在学习另外一个数据库的接口程序。python DB-API就是为了解决接口程序混乱而生成的。有了DB-API, 在不同数据库上移植代码就变得简单的多了。
3.2Python DB-API:
Python 定义了一套操作数据库的 DB-API 接口,它是一个规范,定义了一系列必须的对象和数据库存取方式,以便为不同的底层数据库系统提供一致的访问接口
这个链接就是python 官方给定的 DB-API 的说明 https://www.python.org/dev/peps/pep-0249/
3.3 Python DB--API的内容:
连接对象:
?Connect()创建连接:host/server /user/password/db connect方法生成一个connect对象, 我们通过这个对象来访问数据库。符合标准的模块都会实现connect方法。
?close():关闭连接
?commit():提交当前事务。做出某些更改后确保已经进行了提交,这样才可以将这些修改真正地保存到database中
?rollback() 回滚上一次调用 commit()以来对数据库所做的更改
?cursor():创建游标。系统为用户开通的一个数据缓冲区,用于存放SQL语句执行结果。cursor游标是有状态的,它可以记录当前已经取到结果的第几个记录了,因此,一般你只可以遍历结果集一次。在上面的情况下,如果执行fetchone()会返回为空。这一点在测试时需要注意
游标对象:
?Execute()执行一个数据库查询或命令。 execute 执行sql 语句之后运行的结果不会直接output 出来 , 而是放到了一个缓存区, 要用 fetch语句+print 可以查询sql运行的结果
?fetchone ()得到结果集的下一行
?fetchmany(size)得到结果集的下几行
?fetchall()返回结果集中剩下的所有行
?rowcount 返回影响的行数
?Close()关闭游标对象
3.4Python DB--API的工作原理及流程:
如图所示如果把python 和数据库比作两个不同的地点, connection 就是路, 能连接python和database。cursor就像在路上行驶的小货车, 可以用于执行sql 语句, 以及存储sql 运行的结果。
流程:
4.MS SQL Server 示例:
4.1 导入模块、创建连接:
4.2 创建游标: 游标创建之后就可以对数据库进行查询更改了!
4.3对数据进行操作(创建表、插入行、更新数据、增加列、删除行、列、表):
4.4 查询 获取行:
5.其他:
使用游标的时候要注意, 每次连接只能有一个游标查询处于活跃状态。 code演示:
execute()循环和 executemany() 插入100000 条数据测速:
Ⅶ Python数据挖掘从哪些
一. 基于Python的数据挖掘 基本架构
1. matplotlib, 图形化
2. pandas,数据挖掘的关键, 提供各种挖掘分析的算法
3. numpy, 提供基本的统计
scipy, 提供各种数学公式
4. python common lib,python基本框架
二. 环境搭建
1. 安装python
2. 安装pip
pandas依赖的pip版本,最低是8.0.0。如果pip是8以下的版本,如7.2.1,需要升级pip.
命令是“python -m pip install -U pip”,这是windows版本。
Linux是”pip install -U pip“
通过命令“pip --version”, 可以查看pip版本号
3. 安装pandas
命令“pip install pandas", 这是windows版本。
Linux平台可用
sudo apt-get install python-pandas
4. 安装matplotlib
pip install matplotlib
三. 数据类型
pypython common type
string list tuple dict set
6钟学列
list, tuple, string, unicode string, buffer object, xrange
pandas type
ndarray, series dateFrame
ndarray, 数组类型,新增原因:
list, tuple是基于指针+对象设计的。即list,tuple存储的是void*指针,指针指向具体对象的数据。
因为是void*指针,所以二者可以存储各种数据类型,即数据类型可以不统一。
虽然存储丰富,但如果数据量过大时,即处理大数据时,有弊端。
1. 存储空间大,浪费内存。因为存两部分,指针+数据
2. 读取慢,通过index,找到指针;基于指针,找到数据
所以在大数据处理时,新增ndarray,数字类型,类似C++ 数组。存储相同,读取、修改快捷。
别名:array, 有利于节省内存、提高CPU的计算时间,有丰富的处理函数
series,变长字典,
类似一维数组的对象;有数据和索引组成
新增原因:
dict是无序的,它的key和value存在映射关系。但key和value之间是不独立的,存储在一起。
如果需要对一项进行操作,会影响到另外一项。所以有了series, series的key和value是独立的,独立存储。
series的key是定长有序的。通过series.key获取整个索引, 通过series.values获取所有values.
series的key,可以通过series.index.name,设置唯一的名称。
series整体也可以设置唯一名称,通过series.name
DataFrame:
1. 一个表格型的数据结构
2. 含有一组有序的列(类似于index)
3. 可以认为是,共享一个index的Series集合
data1={'name':['java', 'c', 'python'], 'year': [2,2,3]}
frame = pd.DataFrame(data1)
------------------------------------------------
四. 基本的数据分析流程:
1. 数据的获取
2. 数据准备--规格化,建立各种索引index
3. 数据的显示、描述,用于调试
如df.index, df.values, df.head(n), df.tail(n) df.describe
4. 数据的选择
index获取, 切片获取, 行、列获取, 矩形区域获取
index获取,df.row1 或者 df['row1']
行列,df.loc[行list, 列list], 如df.loc[0:1,['co1','col2'] ]
通过二位索引,取二维左上角,df.iloc[0,0],也可以列表 df.iloc[0:2,0:2],取前2行。
5. 简单的统计与处理
统计平均值、最大值等
6. Grouping 分组
df.groupby(df.row1)
7. Merge合并
append追加,
contact连接, 包含append功能,也可以两个不同的二维数据结构合并
join连接, SQL连接,基于相同字段连接,如 sql的where, a.row1 = b.row1
------------------------------------------------
五. 高级的数据处理与可视化:
1. 聚类分析
聚类是数据挖掘描述性任务和预测性任务的一个重要组成部分,它以相似性为基础,
把相似的对象通过静态分类,分成不同的组别和子集。
在python中,有很多第三方库提供了聚类算法。
聚类算法有很多, 其中K-均值算法,因为其简单、快捷的特点,被广泛使用。
基本原理是,
1. 查找某数据集的中心,
2. 使用均方差,计算距离。使得每一个数据点都收敛在一个组内;各个组是完全隔离的
案例:
>>> from pylab import *
>>> from scipy.cluster.vq import *
>>>
>>> list1=[88,64,96,85]
>>> list2=[92,99,95,94]
>>> list3=[91,87,99,95]
>>> list4 = [78,99,97,81]
>>> list5=[88,78,98,84]
>>> list6=[100,95,100,92]
>>> tempdate = (list1, list2, list3, list4, list5, list6)
>>>
>>> tempdate
([88, 64, 96, 85], [92, 99, 95, 94], [91, 87, 99, 95], [78, 99, 97, 81], [88, 78
, 98, 84], [100, 95, 100, 92])
>>> date = vstack(tempdate)
>>>
>>> date
array([[ 88, 64, 96, 85],
[ 92, 99, 95, 94],
[ 91, 87, 99, 95],
[ 78, 99, 97, 81],
[ 88, 78, 98, 84],
[100, 95, 100, 92]])
>>> centroids,abc=kmeans(date,2) #查找聚类中心,第二个参数是设置分N类,如5类,则为5
>>> centroids # 基于每列查找的中心点,可能是平均值
array([[88, 71, 97, 84],
[90, 95, 97, 90]])
>>>
>>> result,cde=vq(date,centroids) #对数据集,基于聚类中心进行分类
>>> result
array([0, 1, 1, 1, 0, 1])
2. 绘图基础
python描绘库,包含两部分,
绘图api, matplotlib提供各种描绘接口。
集成库,pylab(包含numpy和matplotlib中的常用方法),描绘更快捷、方便。
import numpy as np
import matplotlib.pyplot as plt
t = np.arange(0,10)
plt.plot(t, t+2)
plt.plot(t,t, 'o', t,t+2, t,t**2, 'o') #(x,y)一组,默认是折线;‘o'是散点,
plt.bar(t,t**2) # 柱状图
plt.show()
--------------------
import pylab as pl
t = np.arange(0,10)
plt.plot(t, t+2)
plt.show()
3. matplotlib图像属性控制
色彩、样式
名称: 图、横、纵轴,
plt.title('philip\'s python plot')
plt.xlabel('date')
plt.ylabel('value')
其他: pl.figure(figsize=(8,6),dpi=100)
pl.plot(x,y, color='red', linewidth=3, lable='line1')
pl.legend(loc='upper left')
子图
pl.subplot(211) # 整体图片,可以分为二维部分;
#第一个是图的行,第二个是列;第三个是index, 从左上开始0遍历 当前行,再下一行。
#如果是2位数,如11,需要‘,’
axes(left, bottom, width, height) # 参数取值范围是(0,1), left,是到左边的距离,bottom是到下面的距离
4. pandas作图
Series、DataFrame支持直接描绘,封装了调用matplotlib的接口,如
series.close.plot()
df.close.plot() #具体参数类似matplotlib普通接口
属性控制
类似matplotlib普通接口,修改各种图片的类型,柱形图、折线等
--------common-----------------
list, tuple, dict
--------numpy-----------------
ndarray, Series, DataFrame
Ⅷ python 数据库文件 在 哪里
不带路径的话,和代码放在同一个目录下,即可
Ⅸ Python在哪里找到
学Python应该去选择哪个机构?建议大家从这几方面去挑选!
一:看背景。如果一家Python机构刚创建,没有经过岁月的沉淀,那你要三思。因为他们就像是刚出生的婴儿一样,需要成长,这也就意味着他们可能有诸多不完善的地方,需要你的包容与理解,那你就要衡量你自己是否愿意给他这个机会了。
二:看课程。我们选择Python机构当然是为了提升自己,希望自己经过系统的理论学习能扎实基础,通过项目实战能够直接上手相关工作,所以你需要看看他们的课程设置、看看他们的实战项目是不是过时等。
三:看师资。我们需要寻找不与实际脱节的讲师,挑选Python机构的时候要找那些业内有名的,推荐是在公司以前做过项目总监级别的,这样的授课会很有力度。一个好的老师能给我们节省大量的自己研读的时间,一个好的老师授之以渔,教给我们的是解决问题的思路、方法,而不是干巴巴的理论。
四:看管理。一个好的、负责任的武汉Python培训机构,一定不是拿了你的学费,就你想怎么办就怎么办的机构。这里一定是对你从严要求,记录你的出勤、解答你的疑问、评改你的作业、评估你的学习效果等,时刻把你放在心上。
五:看合作看求职。来参加Python培训就是为了升职、加薪、转行、求职等,如果这家机构的合作企业比较广泛、学员求职情况好的话,那我们学完出来结果也不会太差。
最后,大家通过以上几方面筛选过后,建议再去实地试听感受一下,选择一个适合自己的机构。
Ⅹ 如何使用python访问ECMWF公共数据集
1.安装ECMWF KEY
如果您没有帐户,请通过https //apps.ecmwf.int/registration/ 进行自我注册,然后转到以下步骤。
登录https //apps.ecmwf.int/auth/login/
通过https //api.ecmwf.int/v1/key/ 获取密钥
请注意,该密钥在1年内到期。您将在到期日期前1个月收到注册电子邮件地址的电子邮件,并附上续订说明。要查看当前密钥登录的到期日期,请访问www.ecmwf.int
复制此页面中的信息,并将其粘贴到文件$ HOME / .ecmwfapirc(Unix / Linux)或%USERPROFILE% .ecmwfapirc(Windows;
如何创建前导点文件?
重命名
创建file.txt
重命名.file.,最后一个点将被删除,你就得到.file
这里我们需要 创建 .ecmwfapirc 文件 ,并将下面内容拷贝进去
上面的文件放在 %USERPROFILE%下,这里这个路径可以在用户变量中找到,本人电脑用户名为Cronous 路径为C:UsersCronous
所以将.ecmwfapirc 放在上面路径下面
$ HOME / .ecmwfapirc(Unix / Linux)或%USERPROFILE%。ecmwfapirc(Windows)的内容
{2.安装客户端库
该版本的库提供对Python 2.7.x和Python 3的支持。
您可以ecmwfapi通过在Unix / Linux上运行来安装python库:
sudopipinstallhttps://software.ecmwf.int/wiki/download/attachments/56664858/ecmwf-api-client-python.tgz或在Windows上:
pip installhttps://software.ecmwf.int/wiki/download/attachments/56664858/ecmwf-api-client-python.tgz如果您无法运行sudo或pip命令,只需下载ecmwf-api-client-python.tgz。提取其内容并将模块复制ecmwfapi到环境变量指向的目录中PYTHONPATH。
3.检查数据可用性
要查看ECMWF Public Datasets的可用性,请访问Web界面:
http://apps.ecmwf.int/datasets/
使用此界面,您可以发现我们存档中提供的所有ECMWF公用数据集。我们强烈建议您浏览我们的公共数据集以熟悉其可用性。您可以选择一个公共数据集,并开始浏览其内容。
请考虑有关内容的一些注意事项:
不同的ECMWF公共数据集包括不同的“参数”,“时间”和“步骤”
在每个ECMWF公共数据集中,并非所有“参数”都可以从所有“步骤”
在每个ECMWF公共数据集中,并非所有“时间”都提供所有“步骤”
上面的Web界面将帮助您检查和了解可用性。对于任何类型的选择,系统将以动态方式更新属性以反映当前的可用性。(即如果您更改步骤,一些参数将被添加或删除)。
小费
选择完成后,我们鼓励用户使用页面底部的“查看MARS请求”功能。使用这个MARS请求,你可以建立自己的Python脚本。
这里说一下查看MARS请求可以自动生成python脚本样例文件,我们可以对照着学习一下,如下面的我选择的数据源:
我的请求已经排队(或活动)了很长时间。我要杀了吗?
根据许多因素和限制,请求可能需要一些时间才能完成。
访问您的工作列表以查看请求的状态
您可能需要访问我们的疑难解答页面了解更多信息。
进一步
我可以要求“netcdf”格式的数据吗?
是的,你只需要添加你的请求“格式”:“netcdf”
我可以要求有限区域吗?
是
如果您已经在请求中设置了“grid”关键字,可以添加“area”:“coordinates”关键字。您可以设置预定义的区域,例如欧洲,或者使用北/西/南/东的坐标设置区域。
您还可以访问MARS区域关键字以获取更多信息:后处理关键字。
见下面的例子。
转至元数据结尾
由Cristian Simarro创建,最后修改于五月11,2015
转至元数据起始
TIGGE压力水平控制预测
TIGGE表面扰动预测
请参阅简要请求语法来了解每个关键字。
TIGGE压力水平控制预测
10m风组件,10m v风组件,来自NCEP。所有压力水平。
ECMWF公共数据集Web界面
#!/usr/bin/env =ECMWFDataServer()server.retrieve({'origin':"kwbc",'levelist':"200/250/300/500/700/850/925/1000",'levtype':"pl",'expver':"prod",'dataset':"tigge",'step':"0/6/12/18/24/30",'grid':"0.5/0.5",'param':"131/132",'time':"00/06/12/18",'date':"2014-10-01",'type':"cf",'class':"ti",'target':"tigge_2014-10-01_00061218.grib"})TIGGE表面扰动预测
2m温度。01 NOV 2014,来自ECMWF
ECMWF公共数据集Web界面
#!/usr/bin/env =ECMWFDataServer()server.retrieve({'origin':"ecmf",'levtype':"sfc",'number':"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26/27/28/29/30/31/32/33/34/35/36/37/38/39/40/41/42/43/44/45/46/47/48/49/50",'expver':"prod",'dataset':"tigge",'step':"0/6/12/18",'grid':"0.5/0.5",'param':"167",'time':"00/12",'date':"2014-11-01",'type':"pf",'class':"ti",'target':"tigge_2014-11-01_0012.grib"})来自日本东京日本的rjtd
#!/usr/bin/env =ECMWFDataServer()server.retrieve({'origin':"rjtd",'levtype':"sfc",'number':"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26",'expver':"prod",'dataset':"tigge",'step':"0/6/12/18",'grid':"0.5/0.5",'param':"167",'time':"00/12",'date':"2014-11-01",'type':"pf",'class':"ti",'target':"tigge_2014-11-01_0012.grib"})来自rksl,韩国:
#!/usr/bin/env =ECMWFDataServer()server.retrieve({'origin':"rksl",'levtype':"sfc",'number':"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23",'expver':"prod",'dataset':"tigge",'step':"0/6/12/18",'grid':"0.5/0.5",'param':"167",'time':"00/12",'date':"2014-11-01",'type':"pf",'class':"ti",'target':"tigge_2014-11-01_0012.grib"})