python如何load数据

㈠ python pickle.mp ()不知道mp多少次，如何才能从文件中完整的pickle.load()到所有数据

什么叫不知道mp多少次.。。。。

mp一次之后，就可以直接全部load进来啊

importpickle
importtime
#timmercode
start=time.clock()
#realcode
db={};
foriinrange(4000000):
db[str(i)]=str(i)
f=open("pickle.db","wb");
pickle.mp(db,f)
f.close()
#timmercode
end=time.clock()
print"write:%fs"%(end-start)
start=time.clock()
f=open("pickle.db","rb")
db=pickle.load(f)
foriindb:
ifint(i)%1000000==0:
printi,db[i]
f.close()
end=time.clock()
print"read:%fs"%(end-start)

㈡ python中，怎么将大量数据一次性导入数据库中。 补充：数据库是Mysql数据库

我估计你是问怎么从文件导入到数据库。一般每个数据库都有一个从文件直接load数据到数据库的命令或者工具。
比如SQLServer 有个bcp。 MySql 就是 load。

给你搜了详细的帮助。看看链接吧。以下是精简的使用方法：
基本用法：
mysql> USE db1;
mysql> LOAD DATA INFILE "./data.txt" INTO TABLE db2.my_table;

指定行，字段的分隔符：
mysql> LOAD DATA INFILE 'data.txt' INTO TABLE tbl_name

FIELDS TERMINATED BY ',' ENCLOSED BY '"'

LINES TERMINATED BY '\n';

㈢ python值大于0的数据保存

python值大于0的数据保存方法：
1、用numpy.save()和numpy.load()函数。
2、用scipy.io.savemat()将数据保存为.mat格式。Python是一种跨平台的计算机程序设计语言，是ABC语言的替代品，属于面向对象的动态类型语言，最初被设计用于编写自动化脚本，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。python是人工智能首选的编程语言。

㈣ 从数据库里python获取数据存到本地数据库

python项目中从接口获取数据并存入本地数据库
首先用postman测试接口
根据请求方式将数据存入数据库中
首先用postman测试接口
通过url，选择相应的请求方式，头部，数据格式，点击send看能否获取数据
根据请求方式将数据存入数据库中

下面是post请求方式def get() URL = '' HEADERS = {'Content-Type': 'application/json'} JSON = {} response = request.post(URL,headers=HEADERS,json=JSON) #json.loads()用于将str类型的数据转成dict jsondata = json.load(response.txt) for i in jsondata: date1 = i[data] type1 = i[type] ... #拼接sql语句 sql="" conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable") cursor=conn.cursor() ursor.execute(sql)

㈤ 用python操作excel数据之避坑秘技

用python操作excel表里的数据非常方便，可以把不同报表，不同类型的数据各种干坤大挪移，汇集到一起进行展示。但初学者可能会遇到一些大坑，百思不得其解，而不得不放弃这个神器。现把我在自学过程中遇到的一些坑与大家分享，给初学者参考，欢迎批评指正！

坑一：用pandas的to_excel写入EXCEL时，会把原数据清空。

解决方案：先用openpyxl的load_workbook打开工作薄，再用pandas的ExcelWriter新建写入器，把之前打开的工作薄赋值给写入器的工作薄。

坑二：把带有公式的sheet1数据导入再写入sheet2时，会发现带公式的数据全部为空。

解决方案：可用win32com.client中的Dispatch把EXCEL表打开再保存。

坑三：当把复制文件，新建文件，打开保存文件，数据写入都写在一个程序时，往往由于EXCEL打开保存时间较长而与后续程序冲突报错。

解决方案：每个环节建模块顺序执行，各环节间用time.sleep隔开。

㈥ python numpy 使用 loadtxt读取txt文件的内容，txt文件跟要执行的py文件在

很多时候，我们将数据存在txt或者csv格式的文件里，最后再用Python读取出来，存到数组或者列表里，再做相应计算。本文首先介绍写入txt的方法，再根据不同的需求（存为数组还是list）,介绍从txt读取浮点数的方法。
一、写入浮点数到txt文件：
假设每次有两个浮点数需要写入txt文件，这里提供用with关键字打开文件的方法，使用with打开文件是一个很好的习惯，因为with结束，它就会自动close file，不用手动再去flie.close()。

[python] view plain
with open('file_path/filename.txt','a') as file:
write_str = '%f %f\n'%(float_data1,float_data2)
file.write(write_str)

二、从txt文件提取浮点数到numpy数组或list列表

首先假设你有一个odom.txt 的文件，里面每一行的数据个数都相同，如截图所示：

1.如果你是想把这些数据读取出来，存为numpy数组,那么一句代码可以搞定：

[python] view plain
a = numpy.loadtxt('odom.txt')

存为numpy数组以后，a的尺寸可以用a.shape进行查看，这里应为：（14,2）也就是14行2列。如果你觉得这个形状不是你期待的，你可以用:

[python] view plain
b = numpy.reshape(a,(你想要的形状))
如
b = numpy.reshape(a,(-1,1,2))
那么b就是一个三维数组了（14,1,2）

2.如果只是想读出来，存到一个list里,那就用下面的常用python格式了：

[python] view plain
with open('odom.txt', 'r') as f:
data = f.readlines() #txt中所有字符串读入data

for line in data:
odom = line.split() #将单个数据分隔开存好
numbers_float = map(float, odom) #转化为浮点数
print numbers_float

㈦ 怎么用python完成以下内容

答: 首先本题分为两个内容，第1个创建10X10的随机数组,并将其存储到 Txt文件中，其次再将其读出进行相关统计分析。具体代码如下所示。

㈧ python3中如何用load_data()加载文件

1. def load_data()括号里应该写形参的名字，比如def load_data(filePath)；

2. load_data函数内的open的参数也应该是open(filePath,encoding="UTF-8")

3. dataset=load_data()括号中写需要解析的文件路径
   

㈨ python读取文件—txt文件常用读写操作

f = open("data.txt","r")   #设置文件对象

f.close() #关闭文件

为了方便，避免忘记close掉这个文件对象，可以用下面这种方式替代

with open('data.txt',"r") as f:    #设置文件对象

 str = f.read()    #可以是随便对文件的操作

f = open("data.txt","r")   #设置文件对象

str = f.read()     #将txt文件的所有内容读入到字符串str中

f.close()   #将文件关闭

f = open("data.txt","r")   #设置文件对象

line = f.readline()

line = line[:-1]

while line:             #直到读取完文件

     line = f.readline()  #读取一行文件，包括换行符

     line = line[:-1]     #去掉换行符，也可以不去

f.close() #关闭文件

data = []

for line in open("data.txt","r"): #设置文件对象并读取每一行文件

     data.append(line)               #将每一行文件加入到list中

 f = open("data.txt","r")   #设置文件对象

 data = f.readlines()  #直接将文件中按行读到list里，效果与方法2一样

 f.close()             #关闭文件

可以使用pandas的.read_csv，读取文件的时候可以给每一列起名字，通过列名来调取相应列的数据。

import pandas as pd

data = pd.read_csv(" OSDO1012.txt",sep=',',header=None, names=['lat','lon','time','z']

使用data.lat就可以读取名为lat这一列的数据

 data = np.loadtxt("data.txt",skiprows = 1)   #将文件中数据加载到data数组里，并且跳过第一行

 with open('data.txt','w') as f:    #设置文件对象

    f.write(str)                 #将字符串写入文件中

data = ['a','b','c']

单层列表写入文件

with open("data.txt","w") as f:

    f.writelines(data)

每一项用空格隔开，一个列表是一行写入文件

data =[ ['a','b','c'],['a','b','c'],['a','b','c']]

with open("data.txt","w") as f:                      #设置文件对象

     for i in data:                                    #对于双层列表中的数据

      i = str(i).strip('[').strip(']').replace(',','').replace('\'','')+'\n'  #将其中每一个列表规范化成字符串

     f.write(i)                      #写入文件

直接将每一项都写入文件

data =[ ['a','b','c'],['a','b','c'],['a','b','c']]

with open("data.txt","w") as f:                    #设置文件对象

     for i in data:                                      #对于双层列表中的数据

          f.writelines(i)                            #写入文件

np.savetxt("data.txt",data)     #将数组中数据写入到data.txt文件

np.save("data.txt",data)        #将数组中数据写入到data.txt文件

㈩ python numpy 使用 loadtxt读取txt文件的内容，txt文件跟要执行的py文件在

a = np.arange(8)

np.savetxt('a.txt',a)
这样就会在工作目录下生成存有a数据的文件a.txt
然后读取就行了，如
b=loadtxt('a.txt')
这里都是在同一目录下进行的，如果是在别的文件夹，修改引号内的路径就行了