数据处理之-pkl文件转csv,txt转csv


在上一篇文章中已将讲述了怎样打开pkl文件
由于自己的数据集比较特殊,直接使用python将pkl文件转csv文件后规格都会乱套。这里提供几个数据转化的思路和方法。
1.首先将pkl转化为txt文件:

import pickle
import pandas as pd
f = open(‘ingr_map.pkl’,‘rb’)
data = pickle.load(f)
pd.set_option(‘display.width’,None)
pd.set_option(‘display.max_rows’,None)
pd.set_option(‘display.max_colwidth’,None)
print(data)
inf=str(data)
ft = open(‘test1.csv’, ‘w’)
ft.write(inf)

其中pd.set_option方法是会将读取的pkl文件显示全,由于我的pkl文件相对来说比较大,一万多列,行里面也有很多字符,如果不使用这三行代码,显示出的数据集是不全面的,按照上一篇文章的打开方式,控制台回显示省略号,数据集放入txt文件的时候也会不全面。

2.再将txt转化为csv
1)网上直接有很多在线转换工具,如果数据集不是很大,可以使用并且节省时间。
2)但是如果转化后格式还是错误,可以使用代码转化。
网上页有很多关于txt与csv转化的,但是由于这个数据集比较特殊,处理出来之后的格式里面没有任何的逗号和分隔符号,所以我用代码转出后格式也是非常乱套,那么这里推荐使用第三种方法,非常快而且不会转错。
3)使用excel进行转换。打开excel,左下有一个打开,选择你的txt文件,这里会出现一个导入格式的选项,我个人选择的是固定间距,这样你可以直接在下面的栏里手动你的格式。(可以网上查询txt导入excel)。导入之后另存为的时候选择格式csv就可以存了。