阅读.csv文件时，用Python解析日期的最快方法是什么？


The fastest way to parse dates in Python when reading .csv file?

我有一个.csv文件，它有两个单独的'Date'和' Time'列。 我读了这样的文件：

1
data1 = pd.read_csv('filename.csv', parse_dates=['Date', 'Time'])

但似乎只有' Date'列是时间格式，而'Time'列仍然是字符串或格式不是时间格式。

当我执行以下操作时：

1
2
3
data0 = pd.read_csv('filename.csv')
data0['Date'] = pd.to_datetime(data0['Date'])
data0['Time'] = pd.to_datetime(data0['Time'])

它提供了我想要的数据帧，但需要相当长的时间。
那么读取文件并从字符串格式转换日期和时间的最快方法是什么？

.csv文件是这样的：

1
2
3
4
5
6
              Date      Time      Open       High       Low     Close  
0       2004-04-12    8:31 AM  1139.870  1140.860  1139.870  1140.860      
1       2005-04-12   10:31 AM  1141.219  1141.960  1141.219  1141.960      
2       2006-04-12   12:33 PM  1142.069  1142.290  1142.069  1142.120      
3       2007-04-12    3:24 PM  1142.240  1143.140  1142.240  1143.140      
4       2008-04-12    5:32 PM  1143.350  1143.589  1143.350  1143.589

谢谢！

相关讨论

在这种情况下，在您的情况下，"时间"采用AM / PM格式，需要更多时间进行解析。

您可以添加格式以提高to_datetime()方法的速度。

1
2
3
4
5
6
7
8
9
10
11
12
data0=pd.read_csv('filename.csv')

# %Y - year including the century
# %m - month (01 to 12)
# %d - day of the month (01 to 31)
data0['Date']=pd.to_datetime(data0['Date'], format="%Y/%m/%d")

# %I - hour, using a -hour clock (01 to 12)
# %M - minute
# %p - either am or pm according to the given time value
# data0['Time']=pd.to_datetime(data0['Time'], format="%I:%M %p") -> around 1 sec
data0['Time']=pd.datetools.to_time(data0['Time'], format="%I:%M %p")

有关更多方法的信息：Pandas Tools

有关更多格式选项，请检查 - 日期时间格式指令。

对于500K行，它在我的系统中从大约60秒 - > 0.01秒提高了速度。

您还可以使用：

1
2
# Combine date & time directly from string format
pd.Timestamp(data0['Date'][0] +"" + data0['Time'][0])
相关讨论