Pandas read_csv可以加载的行数是否有限制?

Is there a limit to the amount of rows Pandas read_csv can load?

我正在尝试使用Pandas read_csv方法加载.csv文件,该文件有29872046行,总大小为2.2G。
我注意到,对于大量的列,大多数加载的行都会错过它们的值。 从shell浏览时的csv文件包含这些值...
加载的文件有任何限制吗? 如果没有,怎么可以调试?
谢谢


@ d1337,

我想知道你是否有记忆问题。 这里有一丝暗示。

可能这是相关的或这个。

如果我试图调试它,我会做一件简单的事情。 将文件减半 - 会发生什么? 如果可以的话,如果没有下降50%,则上涨50%,直到能够确定其发生的点。 您甚至可能希望从20行开始,并确保它与大小相关。

我还会添加操作系统和内存信息以及你正在使用的Pandas版本以备相关(我正在运行Pandas 11.0,Python 3.2,Linux Mint x64和16G RAM,所以我希望没有问题 ,说)。 此外,您可能会发布一个指向您数据的链接,以便其他人可以对其进行测试。

希望有所帮助。