Python pandas read_sql returns generator object
我使用pyodbc和pandas read_sql从Oracle数据库中提取数据。
我输入这一行时没有看到任何错误
1 | df = pd.read_sql(sql_str,cnxn,chunksize=10) |
但是,当我试图看到
1 | df |
我收到这个错误
1 | <generator object _query_iterator at 0x092D40F8> |
我对这个错误意味着什么或者可能导致什么错误的搜索没有得出令人满意的答案。
使用chunksize的原因是我有一个包含6000万行的Oracle数据库表,并且计划以位为单位下载然后将它们放在一起,就像这里:
如何从SQL查询创建大型pandas数据框而不会耗尽内存?
正如
因此,您可以遍历结果并对每个块执行某些操作:
1 2 | for chunk in pd.read_sql_query(sql_str, engine, chunksize=10): do_something_with(chunk) |
通常,您可以处理块并将其添加到列表中,然后在此循环之后将此列表中的所有已处理块一起汇总。
另请参阅有关sql查询的文档:http://pandas.pydata.org/pandas-docs/stable/io.html#querying以获取示例。
我更愿意评论,但还不能。 无论如何,这不是告诉您