Out-of-core computations in Julia
我考虑从R,Python和SAS切换到Julia,并想知道Julia是否具有用于核外操作的便捷工具。 我打算在大小为10-20 Gb的数据集上使用Julia,所以我希望能够操作它们而不将它们加载到RAM中。 在Julia中是否有任何软件包,允许Julia以SAS功能的工作方式"正常工作"大于RAM的数据?
-
虽然没有直接回答你的问题,但我认为我的disk.frame包做你想要的,但它在R而不是Julia。
-
有趣的是,对于RAM来说,10-20GB的数据被认为太多了。 :)我经常将50-60GB的数据加载到内存中。 云计算比你想象的要便宜很多!
JuliaDB是Julia中的数据帧包,允许进行核外计算,在线(流)统计和并行。
-
JuliaDB不适用于Julia 0.7或更高版本。 任何替代品?
-
它应该得到更新