关于python：`pickle`：还有一个`ImportError：没有名为my_module的模块

`pickle`: yet another `ImportError: No module named my_module`

我在my_module中定义了一个MyClass类。 MyClass有一个方法pickle_myself，用于挑选有问题的类的实例：

1
2
3

def pickle_myself(self, pkl_file_path):
with open(pkl_file_path, 'w+') as f:
pkl.dump(self, f, protocol=2)

我确保my_module在PYTHONPATH中。在解释器中，执行__import__('my_module')工作正常：

1 2	>>> __import__('my_module') <module 'my_module' from 'A:\my_stuff\my_module.pyc'>

但是，当最终加载文件时，我得到：

1
2
3

File"A:\Anaconda\lib\pickle.py", line 1128, in find_class
__import__(module)
ImportError: No module named my_module

我确定的一些事情：

我没有改变my_module.py的位置(改变模块目录后的Python酸洗)
我试图使用dill代替，但仍然得到相同的错误(更多关于python ImportError没有模块命名)

编辑 - 再现错误的玩具示例：

示例本身分布在一堆文件中。

首先，我们有模块ball(存储在名为ball.py的文件中)：

1
2
3
4
5
6

class Ball():
def __init__(self, ball_radius):
self.ball_radius = ball_radius

def say_hello(self):
print"Hi, I'm a ball with radius {}!".format(self.ball_radius)

然后，我们有模块test_environment：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

import os
import ball
#import dill as pkl
import pickle as pkl

class Environment():
def __init__(self, store_dir, num_balls, default_ball_radius):
self.store_dir = store_dir
self.balls_in_environment = [ball.Ball(default_ball_radius) for x in range(num_balls)]

def persist(self):
pkl_file_path = os.path.join(self.store_dir,"test_stored_env.pkl")

with open(pkl_file_path, 'w+') as f:
pkl.dump(self, f, protocol=2)

然后，我们有一个模块，它具有创建环境，持久化和加载它们的功能，称为make_persist_load：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import os
import test_environment
#import pickle as pkl
import dill as pkl

def make_env_and_persist():
cwd = os.getcwd()

my_env = test_environment.Environment(cwd, 5, 5)

my_env.persist()

def load_env(store_path):
stored_env = None

with open(store_path, 'rb') as pkl_f:
stored_env = pkl.load(pkl_f)

return stored_env

然后我们有一个脚本将它们放在一起，在test_serialization.py中：

1
2
3
4
5
6
7
8
9
10
11
12
13
14

import os
import make_persist_load

MAKE_AND_PERSIST = True
LOAD = (not MAKE_AND_PERSIST)

cwd = os.getcwd()
store_path = os.path.join(cwd,"test_stored_env.pkl")

if MAKE_AND_PERSIST == True:
make_persist_load.make_env_and_persist()

if LOAD == True:
loaded_env = make_persist_load.load_env(store_path)

为了方便使用这个玩具示例，我已将其全部放在Github存储库中，只需要将其克隆到您选择的目录中..请参阅README包含说明，我也在这里重现：

说明：

1)将存储库克隆到目录中。

2)将存储库目录添加到PYTHONPATH。

3)打开test_serialization.py，并将变量MAKE_AND_PERSIST设置为True。在解释器中运行脚本。

4)关闭先前的解释器实例，并启动一个新实例。在test_serialization.py中，将MAKE_AND_PERSIST更改为False，这将以编程方式将LOAD设置为True。在解释器中运行脚本，导致ImportError: No module named test_environment。

5)默认情况下，测试设置为使用dill而不是pickle。要更改此设置，请转到test_environment.py和make_persist_load.py，根据需要更改导入。

编辑：切换到dill'0.2.5.dev0'，dill.detect.trace(True)输出

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

C2: test_environment.Environment
# C2
D2: <dict object at 0x000000000A9BDAE8>
C2: ball.Ball
# C2
D2: <dict object at 0x000000000AA25048>
# D2
D2: <dict object at 0x000000000AA25268>
# D2
D2: <dict object at 0x000000000A9BD598>
# D2
D2: <dict object at 0x000000000A9BD9D8>
# D2
D2: <dict object at 0x000000000A9B0BF8>
# D2
# D2

编辑：玩具示例在Mac / Ubuntu(即类Unix系统？)上运行时运行良好。它只在Windows上失败。