Python多进程动态类型创建与传递方法

本文探讨了在Windows环境下使用Python多进程时，动态创建的类无法被子进程正确序列化和反序列化的问题。通过分析错误原因，本文提供了一种解决方案，确保动态创建的类可以在父进程中定义，并在子进程中安全地使用，同时避免重复创建带来的性能损耗。

在Windows下使用Python的multiprocessing模块时，动态创建的类在进程间传递时可能会遇到PicklingError或AttributeError。这是因为Windows下的多进程机制依赖于pickle模块进行对象的序列化和反序列化，而动态创建的类可能无法被正确地找到和加载。

问题分析

错误信息通常类似于：

_pickle.PicklingError: Can't pickle : attribute lookup HandlerClass on __main__ failed

或者

AttributeError: Can't get attribute 'HandlerClass' on 

这表明pickle模块在尝试序列化或反序列化动态创建的类时，无法在主模块(__main__或你的脚本文件)中找到该类。这通常是因为动态创建的类并没有被正确地添加到模块的命名空间中。

解决方案

关键在于确保动态创建的类在主模块的命名空间中可用，并且其名称与__qualname__属性一致。以下是一种推荐的解决方案：

1. 在主进程中定义动态类： 确保动态类的创建发生在主进程的全局作用域内，而不是在函数内部。
2. 将动态类赋值给正确的变量名： 动态类的变量名需要和type的第一个参数（类名）保持一致。
3. 避免在子进程中重复创建： 将创建好的类作为参数传递给子进程，而不是在子进程中再次创建。

示例代码

import multiprocessing
import sys

class Handler:
    pass

# 在主进程中动态创建类，并赋值给HandlerClass
HandlerClass = type('HandlerClass', (int, Handler),{"const": [123]})
print('HandlerClass constructed here', HandlerClass)


def stream_process(H):
    h = H()
    print(h.from_bytes(b'a', "big"))
    print(h.const)


if __name__ == "__main__":
    processes = [ multiprocessing.Process(target=stream_process, args=( HandlerClass,), name=f"server #{i}") for i in range(4) ]

    for process in processes:
        process.start()

    for process in processes:
        process.join()

代码解释

• HandlerClass = type('HandlerClass', (int, Handler),{"const": [123]}): 这行代码在主进程中动态创建了一个名为HandlerClass的类。
• processes = [ multiprocessing.Process(target=stream_process, args=( HandlerClass,), name=f"server #{i}") for i in range(4) ]: 这里将HandlerClass作为参数传递给子进程的stream_process函数。

注意事项

• Windows下的多进程机制对对象的序列化和反序列化要求较高。尽量避免传递复杂的对象结构，以减少出现问题的可能性。
• 如果动态类的创建过程比较耗时，可以考虑使用进程池multiprocessing.Pool，它可以更好地管理进程的创建和销毁，并减少重复创建带来的开销。
• 确保你的代码在Linux和WSL下也能正常工作，以便在不同平台上获得一致的行为。

总结

在Windows下使用Python多进程处理动态创建的类时，需要特别注意对象的序列化和反序列化问题。通过在主进程中定义动态类，并将其作为参数传递给子进程，可以有效地解决PicklingError和AttributeError。同时，避免在子进程中重复创建动态类，可以提高程序的性能。