Python描述符递归陷阱解析

理解Python描述符

Python描述符（Descriptor）是实现了特定“描述符协议”方法的对象，这些方法包括__get__、__set__和__delete__。当一个类的实例属性被访问时，如果该属性是一个描述符实例，Python解释器就会调用描述符的相应方法来控制属性的访问行为。描述符常用于实现属性验证、缓存、类型转换等高级功能。

__set_name__(self, owner, name)是描述符协议中的一个特殊方法，它在描述符被创建并绑定到宿主类上时被调用。owner参数是宿主类，name参数是描述符在宿主类上的公开名称。这个方法对于描述符内部存储自身状态或关联信息至关重要。

无限递归的根源

当描述符在__get__或__set__方法中尝试通过getattr(instance, self.internal_name)或setattr(instance, self.internal_name, value)来访问或设置实例属性时，如果self.internal_name的值恰好与描述符在宿主类上的公开名称相同，就会导致无限递归。

考虑以下一个有问题的描述符实现：

class ProblematicDescriptor:
    def __set_name__(self, owner, name):
        # 问题所在：内部存储名称与描述符的公开名称相同
        self.internal_name = name 

    def __get__(self, instance, owner):
        if instance is None:
            return self
        print(f"__get__ called for public name '{self.internal_name}'")
        # 此时，getattr(instance, 'some_attribute') 会再次触发描述符的 __get__ 方法
        # 因为 'some_attribute' 正是这个描述符在宿主类上的名称
        return getattr(instance, self.internal_name)

    def __set__(self, instance, value):
        if instance is None:
            return
        print(f"__set__ called for public name '{self.internal_name}'")
        # 同样，setattr(instance, 'some_attribute', value) 会再次触发描述符的 __set__ 方法
        setattr(instance, self.internal_name, value)

class HostClass:
    my_attr = ProblematicDescriptor()

# 尝试访问或设置属性将导致 RecursionError
# host_obj = HostClass()
# host_obj.my_attr = 10  # 尝试设置
# print(host_obj.my_attr) # 尝试获取

当执行host_obj.my_attr = 10时：

1. HostClass.my_attr.__set__(host_obj, 10)被调用。
2. 在__set__内部，setattr(host_obj, self.internal_name, value)被调用。由于self.internal_name此时为'my_attr'，Python解释器会再次尝试设置host_obj.my_attr。
3. 这会再次触发HostClass.my_attr.__set__(host_obj, 10)，形成一个无限循环，直到达到Python的递归深度限制，抛出RecursionError。

__get__方法的调用也遵循相同的逻辑，同样会导致无限递归。

解决方案：采用独特的内部属性名

解决此问题的关键在于，在描述符内部用于存储实际值的属性名，必须与描述符在宿主类上的公开名称不同。通过__set_name__方法，我们可以轻松地为内部存储生成一个独特的名称。

通常的做法是在公开名称前加上下划线（_）作为前缀，以表示这是一个内部属性。

class SafeDescriptor:
    def __set_name__(self, owner, name):
        self.public_name = name
        # 解决方案：使用一个不同的内部存储名称，例如加上前缀 '_'
        self.internal_storage_name = f'_{name}' 

    def __get__(self, instance, owner):
        if instance is None:
            return self
        print(f"__get__ called for public name '{self.public_name}', retrieving from '{self.internal_storage_name}'")
        # 此时，getattr(instance, self.internal_storage_name) 会在实例的 __dict__ 中查找
        # 或者沿着 MRO 查找，而不会再次触发描述符协议，从而避免递归。
        return getattr(instance, self.internal_storage_name, None) # 提供默认值以防属性尚未设置

    def __set__(self, instance, value):
        if instance is None:
            return
        print(f"__set__ called for public name '{self.public_name}', storing to '{self.internal_storage_name}'")
        # setattr(instance, self.internal_storage_name, value) 将值存储为实例的一个普通属性
        setattr(instance, self.internal_storage_name, value)

class SafeHostClass:
    my_attr = SafeDescriptor()

# 示例：正确运行
safe_obj = SafeHostClass()
safe_obj.my_attr = 10
print(f"Retrieved value: {safe_obj.my_attr}")

# 验证实例的内部状态
print(f"Instance dictionary: {safe_obj.__dict__}") 
# 输出可能为: Instance dictionary: {'_my_attr': 10}

在这个修正后的实现中，当getattr(instance, self.internal_storage_name)被调用时，Python解释器会查找instance实例中名为_my_attr的普通属性。由于_my_attr不是一个描述符，它不会再次触发SafeDescriptor的__get__方法，而是直接从实例的__dict__中获取值，从而成功打破了递归。setattr也以类似的方式工作。

注意事项与最佳实践

1. 命名约定： 使用下划线前缀（如_name）是Python社区的通用约定，表示该属性是内部使用的，不应被外部直接访问。这提高了代码的可读性和维护性。
2. __set_name__的重要性： __set_name__方法是描述符获取其公开名称并生成内部存储名称的关键。它确保了每个描述符实例都能正确地管理其在不同宿主类实例上的值。
3. getattr与setattr的行为： 理解getattr和setattr在Python中查找属性的机制至关重要。当它们被调用时，Python会首先检查目标对象所属的类是否定义了同名的描述符。如果存在，描述符协议被激活；如果不存在，则在实例的__dict__和类的MRO中查找普通属性。
4. 直接访问instance.__dict__： 虽然在某些情况下，可以直接通过instance.__dict__[self.internal_storage_name]来访问或设置值，但使用getattr和setattr通常更为推荐，因为它们能更好地处理属性不存在（例如提供默认值）或涉及继承链的情况。但在本递归场景中，关键在于getattr/setattr的目标名称不能是描述符的公开名称。

总结

在Python描述符的实现中，为了避免在__get__和__set__方法中因自身调用而导致的无限递归，核心策略是确保用于存储和检索实际值的内部属性名与描述符在宿主类上的公开名称不同。__set_name__方法提供了获取描述符公开名称的机制，从而允许我们生成一个独特的内部存储名称（例如，通过添加下划线前缀）。遵循这一最佳实践，可以构建健壮且无递归问题的描述符。