Python字典筛选与重构技巧

在处理从API或其他数据源获取的复杂数据时，我们经常需要从嵌套的数据结构中提取特定信息并将其重构为更易于使用的格式。本教程将以一个典型的场景为例，演示如何利用Python的字典推导式（Dictionary Comprehension）这一强大工具，高效地完成这一任务。

理解原始数据结构

假设我们从经纪商API获取到以下数据：

my_dict = {
    '1': [
        {'exch': 'NFO', 'token': '43214', 'tsym': 'NIFTY07DEC23C20700', 'weekly': 'W1', 'dname': 'NIFTY 07DEC23 20700 CE ', 'instname': 'OPTIDX', 'pp': '2', 'ls': '50', 'ti': '0.05', 'optt': 'CE'},
        {'exch': 'NFO', 'token': '43218', 'tsym': 'NIFTY07DEC23P20700', 'weekly': 'W1', 'dname': 'NIFTY 07DEC23 20700 PE ', 'instname': 'OPTIDX', 'pp': '2', 'ls': '50', 'ti': '0.05', 'optt': 'PE'},
        {'exch': 'NFO', 'token': '43206', 'tsym': 'NIFTY07DEC23C20600', 'weekly': 'W1', 'dname': 'NIFTY 07DEC23 20600 CE ', 'instname': 'OPTIDX', 'pp': '2', 'ls': '50', 'ti': '0.05', 'optt': 'CE'},
        {'exch': 'NFO', 'token': '43207', 'tsym': 'NIFTY07DEC23P20600', 'weekly': 'W1', 'dname': 'NIFTY 07DEC23 20600 PE ', 'instname': 'OPTIDX', 'pp': '2', 'ls': '50', 'ti': '0.05', 'optt': 'PE'}
    ]
}

这个数据是一个字典，其键为字符串'1'，对应的值是一个包含多个字典的列表。列表中的每个字典都代表一个金融工具的详细信息，包含'exch'、'token'、'tsym'等多个键值对。

明确数据提取目标

我们的目标是从这个嵌套结构中提取特定的键值对，并构建一个新的字典。具体来说，我们希望：

• 以每个内部字典的'token'值作为新字典的键。
• 以每个内部字典的'tsym'值作为新字典的值。

最终期望得到的新字典格式如下：

{'43214': 'NIFTY07DEC23C20700', '43218': 'NIFTY07DEC23P20700', '43206': 'NIFTY07DEC23C20600', '43207': 'NIFTY07DEC23P20600'}

解决方案：利用字典推导式

Python的字典推导式（Dictionary Comprehension）提供了一种简洁而高效的方式来创建字典。它的基本语法是{key_expression: value_expression for item in iterable}。

针对我们的需求，可以采用以下一行代码实现数据提取和重构：

new_dict = {d['token']: d['tsym'] for d in my_dict['1']}

代码解析

让我们逐步分解这行代码：

1. my_dict['1']: 首先，我们通过键'1'访问my_dict中包含列表的部分。这将得到一个由多个字典组成的列表。
2. for d in my_dict['1']: 这是一个循环，它会遍历my_dict['1']这个列表中的每一个元素。在每次迭代中，d将代表列表中的一个内部字典（例如，{'exch': 'NFO', 'token': '43214', ...}）。
3. d['token']: 在每次迭代中，我们从当前的内部字典d中提取'token'键对应的值。这个值将作为新字典的键。
4. d['tsym']: 同样，我们从当前的内部字典d中提取'tsym'键对应的值。这个值将作为新字典的值。
5. {key_expression: value_expression ...}: 字典推导式的结构将这些提取出的键和值组合起来，构建出最终的新字典。

完整示例

将上述代码应用于我们的原始数据，我们可以得到期望的结果：

my_dict = {
    '1': [
        {'exch': 'NFO', 'token': '43214', 'tsym': 'NIFTY07DEC23C20700', 'weekly': 'W1', 'dname': 'NIFTY 07DEC23 20700 CE ', 'instname': 'OPTIDX', 'pp': '2', 'ls': '50', 'ti': '0.05', 'optt': 'CE'},
        {'exch': 'NFO', 'token': '43218', 'tsym': 'NIFTY07DEC23P20700', 'weekly': 'W1', 'dname': 'NIFTY 07DEC23 20700 PE ', 'instname': 'OPTIDX', 'pp': '2', 'ls': '50', 'ti': '0.05', 'optt': 'PE'},
        {'exch': 'NFO', 'token': '43206', 'tsym': 'NIFTY07DEC23C20600', 'weekly': 'W1', 'dname': 'NIFTY 07DEC23 20600 CE ', 'instname': 'OPTIDX', 'pp': '2', 'ls': '50', 'ti': '0.05', 'optt': 'CE'},
        {'exch': 'NFO', 'token': '43207', 'tsym': 'NIFTY07DEC23P20600', 'weekly': 'W1', 'dname': 'NIFTY 07DEC23 20600 PE ', 'instname': 'OPTIDX', 'pp': '2', 'ls': '50', 'ti': '0.05', 'optt': 'PE'}
    ]
}

new_dict = {d['token']: d['tsym'] for d in my_dict['1']}

print(new_dict)

输出：

{'43214': 'NIFTY07DEC23C20700', '43218': 'NIFTY07DEC23P20700', '43206': 'NIFTY07DEC23C20600', '43207': 'NIFTY07DEC23P20600'}

注意事项与扩展

1. 键不存在的风险： 如果某个内部字典中缺少'token'或'tsym'键，直接访问d['token']或d['tsym']会引发KeyError。为了增加代码的健壮性，可以使用d.get('token')或d.get('tsym', default_value)，或者在推导式中添加条件过滤：

   # 仅当'token'和'tsym'都存在时才添加
   new_dict_safe = {d['token']: d['tsym'] for d in my_dict['1'] if 'token' in d and 'tsym' in d}
   
   # 如果键可能不存在，使用get并提供默认值
   new_dict_with_defaults = {d.get('token', 'UNKNOWN_TOKEN'): d.get('tsym', 'UNKNOWN_TSYM') for d in my_dict['1']}

2. 添加过滤条件： 如果我们只想提取特定类型的金融工具（例如，只提取'optt'为'CE'的合约），可以在推导式中加入额外的if条件：

   ce_options = {d['token']: d['tsym'] for d in my_dict['1'] if d.get('optt') == 'CE'}
   print(ce_options)
   # 输出: {'43214': 'NIFTY07DEC23C20700', '43206': 'NIFTY07DEC23C20600'}

3. 性能优势： 字典推导式通常比传统的for循环结合dict.update()或dict[key] = value的方式更简洁、更具可读性，并且在许多情况下也更高效。

总结

字典推导式是Python中处理和重构字典数据的强大工具。通过本教程的示例，我们学习了如何从复杂嵌套的字典结构中精准地提取特定数据，并将其转换为所需的新字典格式。掌握这一技巧将极大地提升您在数据处理任务中的效率和代码的简洁性。