高效批量导入 JSON 到 Django 模型的技巧

本文详解 Django 中将 JSON 文件数据批量写入数据库的正确方法，重点解决单次循环中仅保存最后一条记录的问题，并推荐使用 bulk_create() 实现高性能、低开销的一次性批量插入。

本文详解 Django 中将 JSON 文件数据批量写入数据库的正确方法，重点解决单次循环中仅保存最后一条记录的问题，并推荐使用 `bulk_create()` 实现高性能、低开销的一次性批量插入。

在 Django Web 开发中，常需将外部 JSON 数据导入模型以持久化到 SQL 数据库（如 PostgreSQL、SQLite 或 MySQL）。初学者易犯的一个典型错误是：在 for 循环中逐个创建模型实例，却将 .save() 调用放在循环外部——这导致仅最后一个对象被保存，其余全部丢失。

例如，原始代码中：

for item in data:
    my_model_instance = MyModel(...)  # 每次覆盖引用
my_model_instance.save()  # ❌ 只保存最后一次迭代的对象

正确做法是收集所有实例，再统一入库。Django 提供了高效的 Model.objects.bulk_create() 方法，它将 N 条记录合并为单条 SQL INSERT 语句（或极少数语句），相比 N 次 .save() 可提升数倍至数十倍性能，并显著降低数据库连接与事务开销。

以下是优化后的完整视图函数示例：

from django.shortcuts import render
import json
from .models import MyModel
import os

def display(request):
    # 构建 JSON 文件绝对路径（注意：建议使用 settings.BASE_DIR 更健壮）
    json_file_path = os.path.join(
        os.path.dirname(__file__), '..', '..', 'jsondata.json'
    )

    try:
        with open(json_file_path, 'r', encoding='utf-8') as f:
            data = json.load(f)

        # ✅ 使用列表推导式批量构建模型实例
        model_instances = [
            MyModel(
                end_year=item.get('end_year'),
                intensity=item.get('intensity'),
                sector=item.get('sector'),
                topic=item.get('topic'),
                insight=item.get('insight'),
                url=item.get('url'),
                region=item.get('region'),
                start_year=item.get('start_year'),
                impact=item.get('impact'),
                added=item.get('added'),
                published=item.get('published'),
                country=item.get('country'),
                relevance=item.get('relevance'),
                pestle=item.get('pestle'),
                source=item.get('source'),
                title=item.get('title'),
                likelihood=item.get('likelihood'),
            )
            for item in data
        ]

        # ✅ 批量写入数据库（自动跳过空列表，支持 batch_size 参数分批）
        MyModel.objects.bulk_create(model_instances, batch_size=1000)

    except FileNotFoundError:
        data = []
        # 可选：记录日志或抛出自定义异常
        # import logging; logging.error("JSON file not found: %s", json_file_path)
    except json.JSONDecodeError as e:
        data = []
        # 处理 JSON 格式错误
        raise ValueError(f"Invalid JSON format: {e}") from e
    except Exception as e:
        # 建议捕获更具体的异常（如 IntegrityError），便于调试
        raise

    return render(request, 'display.html', {'data': data})

? 关键注意事项：

• ✅ 使用 .get(key) 替代直接 item['key']：避免因 JSON 字段缺失引发 KeyError；
• ✅ 指定 encoding='utf-8'：防止中文等非 ASCII 字符读取乱码；
• ✅ batch_size 参数：当数据量极大（如 > 10,000 条）时，显式设置 batch_size=1000 可避免内存溢出或数据库单次语句超限；
• ⚠️ bulk_create() 不触发 save() 方法和信号：如需调用 pre_save/post_save 信号或自定义 save() 逻辑，请改用 model_to_dict() + form.save() 或手动处理；
• ⚠️ 主键与默认值：若模型含 AutoField 主键，bulk_create() 会自动填充；但不会执行 default= 函数（如 timezone.now），需在构造实例时显式传入；
• ✅ 路径安全建议：生产环境应避免硬编码相对路径，推荐通过 settings.BASE_DIR / "data" / "jsondata.json" 管理静态数据文件。

通过以上方式，你不仅能准确完成 JSON → SQL 的数据迁移，还能保障代码健壮性、可维护性与生产级性能。