当前位置:

首页 > 编程开发 > 如何在 Vertex AI 中使用新数据重新训练模型?Python 实现指南

如何在 Vertex AI 中使用新数据重新训练模型?Python 实现指南

VertexAI当前不支持对已部署的AutoML模型进行增量训练或数据追加;必须基于更新后的数据集创建全新模型,本文详解完整流程与Python实践方法。

本文目录

    如何在 Vertex AI 中使用新数据重新训练模型?Python 实现指南

    Vertex AI 当前不支持对已部署的 AutoML 模型进行增量训练或数据追加;必须基于更新后的数据集创建全新模型,本文详解完整流程与 Python 实践方法。

    Vertex AI 当前不支持对已部署的 AutoML 模型进行增量训练或数据追加;必须基于更新后的数据集创建全新模型,本文详解完整流程与 Python 实践方法。

    在 Google Vertex AI 中,无论是使用 AutoML 图像、文本还是表格模型,模型一旦训练完成并部署,即为不可变对象(immutable)。这意味着你无法通过 API 或 SDK “更新”或“追加训练”已有模型——即使只是新增几十条标注样本。这是由 Vertex AI 的底层设计决定的:每个模型版本对应唯一的数据集快照、训练配置与超参组合,不提供权重微调(fine-tuning)或持续学习(continual learning)机制(尤其对 AutoML 模型而言)。

    因此,正确的再训练(retraining)流程是:

    1. 扩展现有数据集:将新数据上传至 Cloud Storage,并通过 aiplatform SDK 将其导入到原始数据集(或新建数据集);
    2. 创建新模型:基于更新后的数据集,调用 AutoMLTrainingJob 启动新一轮训练;
    3. 部署新模型:将训练完成的新模型部署至现有 Endpoint(可替换旧版本)或新建 Endpoint;
    4. (可选)版本管理:利用 Endpoint 的流量分配功能实现灰度发布与 A/B 测试。

    以下是关键 Python 示例(基于 google-cloud-aiplatform==1.50.0+):

    from google.cloud import aiplatform
    
    # 初始化
    aiplatform.init(project="your-project-id", location="us-central1")
    
    # 步骤1:获取现有数据集(假设已知 dataset_id)
    dataset = aiplatform.ImageDataset(dataset_name="projects/123456789/locations/us-central1/datasets/1234567890123456789")
    
    # 步骤2:向数据集添加新数据(需提前整理为 CSV + GCS 文件路径)
    # 注意:AutoML 数据集支持「追加」操作(仅限未锁定状态),但仅影响数据集内容,不触发自动重训
    dataset.import_data(
        gcs_source=["gs://my-bucket/new-data.csv"],
        import_schema_uri=aiplatform.schema.dataset.io_format.image.single_label_classification
    )
    
    # 步骤3:启动新训练任务(使用相同/优化后的训练参数)
    job = aiplatform.AutoMLImageTrainingJob(
        display_name="my-model-retrain-v2",
        prediction_type="classification",
        multi_label=False,
    )
    
    # 使用同一数据集(含新增样本)训练新模型
    model = job.run(
        dataset=dataset,
        model_display_name="my-model-v2",
        training_filter_split=None,  # 可复用原划分逻辑
        budget_milli_node_hours=8000,
    )
    
    # 步骤4:部署至现有 Endpoint(替换流量)
    endpoint = aiplatform.Endpoint(endpoint_name="projects/123456789/locations/us-central1/endpoints/9876543210987654321")
    endpoint.deploy(
        model=model,
        deployed_model_display_name="my-model-v2-prod",
        traffic_percentage=100,  # 全量切流
        machine_type="n1-standard-4"
    )

    ⚠️ 重要注意事项:

    • 数据集必须处于 ACTIVE 状态才允许 import_data;若已用于训练且被锁定(如训练中或已部署),需先确认状态;
    • AutoML 训练作业本身不支持“增量训练”,每次 run() 都是端到端全量训练,耗时与成本与首次训练相当;
    • 若需降低运维成本,建议将数据集构建、训练、部署封装为可复用的流水线(Vertex AI Pipelines),配合 Cloud Build 触发自动化再训练;
    • 对于自定义模型(Custom Training),可通过保存/加载 Checkpoint 实现真正意义上的微调,但 AutoML 不开放此能力。

    总结来说:Vertex AI AutoML 的再训练本质是「重建而非更新」。虽然缺乏热更新能力,但通过标准化的数据集管理 + SDK 自动化 + Endpoint 版本控制,你仍可高效实现模型迭代闭环。如确需原生增量学习支持,建议通过 Google Cloud Issue Tracker 提交正式 Feature Request。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    OpenBot v1.1.0-rc.1 测试升级涉及哪些兼容性变化?
    OpenBot v1.1.0-rc.1 测试升级涉及哪些兼容性变化?

    OpenBot v1.1.0-rc.1 启动时执行不可逆数据库迁移,PostgreSQL 采用两个受限角色,早期 API 迁至 /api/v2/。

    open-code-review v1.13.11 的分支会话与 Move 规则适用于什么场景?
    open-code-review v1.13.11 的分支会话与 Move 规则适用于什么场景?

    open-code-review v1.13.11 支持按分支筛选现有会话,增加 Move 审查规则,并修正路径、MCP 配置及部分失败状态显示。

    GitHub Desktop 3.6.12-beta2 的仓库切换列表有什么变化?
    GitHub Desktop 3.6.12-beta2 的仓库切换列表有什么变化?

    GitHub Desktop 3.6.12-beta2 在同一主机涉及多个账号时按仓库关联账号分组,并减少两项 Copilot 操作中的响应格式失败。

    GitHub Copilot CLI 1.0.113-1预发布版内置浏览器工具有什么管理边界
    GitHub Copilot CLI 1.0.113-1预发布版内置浏览器工具有什么管理边界

    GitHub Copilot CLI 1.0.113-1预发布版中的浏览器控制针对内置 Browser Use,由管理员通过托管设置管理。

    Qwen Code v0.27.4-nightly.20261116.eb3a599ef3 如何区分默认循环与配置覆盖?
    Qwen Code v0.27.4-nightly.20261116.eb3a599ef3 如何区分默认循环与配置覆盖?

    Qwen Code v0.27.4-nightly.20261116.eb3a599ef3 调整终端、无界面会话和子代理的默认共享循环,并保留命令确认中的完整命令。

    GitHub Desktop 3.6.11内置Git 2.56.1会影响哪些使用环境?
    GitHub Desktop 3.6.11内置Git 2.56.1会影响哪些使用环境?

    GitHub Desktop 3.6.11的变化作用于客户端自带Git,该组件更新到2.56.1。独立安装的命令行Git仍是另一个环境;官方本版记录没有表示桌面客户端升级会替用户同步更新电脑上的其他Git安装。

    daily_stock_analysis 3.35.0配置怎样控制台股复盘范围
    daily_stock_analysis 3.35.0配置怎样控制台股复盘范围

    daily_stock_analysis 3.35.0使用与兼容变化说明。

    GitHub Copilot 企业哪些成员受自定义来源限制?
    GitHub Copilot 企业哪些成员受自定义来源限制?

    GitHub Copilot 企业托管设置可按类别限制技能、代理、钩子、MCP 服务器和可执行扩展的来源,并与插件市场策略配合。

    Visual Studio Code 1.146 迁移到 Copilot harness 时有哪些权限与沙盒条件?
    Visual Studio Code 1.146 迁移到 Copilot harness 时有哪些权限与沙盒条件?

    Visual Studio Code 1.146 弃用 Local harness,计划于 2027 年 2 月移除。解释会话目标、临时组织例外、自定义兼容性与沙盒条件。

    vLLM 0.34.0如何检查运行器、缓存与依赖兼容性
    vLLM 0.34.0如何检查运行器、缓存与依赖兼容性

    vLLM 0.34.0使用与兼容变化说明。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。