当前位置:

首页 > 编程开发 > LiteLLM 1.109.0迁移要改什么,1.108.5 LTS、1.106.8与1.110.0-rc.1该如何看

LiteLLM 1.109.0迁移要改什么,1.108.5 LTS、1.106.8与1.110.0-rc.1该如何看

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

给出LiteLLM1.109.0五项迁移配置,说明fallback列表、local缓存、router_settings硬限流、Gemini参数和Lens独立部署,并区分LTS/旧补丁/RC。

本文目录

    LiteLLM 1.109.0的五项迁移涉及路由目标列表、缓存后端、硬rpm检查、Gemini采样参数及独立Lens连接。它与1.108.5 LTS、1.106.8和1.110.0-rc.1属于不同版本记录,不能混成一个升级包。特别是旧Lens捆绑资源的移除和配置层级变化,需要在镜像替换之外单独评估。

    LiteLLM产品封面

    路由目标需要从字符串调整为列表

    1.109.0要求fallback目标使用模型名称列表。下面是现有fallbacks字段的替换片段,保持它在原配置中的层级;your-primary-model和your-backup-model分别替换为现有model_list中的实际模型组名,不是提供商密钥或固定模型型号:

    fallbacks:
      - your-primary-model:
          - your-backup-model

    目标值成为列表后,才符合这次迁移要求。模型组存在、路由是否可达和实际故障转移是否成功仍需分别判断,不能把YAML格式正确当作上游调用成功。

    LiteLLM 1.109.0官方五项Action required迁移摘要

    disk缓存已移除,local不是原来的持久磁盘缓存

    仍使用cache_params.type: disk的代理会在启动时失败。若选择本地内存缓存,可把现有litellm_settings中的缓存部分调整为以下片段,其他已有设置保留:

    litellm_settings:
      cache: true
      cache_params:
        type: local

    local使用内存,不能继承原磁盘缓存在单机重启之后保留数据的语义。需要Redis时应使用redis及对应连接配置,不能只改类型却省略实际连接前提。遗留disk_cache_dir在其他缓存类型旁会被忽略并警告,不会恢复已移除的磁盘后端。

    保留部署硬上限需要哪项检查

    仅有enable_pre_call_checks: true不再因部署达到rpm而把它排除。需要继续强制现有部署rpm硬上限时,在router_settings加入或合并这项检查,已有其他optional_pre_call_checks条目保留:

    router_settings:
      optional_pre_call_checks:
        - enforce_model_rate_limits

    这里的层级是router_settings,而不是litellm_settings。它配合部署已配置的限额工作,不会凭空创建一个rpm数值;超过相应限额时的429属于限流结果,不能简单等同提供商故障。

    Gemini采样参数应停止发送或按不支持参数处理

    官方迁移针对Gemini 3.6 Flash、3.5 Flash-Lite及更新型号中的temperature、top_p和top_k。可停止发送这些参数,或在代理采用下面的全局处理片段:

    litellm_settings:
      drop_params: true

    drop_params让不受目标模型支持的参数被丢弃,而不是使这些采样控制突然得到支持。全局配置影响范围比单个部署更广,多个litellm_settings片段应合并进同一个映射,不能复制成重复顶层键。仍需核对业务是否依赖那些已经不再生效的控制。

    Lens改为独立部署,旧捆绑资源有升级风险

    两套LiteLLM Helm图表不再部署Lens。已通过独立Lens图表完成部署、获得实际内外访问地址和两个已有Secret名称后,可在LiteLLM的values中配置连接。以下域名和Secret名称均为占位示例,需替换,内容不是Secret值:

    lens:
      enabled: true
      url: "https://lens.example.internal"
      publicUrl: "https://lens.example.com"
      gatewaySecret:
        name: "your-lens-gateway-secret"
      serviceTokenSecret:
        name: "your-lens-service-token-secret"

    Secret键默认分别为gateway-secret和service-token。该配置用于把网关指向已部署的Lens,不会自行部署Lens或ClickHouse,也不证明连接和鉴权已经成功。仍启用旧lensWorker模式会导致图表渲染失败;升级还会移除原捆绑Lens、ClickHouse和Secret资源,迁移前必须把现有资源与数据保留方案对应清楚,不能直接把一次升级当作无损迁移。

    新能力与Chat默认展示另行判断

    1.109.0还加入流式响应中途故障转移续写、用于关闭LiteLLM自身主动获取的LITELLM_OFFLINE_MODE,以及带模型中心、生图和用量信息的Chat UI。Chat页面默认展示,已经保存enable_chat_ui: false的部署仍保持隐藏;默认展示不等于取消账号权限。

    LTS、旧补丁与RC修复各属于哪个范围

    1.108.5 LTS修复工作负载身份认证在图像编辑、音频、文件、批处理等非聊天路由的401问题,以及ollama_chat/流式并行工具调用索引、Messages API额外丢弃参数和部分FLAC转录计费。1.106.8回移转录计费修复,优先采用提供商有效usage.seconds,再依据可靠测得的时长处理。无法取得可靠长度时代理可能记录零费用,这不代表提供商免费,费用记录仍需对账。

    1.104.9和1.103.11另有SpendLogs缺失索引在迁移后创建的回补;1.103.11还改善多副本同时连接同一数据库启动的可靠性。它们是其他维护基线的记录,不能把分支号混成统一升级包。

    1.110.0-rc.1仍是候选版,其中total_timeout限制整个非流式请求,并有路由、作用域和Redis相关修复。不能把该限制解释为所有流式请求的总超时,也不能仅凭候选版本号更大就替代既定稳定或LTS部署。各段配置示例只说明迁移结构,真实配置兼容、限流、费用与回退结果仍需分别验收。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 AI API
    下一篇: 暂无
    相关文章 更多
    WorkBuddy怎么多人协作?同时编辑怎么操作
    WorkBuddy怎么多人协作?同时编辑怎么操作

    WorkBuddy 多人协作在资料库「团队空间」完成:新建空间 → 邀请和管理成员 → 复制链接/微信/二维码邀请 → 按查看/编辑/管理分配权限;HTML 支持多人同时编辑(光标互见),MD 走划词评论加 AI 修订建议审阅后生效,CSV 是多人维护的数据底座。本文含权限面板与协作界面真实截图。

    agent-desktop 1.3.1升级后如何理解沙箱存活与桌面快照?
    agent-desktop 1.3.1升级后如何理解沙箱存活与桌面快照?

    agent-desktop 1.3.1让已经启动的沙箱在启动器退出后继续运行,并更新rustix至1.1.6。对通过JSON快照操作桌面的用户而言,沙箱存活、平台权限与ref有效性需要分别判断,不能用其中一项正常代替整项任务的验收。

    langchain-core 1.8.1如何理解langsmith_gateway的作用范围和优先级
    langchain-core 1.8.1如何理解langsmith_gateway的作用范围和优先级

    langchain-core 1.8.1新增的langsmith_gateway用于上下文级LangSmith Gateway覆盖。它并非一次模型调用的临时请求参数:路由在模型构造时解析,因而生效位置、集成支持和配置优先级都需要一起理解。

    Claude Trading Skills如何理解覆盖状态和密钥审查限制?
    Claude Trading Skills如何理解覆盖状态和密钥审查限制?

    Claude Trading Skills分别记录覆盖完整性、数据来源和规则确认;维护者自动扫描标记的not_verified不能等同完整安全验证或已发生密钥泄露,相关Skill代码未在该审查提交中修改。

    Claude iOS Apple注册故障期间,新用户可用哪些注册方式
    Claude iOS Apple注册故障期间,新用户可用哪些注册方式

    Claude iOS Apple注册异常主要影响新账号,官方提供Google与邮箱替代方式;事件仍在调查,不能宣称恢复或保证账号迁移。

    llama.cpp预发布b12420、b12424、b12426、b12428怎么按模型任务选择构建
    llama.cpp预发布b12420、b12424、b12426、b12428怎么按模型任务选择构建

    llama.cpp预发布b12420、b12424、b12426、b12428分别带来模型与模板层面的变化。文本模型、文本转语音、语音识别和Jinja渲染不是一项能力;按任务对应构建,可以避免把某个新增支持误认为适用于所有模型的通用升级。

    Gemini Robotics 2.5奔驰试点96%如何解读,机器人平台与安全边界有哪些
    Gemini Robotics 2.5奔驰试点96%如何解读,机器人平台与安全边界有哪些

    解释Gemini Robotics2.5动作与推理分工、奔驰零件配套96%试点范围、200任务评估及合作伙伴开放条件。

    LangChain四个集成包加入Gateway后,Python环境要注意什么
    LangChain四个集成包加入Gateway后,Python环境要注意什么

    LangChain四个模型集成包共同移除Python3.10支持并加入Gateway路由,需区分独立包版本与各自修复。

    Claude三种协作工具如何选:Sheets表格、Whiteboards白板与Data共享边界
    Claude三种协作工具如何选:Sheets表格、Whiteboards白板与Data共享边界

    区分Claude三种协作工具及Beta范围,解释Enterprise11月20日默认开关、实时共享查询权限和白板数据控制边界。

    DBeaver 26.2.5本地模型支持适用什么场景,元数据范围有何限制?
    DBeaver 26.2.5本地模型支持适用什么场景,元数据范围有何限制?

    DBeaver 26.2.5为希望使用本地AI模型的数据库用户加入Ollama支持,并新增连接级AI元数据同意及范围设置。它强调的是模型接入与上下文边界两个层面,官方更新说明没有承诺所有AI功能自动离线,也没有列出全部模型的统一兼容清单。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?