商城首页欢迎来到中国正版软件门户

您的位置: 首页 > 文章列表 > 硬件相关 > 用AI路由器省Token成新趋势?巨头争相布局,企业AI成本最高下降近97%

用AI路由器省Token成新趋势?巨头争相布局,企业AI成本最高下降近97%

  发布于2026-08-18 阅读(0)

扫一扫,手机访问

最近有个趋势挺有意思,AI使用成本越来越高,反倒是“模型路由器”这类技术开始加速渗透进企业市场了。

用AI路由器省Token成新趋势?巨头争相布局,企业AI成本最高下降近97%

这背后的逻辑其实不复杂:与其每次任务都调用最贵的模型,不如让系统自动帮你匹配一个最合适的。既能保证效果不崩,又能大幅度压减Token支出。说白了,就是从“默认调用最强模型”,转向“按任务分层调度”。

从产业层面来看,模型路由器已经不只是个工具型产品了,它正在快速演变成基础设施级的组件。无论你是科技大厂,还是AI平台公司,眼下都在抢着布局这个能力,把它嵌入到AI工作流和API网关里去。

更深层的信号是:AI竞争的重心,正在悄悄地从“谁的模型更强”,转向“谁的调度和成本优化更精细”。谁能把这块算得更细,谁就更有可能在下一阶段占住身位。

从“默认最强”到“按需分层”

模型路由器的本质,就是对AI任务进行成本和能力的分层匹配。

企业在实际使用中会发现,很多任务根本不需要最强的模型。比如邮件总结、文档摘要、信息检索这些场景,完全可以让更小、更便宜的模型来搞定。只有那些需要复杂推理的任务,才值得交给前沿模型去处理。

这个思路在OpenAI推出GPT-5系列之后变得更加清晰:系统会根据任务复杂度,在不同模型之间自动切换。接着,跨模型、跨供应商的第三方路由器也陆续出现,企业可以在OpenAI、Google、Anthropic这些主流模型之间动态调度,不必再被一家绑定。

日本AI实验室Sakana AI之前推出过一个多模型协同系统,很有意思。它显示路由机制已经有点“专家分工”的味道了:数学问题倾向于调用OpenAI的模型,科学问题则更多路由到Google Gemini那边去。

头部企业的降本实践:推理成本最高降了97%

在商业化层面,模型路由器已经开始带来实打实的成本下降。

Palantir Technologies推出的Evolve AI路由工具,不只管模型选择,还能优化提示词,避免重复调用。根据公司披露的数据,在某些案例里,通过把任务从较强模型切换到轻量模型,推理成本竟然降了差不多97%。

建筑公司McCarthy Building也说,他们的AI Token使用量同比下降了约60%,主要就是靠模型调度优化实现的。

与此同时,Databricks推出的Unity AI Gateway已经在内部广泛使用。其CEO Ali Ghodsi话说得很直白:这类工具之所以受欢迎,是因为企业“正在以过快的速度把AI预算烧光”。

网络安全领域也没闲着,Palo Alto Networks等公司开始通过模型切换策略来降低AI调用成本。路由能力正在变成企业AI架构里一个默认可选的功能模块。

资本与产品共振,赛道加速成型

资本市场显然也嗅到了这股风向。

模型路由平台OpenRouter在4月完成了1.2亿美元融资,一下子成为赛道里最受关注的创业公司之一。它的核心产品“自动路由器”挺有意思:用户可以自己设定一个成本和质量偏好的区间(0到10),系统会根据这个偏好去动态选择模型。

数据也证实了这套策略的效果:OpenRouter的路由逻辑里,大约三分之一的请求被分配到了Google的低成本模型上,只有约10%流向了OpenAI那种较强的模型。这种成本分层优化,做得相当明显。底层还整合了Not Diamond等路由技术提供商,支持跨云服务商调用,进一步优化延迟和价格。

此外,AI编程公司Cognition也推出了自己的路由系统。在编程基准测试中,它接近前沿模型的表现,但成本只用了大约35%。

本文转载于:https://www.163.com/dy/article/L164A9C005198NMR.html 如有侵犯,请联系zhengruancom@outlook.com删除。
免责声明:正软商城发布此文仅为传递信息,不代表正软商城认同其观点或证实其描述。

热门关注