F5中国本土创新“出圈”，自研Token负载均衡让异构GPU集群并发提升75%

从大模型竞赛的第一阶段——“训练能力比拼”，到眼下逐步过渡到第二阶段——“推理落地之争”，行业正在经历一次关键转身。而在这场转身中，一个长期隐藏在流量分发背后的技术环节——负载均衡，正在重新被定义。

6月5日，F5中国在Solution Day 2026上发布了一项颇具分量的本土创新：基于词元的负载均衡方案（Token Based Load Balancing，以下简称TBLB）。简单说，就是针对AI推理场景做了算力调度的底层优化，解决异构GPU集群中资源利用率不均、推理效率打折这类让工程团队头疼的问题。

中国团队原创，从本土实践走向全球共识

“TBLB方案源于中国团队在AI推理场景中的本地创新与实践。”F5北亚区总裁黄彦文在发布会上如是说。据他透露，随着大模型推理进入规模化落地阶段，传统的负载均衡方式——基于连接数或请求数进行分发——已经难以精准反映AI推理任务对后端GPU算力资源造成的真实消耗。换句话说，过去那套办法，开始失灵了。

中国团队基于本地客户的真实需求，提出了一个全新的思路：以Token为调度核心。这套方案能够实时感知Token规模对后端算力资源的影响，动态调整请求分配策略，实现对不同节点算力状态的精细化调度。黄彦文特别提到，尽管这个创新最早诞生于中国市场，但F5已经开始在全球范围内推广TBLB的相关理念。“Token经济正在成为行业共识，AI基础设施正从‘以连接为中心’走向‘以Token为中心’。”这一点，正在被越来越多的实践所验证。

从“平均分流”到“算力感知”

F5中国区产品及解决方案总经理陈亮进一步阐释了TBLB与传统负载均衡的本质差异。传统互联网时代，负载均衡解决的是“流量如何分发”的问题；而在AI大模型时代，问题变成了“算力如何被实时调度”。

两者当然有共同点——核心目标依然是高可用、高性能和稳定交付。但关键是，“负载”的定义发生了根本性变化。传统SLB主要基于连接数或请求数进行分发，原因很简单：Web请求的资源消耗相对固定。而在大模型推理场景下，一个请求背后的计算量可能相差几十倍甚至上百倍。真正消耗GPU资源的，是Token数量、上下文长度以及推理复杂度。

这一点在中国市场尤为突出。企业普遍采用异构芯片混合部署，不同GPU、不同推理框架之间存在明显性能差异。传统基于请求数的负载均衡方式，已经很难精准反映底层算力的实时状态，结果往往是部分节点过载、部分节点空转，资源浪费触目惊心。

因此，TBLB的核心理念是：不再只关注“有多少请求”，而是关注“这些请求会消耗多少算力”。传统SLB更像“平均分流”，而TBLB则是“算力感知的智能调度”。它能实时感知Token规模、GPU负载、KV Cache、队列长度等指标，并动态调整调度策略，将不同复杂度的任务分配到最合适的算力节点，避免资源空转或局部过载。

这背后折射出的，其实是AI基础设施逻辑的深刻变化。互联网时代，核心资源是带宽和连接；AI时代，核心资源变成了GPU算力与Token吞吐能力。AI竞争正在从“模型能力”逐步延伸到“推理调度能力”。未来企业真正需要解决的，不只是模型是否足够强，而是如何在复杂异构算力环境下，以更低成本、更高效率、更稳定的方式完成每一次Token计算。这才是TBLB方案的核心价值所在。

降本增效的数据验证

理论讲得再好，最终还是要看效果。F5披露的多个客户案例给出了实证：

在某汽车行业客户场景中，算力资源由6块NVIDIA A40与8块L20构成，在未增加任何算力成本的前提下，Token生成速度提升30.3%，端到端响应速度提升48%。在某运营商采用华&为Ascend 910B算力的环境中，并发用户数提升至少75%，Token生成速度提升达99%。在金融行业混合使用阿里平头哥PPU与NVIDIA H20的集群中，Token生成速度提升42%。

这些数据说明一个问题：TBLB方案能够在不增加额外算力投入的情况下，有效释放现有GPU的潜能。黄彦文特别强调了这一点——当前GPU迭代周期已从过去的2-3年缩短至12-15个月，企业面临巨大的资产折旧压力。如何提升既有GPU资源的利用效率，已经成为不容回避的关键问题。TBLB支持跨品牌、跨代际GPU的统一调度与协同使用，实测可将GPU利用率提升60%。

“创新中国，链接全球”的双引擎战略

在战略层面，F5中国今年的发展理念也从“创新中国，服务中国”升级为“创新中国，链接全球”。黄彦文介绍，F5已正式成立AI应用工程部，中国团队在其中占据关键地位。“正是客户价值的持续验证，推动相关能力从中国走向全球。”这句话的分量不轻。

围绕这一战略，F5明确了“本地AI赋能”与“支持企业出海”两大业务航道。一方面，围绕智能原生应用与AI推理场景强化本地能力建设；另一方面，聚焦新能源汽车、高端制造等重点产业链的全球化布局，提供覆盖多地域、多云环境的应用交付与安全能力。

说到底，AI的商业化落地，从来不只是模型参数的竞赛。当推理成为主战场，当Token成为新的计量单位，谁能更高效地调度每一次计算，谁就能在这场长跑中占据先机。TBLB的出现，或许正是那个关键的起跑信号。