用AI路由器省Token成新趋势?

2026-07-06 04:25:13 · chineseheadlinenews.com · 来源: 华尔街日报

在AI使用成本持续攀升的背景下,“模型路由器”技术正加速渗透企业市场。

其核心逻辑并不复杂:为任务自动匹配合适而非最贵的模型,在效果基本不减的前提下,大幅压缩Token支出。这正推动企业从“默认调用最强模型”,转向“按任务分层调度”。

从产业层面看,模型路由器正在完成从工具型产品向基础设施级组件的跃迁。无论是科技大厂还是AI平台公司,都在加速布局这一能力,并将其深度嵌入AI工作流与API网关之中。

而背后更深的信号是:AI竞争的重心,正在从“模型能力”部分转向“调度与成本优化能力”——谁更擅长精细调配,谁就更可能在下一阶段占据优势。

从“默认最强”到“按需分层”

模型路由器的本质,是对AI任务进行成本-能力匹配分层。

在企业实际使用中,大量任务并不需要最强模型。例如邮件总结、文档摘要、信息检索等场景,完全可以由更小、更便宜的模型完成,而复杂推理任务才交由前沿模型处理。

这一思路在OpenAI发布GPT-5系列后进一步普及:系统会根据任务复杂度在不同模型间自动切换。随后,跨模型、跨供应商的第三方路由器开始出现,使企业可以在OpenAI、Google、Anthropic等模型之间动态调度。

日本AI实验室Sakana AI此前推出的多模型协同系统显示,这种路由机制已经具备一定“专家分工”特征:数学问题倾向调用OpenAI模型,科学问题则更多路由至Google Gemini。

头部企业的降本实践:推理成本降幅最高达97%

在商业化层面,模型路由器已经开始带来可量化的成本下降。

Palantir Technologies 推出的路由工具 Evolve AI routing system,不仅负责模型选择,还会优化提示词并避免重复调用。公司披露,在某些案例中,通过将任务从较强模型切换至轻量模型,推理成本下降高达97%。

建筑公司McCarthy Building也表示,其AI token使用量同比下降约60%,主要来自模型调度优化。

与此同时,Databricks 推出的 Unity AI Gateway 已在内部广泛使用。其CEO Ali Ghodsi直言,这类工具之所以受欢迎,是因为企业“正在以过快速度烧掉AI预算”。

在安全与网络侧,Palo Alto Networks等公司也开始通过模型切换策略降低AI调用成本,路由能力逐渐成为企业AI架构的默认模块。

资本与产品共振,模型路由器赛道加速成型

资本市场同样迅速跟进这一趋势。

模型路由平台OpenRouter 在4月完成1.2亿美元融资,成为该赛道最受关注的创业公司之一。其核心产品“自动路由器”允许用户设定成本-质量偏好区间(0-10),系统据此动态选择模型。

数据显示,其路由策略中约三分之一请求被分配至Google的低成本模型,而仅约10%流向OpenAI较强模型,实现明显的成本分层优化。OpenRouter底层还整合了Not Diamond等路由技术提供商,并支持跨云服务商调用,以优化延迟与价格结构。

此外,AI编程公司Cognition也推出了自己的路由系统,在编程基准测试中接近前沿模型表现,但成本下降约35%。


    24小时新闻排行榜更多>>
  1. 中国地下教会牧师金明日"在中美元首交流后"获释
  2. 西安赛格商户老板坠亡:撕开商场"拆单"潜规则
  3. 男性最耗阳行为,烟酒未上榜
  4. 父亲的国葬,穆杰塔巴“仍未现身”
  5. 爆陈希被调查 与蔡奇甩锅内情流出 张又侠案成核心
  6. 24省人口负增长,连锁反应来了
  7. 人口争夺战:成都,虹吸重庆
  8. OpenAI塌房!Scaling law原作曝bug 万亿算力白烧
  9. 美国斩获全球财富榜第二
  10. 为什么说人是急死的 欲速不达是真的
  11. 中共21大换届 纽时:蔡奇扮演习近平人事安排要角
  12. 浙商23年从身无分文穷小子 成了佛得角总理座上宾
  13. 美国250年移民史大变迁
  14. 爆中共定性小飞机撞楼是恐袭 官场流传夏桀被咒典故
  15. 医生建议:高龄仍不失智者 起床30分钟内先做这事
  16. 北京代表在联合国痛批美国 大规模遣返是种族歧视
  17. 在庆祝美国250周年之际 宣誓成为美国公民
  18. 谁制造了习近平时代?是因为“看走眼选错人”吗?
  19. 香港患者北上寻药:抗癌药内地价格不到香港两成
  20. 中国援助委内瑞拉首批救灾物资启运
  21. 国家一级文物永乐款菩萨像上竟出现TCL广告字样
  22. TVB艺训班的“开山祖师”走了
  23. 美诺贝尔化学奖得主受聘,赴清华任教
  24. 美国启动3亿美元锂采购计划
  25. 白歆惠嫁给富豪生下2子,如今被宠成公主
  26. 评川普对共产主义的历史定性
  27. 美国庆烟火出包!布鲁克林大桥猛窜火光
  28. 内蒙古危险品运输车相撞后爆炸 冲击波威力强大如地震
  29. 男子“啃老”10年挥霍父母近百万
  30. 南部战区战术指挥长神秘死亡 官媒对死因集体噤声
  31. 美国防部启动碳酸锂战略收储 大举采购补充国防
  32. 冷战时期圣经?《裸体的共产党》中文版面世
  33. 加拿大队创造历史后体面出局
  34. 马未都:如果佛像确为五公祠所丢 愿高高兴兴送回
  35. 英格兰备战墨西哥,太太团坐装甲车
  36. 民国时的保长,相当于现在什么官职?
  37. 中国宣布将于7月与俄罗斯举行海军联合演习
  38. 澳洲在太平洋推体育外交
  39. 美极右组织国庆蒙面游行 倒挂星条旗喊“夺回美国”
  40. 美国庆祝独立250周年 川普:我们是赢者民族
  41. 瑞银全球财富报告:百万富翁的黄金时代已然落幕
  42. 如果“美国”真的失火了 为什么还要往里跑?
  43. 大暴雨、特大暴雨来了
  44. 理查·基尔:《民族团结法》宣布跨境意识形态管辖
  45. 德国政府拟推“病假条”改革
  46. 万斯:英国“领导层治理失当”
  47. 把超市价格“扒”明白了,差距远超想象
  48. 大又美法满周年,高收家庭受惠大
  49. “产能过剩”这顶帽子,究竟扣的是什么?
  50. 中国扩大海上“执法巡查”范围
  51. “玩”出大市场:3000亿元新赛道来了
  52. 港星晒内地养老账单:240万够养老20年
  53. 台军方爱国教育政训课更名恢复为“反共爱国教育”
  54. 金明日牧师:“我获释是中美两国元首讨论的结果”
  55. 他既是隋崩推手,又是唐兴的布局者
  56. 8岁当经理,13岁当老板,暑期“杀猪盘”?
  57. 歌迷中考659分,李荣浩转账659元
  58. 油价跌回战前,华尔街过剩警告四起
  59. 小暑将至 需要注意哪些禁忌及养生方法?
  60. 西藏活动人士在纽约联合国总部外自焚身亡