腾讯押注非Transformer

2025-03-22 03:25:38 · chineseheadlinenews.com · 来源: 量子位

首个基于混合Mamba架构的超大型推理模型来了!

就在刚刚,腾讯宣布推出自研深度思考模型混元T1正式版,并同步在腾讯云官网上线。

对标o1、DeepSeek R1之外,值得关注的是,混元T1正式版采用的是Hybrid-Mamba-Transformer融合模式——

这是工业界首次将混合Mamba架构应用于超大型推理模型。

根据腾讯官方介绍,通过大规模强化学习,并结合数学、逻辑推理、科学和代码等理科难题的专项优化,混元T1正式版进一步提升了推理能力,与此前已上线腾讯元宝的混元T1-preview相比,综合效果明显提升。

在MMLU-pro、CEval、AIME、Zebra Logic等中英文知识、竞赛级数学,以及逻辑推理公开基准测试中,混元T1均有比肩DeepSeek R1和OpenAI o1的分数。

(表格中,其它模型评测指标来自官方评测结果,官方评测结果中没有的部分来自混元内部评测平台结果)

另外,在最新大模型竞技场中,混元T1正式版的基础模型Turbo S已经跻身全球TOP 15。这意味着在其基础上的推理版本T1正式版理论上会有更强大的表现。

首个基于混合Mamba架构的超大型推理模型

具体来说,混元T1正式版沿用了混元Turbo S的模型架构,采用的是Hybrid-Mamba-Transformer融合模式。

混元Turbo S是腾讯自研的快思考模型——区别于DeepSeek R1等慢思考模型,Turbo S更强调“秒回”,即吐字速度更快,首字时延更低。

非传统Transformer架构的好处在于,能有效降低Transformer架构的计算复杂度,减少KV-Cache缓存占用,实现训练和推理成本的下降。

新的融合模式一方面发挥了Mamba高效处理长序列的能力,另一方面保留了Transformer擅长捕捉复杂上下文的优势,突破的传统Transformer架构在长文训练和推理成本方面面临的难题。

腾讯官方没有透露更多技术细节,但可以参考Mamba-2论文做一个简单的理解:

在Mamba-2中,研究团队发现,Transformer中的注意力机制与SSM(结构化状态空间模型)存在紧密的数学联系,两者都可以表示为可半分离矩阵(Semiseparable Matrices)的变换。

基于这个发现,Mamba-2的作者提出了SSD(结构化状态空间二元性)理论,把Transformer和Mamba给打通了:

SSD可以将Transformer架构多年积累起来的优化方法引入SSM。比如引入张量并行和序列并行,扩展到更大的模型和更长的序列;或是引入可变序列,以实现更快的微调和推理。

混元T1正式版测评结果

目前,混元T1正式版已面向API用户,在腾讯云上线。

定价方面,输入价格为1元/百万tokens,输出价格为4元/百万tokens。

相较之下,DeepSeek R1在标准时段(北京时间8:30-00:30)的定价为4元/百万tokens输入,16元/百万tokens输出。

文心大模型X1的定价则是2元/百万tokens输入,8元/百万tokens输出。

也就是说,混元T1的价格仅为DeepSeek R1的四分之一,是文心大模型X1的一半。

体验入口也已释出:https://llm.hunyuan.tencent.com/#/chat/hy-t1

此前,混元深度思考模型T1 Preview和快思考模型Turbo S,都很快在腾讯自家C端应用上线,包括腾讯元宝、腾讯文档、搜狗输入法、QQ浏览器等等。

那么T1正式版什么时候能和普通用户见面?

腾讯方面给量子位的回应是:C端未来可能更多通过元宝以及腾讯其他业务来服务。

感兴趣的话可以蹲一蹲了。


    24小时新闻排行榜更多>>
  1. 27国领导人将出席红场阅兵
  2. 川普将宣布与英国降低关税协议
  3. 史上首次纪念 赖清德发表“纪念二战欧洲胜利”演说
  4. 文昭:习近平接班人两个版本最受关注
  5. 中又赢?巴基斯坦证实:使用J10战机击落印军“阵风”
  6. 铁饭碗也碎了!全民失业潮爆发;北京打工女只剩四十块
  7. 曾风光一时的“网红大楼”跌落神坛!原因竟是...
  8. 巴总理:克制了,不然能击落10架
  9. “阵风”在印巴冲突中黯然失色,中国J-10C却尽显锋芒
  10. 分析:普习相互利用 二战胜利日被赋错误信息
  11. Unity炒掉所有员工,执行长也不留
  12. 武汉外卖小扮出车祸 头部插入豪车引擎盖缝隙
  13. 今晚10点!川普预告:将宣布与某大国的 “重大协议”
  14. 外交部驳斥鲁比奥涉华言论
  15. 川普首签美英贸易协议 剑指中共关税壁垒
  16. 联合国点名,台湾成诈骗中心
  17. 印度空袭巴基斯坦后巴方报复是否无可避免?
  18. 散播假消息?印驳斥“巴击落军机”:拿旧照发文
  19. 反习派策划?新华社同步发文 表达路线与习唱反调
  20. 川普:与英国达成的协议“全面且完整”
  21. 乌国会338票0反对,批准美乌矿产协议
  22. 上海消费数据告急 五一市民只打卡不花钱
  23. 王友群:四中全会习近平将权位不保?
  24. 印巴交火全球民航避让,这架独闯战区的航班引关注
  25. 中俄领导会晤提升合作高度 联合抗美强化、升级
  26. 2000名难民白住美国百年豪华酒店
  27. A股史上“最大骗局” 16万爱国投资者哭惨了
  28. 黄仁勋:如果英伟达无法进入中国,那华为...
  29. 8天内第二架!美军战机从杜鲁门号航空母舰上掉落
  30. 习近平告诉普京 面对“霸权骚扰”他与俄罗斯站在一起
  31. 巴总理:感谢“亲爱的兄弟”埃尔多安坚定支持与援助
  32. 名导张纪中与人撞车后自报家门 对方:不认识
  33. 韩国国民力量党代表绝食抗议
  34. 汪小菲婚礼倒数,马筱梅艳照曝光
  35. 被拜登怼急眼,白宫怒批:他是国家之耻
  36. 中文在互联网仅占1.3% 数字高墙被指是祸首
  37. 研究:海底火山将在美西海岸随时爆发
  38. 乌央行行长:考虑放弃美元
  39. “疫苗致死亡海啸已来临”大陆博主:2小时俩年轻同事死讯
  40. 揭密:中共如何在斯坦福大学部署间谍活动
  41. 流血的分割线:当年印度和巴基斯坦是怎么分家的?
  42. 中俄关于全球战略稳定的联合声明
  43. 快讯!梵蒂冈冒白烟 新教皇当选
  44. 中国国家卫健委最新发文 大批医院要开设这个科室
  45. 多名政要肯定金山警长卓越贡献
  46. 教皇选举首轮投票结果出炉:是黑烟
  47. 中国下一个大危机 银行倒闭潮初现
  48. 印巴冲突升温 印度否认军机被击落
  49. 战败日与解放日,打江山与坐江山
  50. 川普政府欲修复美国落后的空中交通管制系统
  51. 关税战现转机!川普宣布与英国达成首份贸易协议
  52. 黄岩岛再现对峙 菲律宾控中共舰艇危险挑衅
  53. 邱淑贞带女儿游西安,打扮时尚似姐妹
  54. TVB前女星在政界混得风生水起
  55. 印巴互相指责对方进行无人机袭击
  56. 不减息!川普发文大骂鲍威尔:蠢材 什么都不懂
  57. 习近平替身也要赴红场 背后藏玄机
  58. 巴菲特定“身后事”:老员工接棒CEO 儿子接班不掌权
  59. 中国农行浙江分行长主动投案 牵连多人被查
  60. 习近平冒着无人机袭击的危险来到莫斯科