腾讯押注非Transformer

2025-03-22 03:25:38 · chineseheadlinenews.com · 来源: 量子位

首个基于混合Mamba架构的超大型推理模型来了!

就在刚刚,腾讯宣布推出自研深度思考模型混元T1正式版,并同步在腾讯云官网上线。

对标o1、DeepSeek R1之外,值得关注的是,混元T1正式版采用的是Hybrid-Mamba-Transformer融合模式——

这是工业界首次将混合Mamba架构应用于超大型推理模型。

根据腾讯官方介绍,通过大规模强化学习,并结合数学、逻辑推理、科学和代码等理科难题的专项优化,混元T1正式版进一步提升了推理能力,与此前已上线腾讯元宝的混元T1-preview相比,综合效果明显提升。

在MMLU-pro、CEval、AIME、Zebra Logic等中英文知识、竞赛级数学,以及逻辑推理公开基准测试中,混元T1均有比肩DeepSeek R1和OpenAI o1的分数。

(表格中,其它模型评测指标来自官方评测结果,官方评测结果中没有的部分来自混元内部评测平台结果)

另外,在最新大模型竞技场中,混元T1正式版的基础模型Turbo S已经跻身全球TOP 15。这意味着在其基础上的推理版本T1正式版理论上会有更强大的表现。

首个基于混合Mamba架构的超大型推理模型

具体来说,混元T1正式版沿用了混元Turbo S的模型架构,采用的是Hybrid-Mamba-Transformer融合模式。

混元Turbo S是腾讯自研的快思考模型——区别于DeepSeek R1等慢思考模型,Turbo S更强调“秒回”,即吐字速度更快,首字时延更低。

非传统Transformer架构的好处在于,能有效降低Transformer架构的计算复杂度,减少KV-Cache缓存占用,实现训练和推理成本的下降。

新的融合模式一方面发挥了Mamba高效处理长序列的能力,另一方面保留了Transformer擅长捕捉复杂上下文的优势,突破的传统Transformer架构在长文训练和推理成本方面面临的难题。

腾讯官方没有透露更多技术细节,但可以参考Mamba-2论文做一个简单的理解:

在Mamba-2中,研究团队发现,Transformer中的注意力机制与SSM(结构化状态空间模型)存在紧密的数学联系,两者都可以表示为可半分离矩阵(Semiseparable Matrices)的变换。

基于这个发现,Mamba-2的作者提出了SSD(结构化状态空间二元性)理论,把Transformer和Mamba给打通了:

SSD可以将Transformer架构多年积累起来的优化方法引入SSM。比如引入张量并行和序列并行,扩展到更大的模型和更长的序列;或是引入可变序列,以实现更快的微调和推理。

混元T1正式版测评结果

目前,混元T1正式版已面向API用户,在腾讯云上线。

定价方面,输入价格为1元/百万tokens,输出价格为4元/百万tokens。

相较之下,DeepSeek R1在标准时段(北京时间8:30-00:30)的定价为4元/百万tokens输入,16元/百万tokens输出。

文心大模型X1的定价则是2元/百万tokens输入,8元/百万tokens输出。

也就是说,混元T1的价格仅为DeepSeek R1的四分之一,是文心大模型X1的一半。

体验入口也已释出:https://llm.hunyuan.tencent.com/#/chat/hy-t1

此前,混元深度思考模型T1 Preview和快思考模型Turbo S,都很快在腾讯自家C端应用上线,包括腾讯元宝、腾讯文档、搜狗输入法、QQ浏览器等等。

那么T1正式版什么时候能和普通用户见面?

腾讯方面给量子位的回应是:C端未来可能更多通过元宝以及腾讯其他业务来服务。

感兴趣的话可以蹲一蹲了。


    24小时新闻排行榜更多>>
  1. 传北大校内女老师驾车撞飞俩学院书记
  2. 英航母打击群启航印太 向中共释强硬讯号
  3. 哈佛大学入禀法院,挑战美政府冻结联邦资助决定
  4. 【时事金扫描】李显龙夫人转帖:习像黑老大
  5. 降低血压可以减少患痴呆症的风险
  6. 北京按奈不住怒火 邻国纷纷与华盛顿做交易
  7. 耐克想用美国机器制鞋,但发现太难了
  8. 母婴室啪啪啪情侣曝光
  9. 方济各葬礼从简 生前留下两句话 中国称呼被更改
  10. 纽约时报:中国警告各国不要与美国联手限制对华贸易
  11. 川普:没打算解雇鲍威尔
  12. 虽然川普在挺他,但美防长可能“自行崩溃”
  13. 美财长贝森特承认中美关税战不可持续 料关系将缓和
  14. 张又侠单独见印尼国防部长 分析:或军权在握
  15. 柬埔寨男子选美,颠覆了我的审美观
  16. 美国财政部长松口 中美关税战很快将会“出现和缓”
  17. 全国爆发,美国人反对他们自己选出来的“疯王”
  18. 俗语“女不进藏 男不入川”是什么道理?
  19. 美国拟向各国提出六要求 对美元升值并减中国往来
  20. 哈佛医学院太平间卖人体器官 前经理认罪 让买家挑大脑人脸
  21. 报告:华州新生儿药物检测阳性率远超全美平均水平
  22. 中国的神秘禁地 陆上百慕达三角
  23. 涉泄密事件 五角大楼前高级顾问可能被起诉
  24. 新冠病毒或为癌症推手 专家揭年轻人患癌潮真因
  25. 多吃硬食,血糖稳了,肠道通了
  26. 美前财长警告:未来十年损失万亿税收
  27. 家里漏水的5个迹象 你绝不能忽视
  28. 川普表示无意解雇鲍威尔 全球股市反弹
  29. 孔子:做到三点就是有“圣人之勇”的人
  30. 石破茂再发狠:不打算唯命是从
  31. 美国联邦法官阻止川普政府关闭美国之音
  32. 植物减数分裂中染色体调控获揭示
  33. 坎耶30岁娇妻独自开大G亮相,清凉衣着引发争议
  34. 美百所大学连署反川普
  35. 华人男子持绿卡入境被捕,理由竟然是…
  36. 《60分钟》执行制作人辞职 称节目独立性因川普诉讼受损
  37. 【唐青看时事】习黑帮外交!川普全球堵截
  38. 浙江金华一轿车,疯狂冲撞学生
  39. 金价突破3500美元,谁在爆买黄金?
  40. 上海浦东35周年 中共如临大敌?!习妄想要人民吃草根
  41. 越南贸易部发布政令 严厉打击对美贸易欺诈行为
  42. 分析:东南亚反弹酝酿已久 中共陷更大困境
  43. 【百年真相】李嘉诚撤离中国内幕
  44. 美教育部将于5月5日起恢复收取拖欠的学生贷款
  45. 英航母打击群赴印太部署 向中共展示军力
  46. 网贷1万变几十万,护士陷高利贷陷阱
  47. 分析:与美国及西方博弈 中共将走向灭亡
  48. 川普宣布:将在“未来3天内”公布俄乌和平计划
  49. 美国H20晶片管制"反而旺了华为",分析师曝意外效应
  50. 【翻墙必看】黄金烫手 中国珠宝商愁容满面
  51. 普京祕密10岁爱儿照片首曝光!神似老爹早年容貌
  52. 江青收到一封匿名信后 林伯渠妻为何自杀?
  53. 纽约时报:川普限制对华芯片销售利好华为?
  54. 80年代的一级军方“政治任务”——老红军换肝
  55. 邻国纷纷与华盛顿做交易 北京有点着急了!
  56. 邓丽君44年前在小金门劳军时 “亲吻”的是谁?
  57. 过渡期:美国枢机主教被任命为代理教宗
  58. 大陆歌手张杰演唱会出状况 牙尖被麦克风磕碎
  59. 和平计划要公布了?
  60. 【军事情报局】B-1B首驻日本 四星上将助阵台湾