周伯文:大模型“不知道自己不知道什么”

2026-07-20 01:25:12 · chineseheadlinenews.com · 来源: 中国科学报

7月17日,2026 WAIC科学前沿论坛在上海人工智能实验室举办。会上,上海人工智能实验室主任、首席科学家周伯文以《AGI的下一程:迎接科学元认知时刻》为主题做主题分享。他在分享中提出,“人工智能赋能科学研究”将是下一个“Coding”(即AI写代码),也是突破AI “智能上限”的终极考题。

周伯文认为,如今的AI 研究很像1900年的物理学,正如当年开尔文提到的“物理学的大厦已竣工,但仍有两朵乌云”,当前大模型“乌云”也无处不在,其中的问题之一就在于“今天的大模型不知道自己不知道什么”,需要有人来指出什么是大模型大厦上的“乌云”。进一步地,要突破当前人工智能的上限,模型必须从被动观察走向主动干预,跨越“数据驱动、及时反馈、模仿正确”的局限,步入“世界交互、长程推理、善用失败”的科学深水区。

“当模型能如能从失败中自我反思、自我校准、自我更新三个转变叠加,就能从‘重述已知’跨越到‘产出未知’,迎来科学元认知时刻。”周伯文说。

周伯文。上海人工智能实验室 供图

以下是周伯文的分享,内容有删节。

AI深水区的“一冷一热”

在经历了过去一年的技术探索、路径迭代和思想碰撞之后,我们来到了一个新的时间节点,向AI认知的深水区进发。那么我们下一步往哪里走?

过去十几个月,有一个非常明确的感知信号,我把它归纳为“一冷一热”。

热是在代码(Coding)和智能体(Agent)方面,人工智能基本上把这个问题给解决了。过去十几个月,AI Coding从不到5%的成功率到超过88%,Coding的迭代闭环已建立,代码生成、测试、优化的飞轮已经转起来。更有甚者,国外已经发现50%的基准测试(Benchmark)在目前已经没有任何意义,因为所有主流模型都会把它们刷爆。

但是与此同时,来看人工智能对科学原创性突破进展有影响的一组数据:Allen institute发布的“端到端的科学研究发现”(N2N)的Benchmark证明,过去18个月,最好的大模型停留在3%的完成率上,指标纹丝不动。这不意味着模型没有进展,而是绝大部分模型在科研发现中停留在60%~70%之间,无法完成科学的前流程。

我们上海人工智能实验室联合十个领域的100名科学家建立了新的Benchmark,想从科学研究的流程中真正看人工智能能帮助科学研究带来哪些根本性的突破,我们发现,最前沿的模型得分实际都不超过50分,远远不及格。最新发布的NatureBench的结果,Surpass?SOTA比率仅为 17.8%。

Nature一篇研究论文认为,目前AI产生的科学工作都是增量发现,没有根本性突破。这本质上当然是模型的智能水平还不够,但是我们认为,这为突破智能上限提供了新的机会。

那么要持续突破智能,难在哪里?我认为,目前的障碍特别是科研领域的障碍来自三个方面:

第一,大模型、智能体,它们都是被动观察世界,只能学到相关性,模型只看不介入,不根植现实,换个环境就失灵。换句话说,就是没有学到因果性。

第二,越难的问题反馈越少,模型越“学不动”;越有价值、越复杂的任务,反馈信号被稀释得越厉害,训练就越难——这是科学研究跟Coding最大的不一样。

第三,人类发表的科学研究成果只有成功数据,没有失败数据。模型被锁死在旧分布里,只会模仿成功案例,无法长出新能力。

智能的终极考题

因此我认为,要让模型突破智能的上限,需要在主动介入中去寻求真因果,从密集反馈中学难题,在探索失败中去拓展边界。

这是不是很像人类自己的学习?基于此,我们提出一个新论断,科学研究是下一个Coding(Research is the next Coding)。

正如Coding在过去一年半中提升了基础模型的全面推理能力和治理水平一样,人工智能用于科学研究、从科学研究中寻找密集的反馈信号(包括失败信号),将进一步加速人工智能上限的突破。

过去一年半,大模型越来越强,强在闭环任务,善于做那种有明确目标、有及时反馈、边界清晰的任务,如编程、翻译、下棋均属此类。但是,科学研究是开放任务、没有标准答案,反馈周期很长,失败是常态,且需要和物理世界交互。

从这个意义上来讲,我认为AGI4S不是通用人工智能的应用,而是人工智能终极考题。要完成这一步跨越,有三个维度的挑战必须去克服:

第一,从“数据驱动”到“世界交互”。模型必须通过与物理世界的交互理解真实世界,构建理解物理世界、物理规律的世界模型,在实验和证伪中去沉淀“暗知识”。

第二,必须从“及时反馈中学习”走入“长程推理”。在不确定性中学习的能力,Coding可以秒级证伪,但科学研究的证伪周期往往长达数月,且过程中会有负反馈。比如科学家一篇论文投稿被拒,这是明显的负反馈,但这并不代表科研方向一定是错误的。“负反馈不代表错误的方向”是科学研究的难题。模型如何在缺乏及时反馈的情况下不迷失自我?这就需要模型能够“长程推理”。

第三,从“模仿正确”到“善用失败”。模型现在所有学习能力都基于“学一个正确的分布”,而科学研究往往在于不清楚这个分布在哪里,但知道什么是行不通的、失败的,因此AI未来要突破如何从失败中学习的挑战。

失败是科学研究的常态。模型要能从失败中自我反思、自我校准、自我更新,做到三个转变的叠加,模型才能从“重述已知”跨越到“产出未知”。而这,就是我认为的“科学元认知时刻”。

科学元认知:从“重述已知”跨越到“产出未知”

我有一个设想,今天的AI 研究很像1900年的物理学。1900年,开尔文说物理学的大厦已经竣工了,但是还有两朵“乌云”。正是这两朵“乌云”背后的新认知,催生了相对论与量子力学,孕育了爱因斯坦的狭义相对论、普朗克的量子假说。

当前的大模型“乌云”同样无处不在。但问题在于,今天的大模型不知道自己不知道什么,需要有人来指出什么是大模型大厦上的“乌云”。因此,谁是AI界下一个爱因斯坦、普朗克,是当前AGI走向科学发现真正巨大的机会。

前面提到的“乌云”是很明显的——怎么从失败中学习、怎么从长程推理中学习、从不确定性中学习。这是AI学者和科学家一个双向奔赴的大好合作机会,原因在于,人工智能促进科学,最本质的不是让人工智能做更多实验,产生更多新数据,而是把“怎么发现边界、怎么跨越边界”这件事变成可学习的样本,让人工智能真正成为科学家们探索未知的伙伴。

话说回来,开尔文能够提出“两朵乌云”,示范的不是知识,而是判断力。那么,我认为若AI能学到这种判断力,将是对AI、对人类科学家迈向未来非常重要的突破。

从另一个角度讲,科学研究的突破(包括失败)能更好让AI理解智能的下一步。Coding能被AI攻克,因为反馈是及时的、客观的,要成为下一个“Coding”,我们希望把假设对不对、推理自不自洽变成可验证的结构,让AI也能像跑代码一样快速验证。

好消息是,大模型能力提升后,AI能帮助科学家快速低成本地试错,以极低的成本实现原来不可能完成的科学实验。如此,“飞轮”就转起来了——科学发现中的真问题推动 AI 能力向上突破;更强的 AI,反过来打开更前沿的科学领域。一轮一轮,彼此放大。

知识最丰富的时代,认知反而最稀缺

但是,我们发现,科学研究在今天也在迈向深水区——科学正处在知识越来越丰富但是认知却最稀缺的时代。

从这个角度,我认为做科学研究的人正面临五种困境:

第一,论文、数据、模型快速增长,但增长的是可获取的信息,不是对未来未知的判断,对未知的判断反而越来越混淆,因为信息太多了。

第二,我们不是没有能力提出假设,而是假设不断涌现却受制于验证周期和成本。许多无效的假设,等于浪费资源。

第三,不是缺乏科研工具,而是工具越来越多但彼此是割裂的,我们需要大量的桥梁去“翻译”和“转运”工具。

第四,成果可以发表,但是研究过程、失败样本和隐形经验难以复制和计算。

第五,AI能够快速生成答案,但却因来源不清、过程不可追溯,尚难交付可信研究。

这五个困境背后是一个结构性的矛盾,科学本身缺少一个科学的方法将问题、行动、验证与学习持续连接的反馈链条,其影响是科学家的验证带宽无法放大,模型也无法从真实世界中成长。

因此,助力科研的关键不是继续增加知识供给,而是通过可信验证持续重构认知。上海人工智能实验室发布的“书生·端砚”科学发现平台,正是我们为解决这个矛盾所做的尝试。它整合了算力、数据、模型、智能体、评测、干湿实验、实验平台、真实科学问题等几乎全链路科研流程。

但“书生·端砚”并非是科研工具的集合,而是一套贯通认知、推演、行动和反馈,以真实结果驱动研究、持续认识迭代的全新范式。我们希望它能通过通专融合大模型贯通论文、数据和实验记录,识别冲突、理论空白和知识边界,定义真正值得研究的问题,通过世界模型进一步推演可能路径和结果,通过多专家智能体协同形成研究方案。

在工具层面上,它统一编排模型、代码、数据库、实验资源和科研工具整合;在实验验证上,它可调度跨地域异构设备,贯通干实验与湿实验,执行验证并带回结果;最关键的是,实验结束不是终点,符合预期的结果要沉淀为可信发现,反预期和失败的结果要能触发问题的重构,重新回到问题的定义。因此,“书生·端砚”实现的不是一次任务的闭环,而是研究“认知在真实反馈中沉淀失败”、持续迭代。

从“神之一手”到可验证、可迭代的科学发现

目前“书生·端砚”已经在多个真实科研任务上验证了这条闭环的价值。以蛋白质定向进化为例,清华大学张数一课题组用四年时间尝试改造一个用于基因调控的蛋白,探索了很多验证方法。引入端砚平台之后仅经过两轮迭代,就发现了一轮新的突变组合,实验验证显示,其功能较此前《自然》报道的最佳结果提升77%,较野生型提高50倍。更重要的是,其中一个关键突变出现在传统上被认为非功能区的位置。

这有点像AIphaGo的“神之一手”:当它学会了做蛋白质进化以后,也很快突破了人类从来没有想过的区域。所以AI的价值不只是沿着专家设定的方向寻找最优答案,而是超出既有认知边界并提出被实验验证的新假设。

我们还取得了一系列的科研成果。我们希望它既能开展对“0-1”这类“未知的未知”的探索,也能实现“1-10”对“已知的未知”尚未解答的问题更快地找出来、提出来、验证掉;也可以把“10-100”那些暗藏在数据、经验、跨领域的关联中本已存在却未被发掘的知识挖掘出来、串联起来。

“书生S2-Preview”和“书生·端砚”科学发现平台首次亮相,我们邀请大家和我们一起开启内测。希望此类大模型能够真正推动AI从理解科学、规划研究走向真实世界的实验验证和认知迭代。


    24小时新闻排行榜更多>>
  1. 西班牙公主姐妹花再次捧到“大力神杯”
  2. 阿根廷队集体背对领奖台,被批“可耻”
  3. 4年后的世界杯,中国队能否上场
  4. 被关进笼子里的律师与媒体
  5. 香蕉皮成习近平新外号被封禁?其实它好处多多
  6. 教粉丝当野人,这博主爆火我心服口服
  7. 王小洪旧部谭权被免职 或任重庆公安局长 魔咒说再起
  8. 欧弟自曝全家移居日本
  9. 连美国人都要带护照才能去的国家公园
  10. 靠“绝杀玄学”夺冠,西班牙队有统治力吗?
  11. 破150年罕见纪录!美副总统范斯"任内喜迎第4胎"
  12. 2米的远古巨虾?当时海洋中体型最大之一
  13. 台湾外交历险不退 马博元勉原青有“冻逃”
  14. 云南暴雨成灾 昆明大商超被淹 传1000多露营者险被冲走
  15. GDP缩水、地铁烂尾……这些副中心城市怎么了
  16. 川普世足颁奖硬挤合照!全场8万人狂嘘
  17. 谢贤遗嘱公布:90%留给谢霆锋两个儿子
  18. 邓炳强如何粉碎习近平的梦想
  19. 川普“大赞梅西”阿根廷遭绝杀,力挺3队全输
  20. “美制”世界杯,人们记住了什么?
  21. 香港"禁书"书商林荣基逝世,曾遭中国当局绑架监禁
  22. 北京驳斥川普指控,但回应相对克制
  23. 9名中港官员获解除制裁 CFHK表震惊并强烈反对
  24. 你还信吗?167年前的一个假说 人是由猴子变的
  25. 谢霆锋父亲谢贤去世,享年89岁
  26. 美军轰伊朗核电站,霍尔木兹2油轮爆炸
  27. 中国官媒视频将菲律宾描绘成猴子,马尼拉提出抗议
  28. 匈牙利总统换人,总理拟提名她
  29. 太子党人马、前国开行行长欧阳卫民落马
  30. 几句话就能看穿一个人?“怪人名言”引发热议
  31. 你的手机密码,凭什么要交出来?
  32. 高盛解读新易盛财报:维持“买入”评级
  33. 驾国产电动车出境遇惊人事故
  34. "阿根廷脏"热搜爆了!本届世界杯犯规超100次创纪录
  35. 外卖骑手获中国顶级文学奖,灵感来自日常工作挑战
  36. 看了20万小时“人类干活实录”,机器人悟了
  37. 世界杯冠军战梅西未进球
  38. 台南市法轮功学员纪念反迫害27周年
  39. 倒楣也许是慈悲
  40. 2万美元一套 河北小伙“预制房”在美国走红
  41. 王小洪旧部、四川公安厅长黄瑞雪死亡 涉及赵克志?
  42. 中共“内鬼”靠习“反腐”发财 黑灰产业链曝光
  43. “突然间,我自由了”:金明日牧师讲述获释经过
  44. FT:川普正滑入泥潭 只能重新考虑推翻伊朗政权
  45. 上证跌破3800,头部量化“迅猛加仓”
  46. 川普示警伊朗:要付出数倍代价
  47. 【原创】【六四歌谣专辑】(五)摇宾《乱世行》
  48. 谢贤去世,谢霆锋发文悼念
  49. 伊朗学者:中共把伊朗当战术工具 借冲突牵制美国
  50. 美军狂轰伊朗9天 德黑兰展现耐打与致命反击力
  51. 留美博士欧洲旅行 入境时遭遣返回国 5年内禁入美国
  52. 大屠杀死亡的七天后苏醒 看见天堂与地狱
  53. 电话能解决的事,为何把人逼到“走投无路”?
  54. 普通人3种“变瘦”的误区:减体重不等于变好看
  55. 纽约千人游行 法轮功学员:反迫害 27年从未缺席
  56. 拉斯维加斯:刚领5.7万奖金 扑克选手回民宿遭埋伏…
  57. 川普签署公告 对加拿大商品加征50%关税
  58. FIFA将调查阿根廷赛后暴力行为
  59. 上海银行部分高管中层拟1500万元“抄底”
  60. 国航正式启用C919