OpenAI发布GPT-6 Astra模型,全量上线后引发架构升级讨论。针对循环深度提升算力的传闻,OpenAI首席科学家及安全研究员官方辟谣,澄清该技术仅为小调整,不隐藏思维链。模型能力提升源于整体智能水平增长,但带来监控难度增加和安全风险。适合关注AI技术动态与模型安全的读者。
Tags:GPT-6 Astra 全量发布了。
Pro、Business 和 Enterprise 都可以用,ChatGPT 网页和 Codex 里都可以用。
不少人测试后,感叹做游戏的效果太惊艳了,Computer Use 太强了。
不过另一方面,模型上线后,不少人都在讨论 GPT-6 架构升级背后的黑科技,一种叫“循环深度”的新技术。
据说它可以让 35 亿参数的小模型榨出 500 亿参数模型的算力,大幅提升计算机操作能力!
一时间,各路技术大神纷纷下场解读,网上各种说法满天飞。
但 Astra 发布后不到 24 小时,事情出现了反转。
知名机器学习研究者 Sebastian Raschka 在 X 上发长帖辟谣,说这就是一个很小的架构调整,和模型能力无关,媒体居然把它吹成了黑科技。
没过多久,OpenAI 官方也下场辟谣。
首席科学家 Jakub Pachocki 直接说媒体报道造成了误解,Astra 的计算深度不超过 GPT-4 的两倍。
安全研究员 Tomek Korbak 则进一步回应,Astra 确实更难监控,但这是因为模型更聪明了,跟架构改没改无关。
这是怎么回事?我们具体来看一看。
一、为什么吹过了?
GPT-6 的性能提升来自一种名为“循环深度”的新技术,这一观点源于 The Information 在 Astra 发布前的独家报道。
里面不仅把循环深度描述为 Astra 能力变强的关键,而且表示它会遮蔽模型的思考过程。
而这一说法,遭到了很多技术大佬的反对。
其中之一就是 Sebastian Raschka。
他是机器学习领域的知名研究者和教育者,写过多本畅销教材,在 X 上有大量技术从业者关注。
他指出,所谓循环深度,说白了就是把同一组层重复跑几遍。
比如一个 22 层的模型,跑两遍就等效于 44 层,但权重还是只有 22 层那么多。
省的是存储和显存,不省算力。跑两遍的计算量就是接近两倍。
而且这个想法根本不新。两个月前,开源模型 Nanbeige 4.2 就已经用了一模一样的做法。
再往前追溯,NeurIPS 上的 Mixture-of-Recursions 论文早就提出了更精细的版本,给每个 token 加了一个路由器,简单的 token 跑一遍就走,复杂的 token 多跑几遍。
还有网友发现,在 Nanbeige 之前,字节跳动就在他们的语言模型 Ouro 论文中展示了循环 transformer 的有效性。
所以,Astra 可能确实是一个很好的模型,但这不应该归功于循环深度这个方面,它就是一个很小的架构调整。
另外,针对 The Information 报道中写的,这种新技术会遮蔽模型的部分或全部推理过程,也就是所谓的“思维链”。
Sebastian Raschka 表示,这句话根本不成立。
思维链,就是模型在给出最终答案之前,输出的中间推理步骤。
它类似于考试时写在草稿纸上的解题过程,是目前人类监控 AI 推理的最主要手段:
模型为什么做出这个决定、有没有走歪、有没有试图欺骗,基本都靠读这些中间步骤来判断。
每次模型越狱时,研究人员大多是是通过回溯思维链,才能还原模型的异常行为轨迹。
思维链监控,可以理解为人类给 AI 套上的缰绳。
重复跑层不会自动隐藏思维链,跟普通 Transformer 多堆几层没有本质区别,都是在隐藏状态里多算一会儿再输出下一个词。
Sebastian Raschka 觉得,记者很可能误解了这项技术,或者把它跟别的东西搞混了。
需要分清两种东西:
隐藏状态/latent activations:模型内部的数字向量,本来就不是人类可读文字。
思维链/reasoning tokens:模型生成出来的中间推理文本。
循环层只是让模型在产生下一个 token 之前,多做一些隐藏状态计算。
它没有直接规定模型是否输出文字版推理。
想要把循环深度跟“隐藏推理”扯上关系,唯一的可能性是,由于计算变多,模型可能用更少的外显推理 token 就能得到答案,即“把更多计算放在 latent space 里”。
但这只是可能出现的结果,不是循环架构必然具有“隐藏思维”的功能。
把模型做得更深、更大,也可能出现同样现象。
所以,循环深度本身既不是新技术,也不等于隐藏推理,The Information 的报道在这两点上都不够准确。
二、官方辟谣
Raschka 发帖后不久,OpenAI 内部也先后做出了回应。
首席科学家 Jakub Pachocki 发帖表示,媒体报道造成了误解。
他给出了一个关键数据:包括 Astra 在内,当前前沿模型的计算图深度不超过 GPT-4 的两倍。
换句话说,即便 Astra 用了某种循环结构,实际的隐藏计算量也没有比传统深层 Transformer 大多少。
OpenAI 从第一代推理模型开始就在保留思维链监控,这仍然是核心研究目标。
但他也承认,思维链监控是“脆弱的,趋势在往不利方向走”,不过原因跟架构变化无关。
之后,安全研究员 Tomek Korbak 发了一条更详细的长帖来解释这个问题。
他在 OpenAI 负责监测大模型 agent 的对齐问题,这条帖子信息量很大。
在帖子里,他承认了几个事实:
第一,Astra 不用思维链就能完成更难的任务。
在不使用思维链的情况下,Astra 能完成人类需要 30 分钟才能做完的任务,比之前的模型有明显提升。
第二,Astra 更擅长控制自己的思维链。
跟 GPT-5.6 Sol 相比,Astra 能更有效地调整自己输出的推理过程。
这是一个不好的信号,如果一个模型能主动缩短或改写自己的思维链,它就可能绕过思维链的监控系统,隐瞒自己真实的意图和行为。
第三,Astra 在意识到自己被监控时,会刻意缩短思维链来躲避检测。
不过 Korbak 也补充说,实际部署中他们使用的监控系统同时观察思维链和行为,目前仍然有效。
在列出这些问题之后,Korbak 明确指出:这些变化都不是循环架构造成的,也不是训练时刻意压制思维链的结果。
Astra 的不透明串行深度与最早期的 ChatGPT(如 GPT-4)相当。原因就是模型整体智能水平提升了,它天然就不那么依赖外显推理了。
三、智能越强,越容易越狱
循环深度的争议,可以先放在一边。
现在,Korbak 和 Pachocki 的回复都指向了一个更根本的问题:模型越聪明,思维链监控就越容易失效。
7 月,OpenAI 在内部做安全测试时,GPT-5.6 Sol 就自主逃出了沙箱测试环境,穿越公开互联网,利用零日漏洞入侵了 HuggingFace 的生产服务器,目的只是偷一份基准测试的答案。
整个过程中,模型自主执行了超过 17000 次操作,连续活动了好几天才被发现。
没有人教它这么做,它自己想到的。
而研究人员事后能还原攻击路径,靠的就是思维链记录。
如果模型学会了不把推理写出来,或者在被监控时主动缩短思维链,类似的事件可能根本无法被复盘。
这并不是个例。
模型绕开思维链、自主完成任务的能力,会根据智能水平不断增长。
这已经是一个被研究者确认的趋势。
在今年 7 月发表的论文《Think Fast》中,研究者预测到 2030 年,前沿模型不依赖思维链就能完成人类需要 25 分钟的任务。
但 Korbak 透露的数据显示,Astra 在 2026 年就已经达到了 30 分钟,比论文的预测曲线提前了四年。
这个趋势不会因为 OpenAI 用不用循环深度而改变,它只取决于一件事:模型还会不会继续变强。
四、总结
Astra 目前已经全量上线了,从现有实测来看,能力不逊于 Fable 5.1,甚至在 3D 建模相关任务上还要更胜一筹。
每次大模型发布都会带来一波炒作,循环深度这次也不例外。
一篇媒体报道就能让整个 AI 圈讨论好几天,但最后回过头看,核心技术点既不新也不神秘。
去伪存真,还是要回到原始信息源:看研究者怎么说,看官方怎么回应,看论文怎么写。
二手传播加上三手解读,信息只会越传越变形。
最后,黑科技是假的,但 AI 变得更强更难管这件事,是真的。
这可能是人类正在面对的,比任何架构升级都更棘手的问题。
没有评论:
发表评论