机器之心编辑部
最近，在 ARC Prize 2026 的 Kaggle ARC-AGI-3 竞赛排行榜上，杀出了一匹黑马 —— 一个名叫「Mostik」的俄罗斯初创。
ARC-AGI-3 被认为是目前最接近「测试 AI 真正智能」的一类挑战。它不像传统 benchmark 那样给模型一道道题，而是把 AI Agent 丢进一个完全陌生的二维交互世界：没有说明书，没有规则提示，Agent 只能靠不断尝试，摸索环境规律，建立自己的世界模型，最终找到通关方法。
「Mostik」这支团队此前几乎没什么名气，如今做出来的模型却一度冲到了Kaggle ARC-AGI-3 排行榜第一（当前第二）。更离谱的是，他们只用了四个月，团队里有 12 位博士和一位菲尔兹奖得主。
Mostik 究竟怎么做到的？他们暂时不肯透露参赛系统的细节，理由很简单：比赛还在进行，他们想赢。
团队公开了另一项更有意思的实验。他们让两个 AI 模型跳过文字，直接交换内部的数学信息，像是给机器装上了一套「心电感应」。
实验的一端是 GLM-5.2，参数量达到 7530 亿；另一端是只有 40 亿参数的 Qwen-3.5，可以在移动设备上运行。Mostik 在两个模型之间搭了一座「桥」，让大模型读取问题、完成思考，再把内部状态交给小模型，由小模型生成最终答案。
整个过程中，大模型不用把推理过程写成文字，小模型也不用重新阅读和理解一大段提示。两个来自不同公司的模型，就这样在更底层的数学空间里接上了。
结果相当醒目。这套混合系统的运行成本只有完整 GLM 模型的二十分之一，表现刚好落在两个模型之间，相当于小模型补上了与大模型之间一半的能力差距。
Mostik 的名字也来自这里。在俄语中，它的意思是「小桥」。
为什么这套系统有效？Mostik 在最近的官方博客中给出了一些解释。
AI 以前的合作方式，损失太大了
让多个 AI 一起工作早就不算新鲜。现在常见的多智能体系统，通常由一个模型先输出答案，另一个模型读完后继续处理，像几位同事通过邮件传递工作。
问题出在这封「邮件」上。模型内部可能已经进行了大量计算，真正输出时，只能把其中一小部分压缩成文字，许多信息也随之丢失。
Mostik 在官方博客里算了一笔很有意思的账。
一个语言模型为了生成一个 token—— 可以粗略理解成一个词或词片段 —— 内部会形成一百多个隐藏向量，涉及大约一百万个数值。这些数值记录着模型此刻对问题的理解、正在考虑的概念，以及它准备如何组织后面的内容，总量接近 2MB。
真正输出时，模型只能从大约 15 万个候选词中选出一个。换算下来，离开模型的有效信息只有 17 比特，之前形成的 2MB 内部状态随即被丢掉。
Mostik 给了一个很形象的说法：一个在上千维空间里思考的系统，最后只能通过钥匙孔和另一个系统说话。官方博客认为，今天的编程智能体、模型委员会和各种多智能体系统，基本都卡在这个「钥匙孔」上。
到底损失了什么？
人们过去常把隐藏状态理解为一种临时脚手架：模型内部算完了，最后吐出来的词才是成品。近两年的可解释性研究显示，这个理解有些低估了模型内部发生的事情。
Mostik 在博客里提到一个关于英语冠词的实验。模型要在「a」和「an」之间做选择，必须提前知道后面准备写什么名词；研究人员发现，Qwen-3 在真正输出「accountant」之前的几个位置，内部已经出现了对这个词的表征。
模型体量越大，这种提前形成但没有写出来的信息越丰富。换句话说，大模型在落笔之前，已经悄悄准备了一部分后文。
Anthropic 的研究人员也观察到类似现象。Claude 3.5 Haiku 写诗时，会先在内部确定一句话末尾的押韵词，再朝着那个词把前面的句子写出来。
另一项研究还发现，模型内部会短暂保留一小组尚未说出口的概念。研究人员可以要求模型「记住」其中一个概念，即使它接下来生成的文字完全没有提到，这个概念仍可能继续存在于内部状态里。
这些发现指向同一件事：模型写出来的内容，只覆盖了它内部计算的一小部分。当一个 AI 把文字交给另一个 AI 时，真正损失的是形成答案的过程。
Mostik 搭了一座「桥」
Mostik 的方法并没有复杂到无法描述。一个模型完成初步计算后，把自己的隐藏状态交给一座经过训练的「桥」；这座桥进行转换，再把结果送进另一个模型。
难点在于，两个模型的内部世界并不通用。它们由不同团队开发，训练数据、参数规模和架构都有差异，同一个概念在各自的数学空间里可能长得完全不同。
Mostik 首席科学家 Stanislav Smirnov 是日内瓦大学教授，也是 2010 年菲尔兹奖得主。他坦言，人们至今没有找到一套合适的数学语言，能够统一描述不同模型的内部表达。在此过渡阶段，Mostik 的切实填补了这一 gap。
Mostik 团队最先研究的，正是这些内部空间的几何结构。他们发现，模型能力变强，并不会自动让彼此的内部表达更接近；不过，不同模型之间确实存在一部分可以预测的共同结构，只要找到对应关系，就有机会完成翻译。
这座桥是系统中唯一需要训练的部分。两边的模型都保持冻结，原有权重不用修改，也不需要为了配合对方再做一轮微调。
这个设计很关键。它意味着 Mostik 无需拆开两座已经建好的房子，只需要在中间铺一条通道；以后更换其中一个模型，理论上也只需重新解决这段映射关系。
「桥」的效果如何？
Mostik 公开的实验连接了两个中国开源权重模型。一边是拥有 7530 亿参数的 GLM-5.2，另一边是只有 40 亿参数、可以在移动设备上运行的 Qwen-3.5。
两个模型的分工很特别。GLM 负责读取问题，在内部完成一轮计算，然后直接停下来；它不生成答案，隐藏状态通过桥传给 Qwen，逐字写出答案的工作全部由小模型完成。
这样安排，是因为模型「读」和「写」的成本并不对称。读取一段提示词可以进行大量并行计算，生成答案却要一个 token 接一个 token 往外吐，后者往往更慢，也更烧钱。
大模型在这套系统里像一位收费昂贵的专家。它看完材料后，把判断直接交给助手，不再花时间写一份完整报告；真正耗时的文字工作，由运行成本更低的小模型处理。
根据 Mostik 公布的数据，接上桥之后，Qwen 补上了自己与 GLM 之间 50% 的性能差距，整体准确率提升约 25%。在两者能力差距更明显的高难度任务中，小模型的成绩最高达到原来的两倍。
还可以换一个角度理解这组数据。假设存在一个中型模型，成绩正好和这套混合系统相当，运行 Mostik 组合所需的计算量只有它的约四成，也就是节省了 60%。
这组数字和「成本只有完整 GLM 的二十分之一」并不冲突。二十分之一比较的是让 7530 亿参数的 GLM 独立完成整个任务；2.5 倍的算力优势，比较的是一个成绩相当的中型模型。
目前这些实验结果主要来自 Mostik 自己的技术披露。详细训练方法、测试集构成和复现实验尚未完整公开，ARC-AGI 3 参赛系统的细节也处于保密状态，因此它的通用性还需要更多外部验证。
交接越早，这座桥越有优势
Mostik 还把这种「隐藏状态交接」和传统的文字交接放在一起测试。两种方法都让大模型先处理一部分问题，然后把工作转给小模型，区别在于传过去的是已经写出的文字，还是大模型当时的内部状态。
在 Mostik 测试的各个计算档位上，隐藏状态交接都取得了更好的性能，最高领先 10 个百分点。大模型越早把任务交出去，这种优势越明显。
原因并不玄妙。任务刚开始时，大模型虽然还没有写下任何内容，内部已经形成了对问题的初步理解；采用文字交接，此时几乎没有东西可以传，隐藏状态却已经装着不少信息。
随着大模型继续计算并写出更多文字，两种方法的差距会逐渐缩小。那些原先藏在模型内部的判断，开始通过文字显露出来，但隐藏状态方案在整个过程中仍保持着更好的性能与算力比。
这座桥还能用来观察 AI
Mostik 认为，这项技术还有一层更远的价值：它可能给人类提供一个观察模型内部的新入口。
现在常见的方法，是检查模型写下来的思维链。但模型说出口的推理未必完整，有些内部判断不会出现在文字里，一些异常行为也可能绕过思维链监控。
隐藏状态的传递过程提供了三个可以对照的对象：发送模型原本的状态、经过桥翻译后的状态，以及接收模型最终表现出的行为。研究人员可以记录这三者，查看哪些信息在翻译中被保留，又有哪些内容真正影响了后面的答案。
更重要的是，人们可以动手干预这条通道。假如修改某个特征后，接收模型的行为也稳定地发生变化，研究人员就有理由判断，这个特征确实参与了模型决策。
这比单纯把隐藏状态翻译成人类语言更可靠一些。翻译器可能编出一段看似合理的解释，干预实验关注的则是因果关系：动了哪里，模型才变成这样。
Mostik 自己也很谨慎。他们尚未证明这座桥已经是一种成熟的可解释性工具，只是认为，有了两个模型内部空间之间的映射，人们第一次多出了一块可以测量和干预的区域。
下一步，是让模型从训练时就学会合作
眼下的实验，是在两个已经训练好的模型之间搭桥。Mostik 接下来想把这条通道提前到训练阶段，让模型从一开始就习惯和另一个模型配合。
第一个方向是知识蒸馏。传统蒸馏中，学生模型通常只能看到教师模型准备输出什么；如果把隐藏状态通道放进生成过程，教师模型就能在学生写答案时持续提供内部信息，像有人在一旁实时指导，而非等交卷后再打分。
Mostik 称，早期信号显示，在相同训练预算下，这样培养出来的学生模型能更贴近教师模型。目前实验仍在进行，还没有足够证据判断效果能否稳定扩展。
第二个方向是专业化。小模型在保持原有通用能力的同时，可能通过这条通道更快学会某项窄领域技能。
这意味着，为大模型增加新能力时，未必每次都要重训整个系统。以后可以外挂一个针对生物、物理、法律或代码训练的小模块，让它通过隐藏状态与通用模型协同工作。
而且，一座桥并不只能连接两个模型。同样的机制可以扩展到更多模型，让它们在训练过程中交换各自掌握的信息，逐渐形成一套彼此交织的系统。
下一个强大的 AI
可能是一群模型
过去几年，AI 主要沿着两条路线扩张。预训练阶段增加数据和参数，让模型记住更多世界知识；推理阶段投入更多计算，让模型学会规划和解决复杂问题。
Mostik 押注的第三条路线，是模型之间的协作。单个模型不必包揽所有能力，只要它们能高效交换信息，一群体量适中的模型也可能拼出接近前沿模型的效果。
这对开源生态尤其有吸引力。开源世界里分散着大量能力不同的小模型，如果它们可以和强模型共享隐藏状态，竞争力就不再只取决于某个模型有多少参数。
Mostik CEO Sasha Malysheva 曾用「猜一头猪有多重」来解释自己的想法。一群普通人的估计汇总起来，有时比一位专家更接近答案。她相信，AI 的能力也可能来自许多模型的共同判断。
Mostik CEO Sasha Malysheva。她是强化学习博士，之前曾在 DeepMind、Google X 工作。
当然，这座桥离大规模应用还有不少问题。不同架构能否稳定连接、桥的训练成本有多高、隐藏状态如何跨公司安全传输、闭源模型是否愿意开放相关接口，都没有现成答案。
但 Mostik 已经提出了一个很难忽略的问题：如果大模型内部真正有价值的东西远多于它写出来的文字，我们为什么还要让 AI 只靠文字互相交流？
也许下一个更强的 AI 不会长成一个无比庞大的超级大脑。它更像一群各有所长的模型坐在一起，表面上一句话都没说，事情已经商量完了。
参考链接：https://mostik.ai/read-more
https://www.wired.com/story/russian-startup-mostik-ai-models-communication/?_sp=586af67b-edb2-4262-b013-984a090473cb.1788399114585
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com股票配资查询平台
广升网提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
