在《复仇者联盟：终局之战》中有一个场景：美国队长在电梯里对伪装成神盾局特工的九头蛇成员轻声说了一句“九头蛇万岁”。
仅凭这一句话，九头蛇成员便将镶嵌心灵宝石的权杖交给了美国队长。
不仅如此，由于九头蛇成员将美国队长视为自己人，钢铁侠等人同时偷取空间宝石的计划也未被暴露。最终，复仇者们成功击败灭霸，拯救了宇宙。
你看，仅仅一句话就能对整个宇宙产生影响。而杨立昆的新世界模型H-JEPA，正是试图通过分层推理的底层逻辑，来推演后续的发展。
一个微小的动作，在短期内会带来什么结果？中期呢？长期呢？
著名的蝴蝶效应便是如此：一只蝴蝶在巴西扇动翅膀，最终可能在美国德克萨斯引发一场龙卷风。
H-JEPA的基础是杨立昆提出的JEPA，全称为Joint-Embedding Predictive Architecture，即联合嵌入预测架构。
与我们目前使用的视频生成式模型不同，JEPA并不绘制下一帧画面，而是将画面压缩为一组抽象向量（即潜在表征），然后在这个抽象空间中对未来进行预测。
这就像两个人蒙眼下棋。此时无需棋盘，只需说出你要走的棋步，比如“老将出宫帅五进一”或“身先士卒兵一进一”。对方就能根据听到的内容，在脑海中构想棋局走势，并做出回应。
理解了JEPA后，再看这次的H-JEPA，其做法是将多个这样的JEPA逐层堆叠起来。
每一层都拥有自己的观察编码器、动作编码器和潜在预测器，并且每一层在其各自的表征空间中，预测不同时间跨度后的状态。最底层处理最细致、关注最近期，而向上的层级则看得更远、更宏观。
规划时的顺序则相反。高层先设定一个粗略的目标状态，这个目标成为下一层的子目标，下层再将其细化，直到最底层输出具体的动作。
早在2022年，杨立昆在论文《一条通往自动机器智能的路（A Path Towards Autonomous Machine Intelligence）》中就已提出分层JEPA。只不过时隔四年，才首次出现了一个可复现的完整实现。
分层的底层逻辑源于杨立昆曾提出的一个概念，叫做“从纽约去巴黎”。
举个例子：你要从北京去上海，大脑中的规划一定是分层的。先想到“坐高铁”，再思考“如何到达北京南站”，最后才考虑“先迈哪只脚”。
你绝对不可能在订车票时去琢磨脚下台阶有多高。
不同的抽象层，需要保留的信息本就不同。订票那一层只需要知道“时间、价格、车次”；迈步那一层才需要关注“重心、台阶、地面”。
这正是Transformer最棘手的地方。如果按每个token进行预测，相当于将订票、去车站、下楼梯这三件事放在一起考虑，步骤越多，就越容易出错。
要实现更长远的目标，就必须遍历所有中间细节。
论文指出，扁平的单层模型在处理长任务时，需要展开大量细粒度步骤，预测误差会累积，动作搜索空间也会增大。
关于分层效果，论文以Visual AntMaze迷宫任务为参考标准。单层的LeWM成功率仅为18%，而增加到三层的H-JEPA后，成功率达到了73%。
这时便出现了一个问题：既然三层效果如此显著，杨立昆为何不增加到100层甚至10000层呢？
在Push-T任务中，两层的表现较好，而增加到三层、四层后，成绩反而下降。
论文推测原因是任务轨迹本身较短，限制了高层可用的训练数据。三层大约只能使用LeWM 58%的可迁移训练数据，四层则仅剩约14%。
换句话说，层数并非越多越好。
H-JEPA最有趣的一点在于，其分层概念恰好与当前主流的Agent叙事完全相反。
目前Agent的做法，是将一个长任务拆解为更多步骤，花费更多token去尝试。
即先规划，再调用工具，接着检查，然后重来。拆解得越细、尝试得越多，似乎就越接近完成任务。
但杨立昆的论文指出，增加层级比单纯增加步数更有效。分层后，高层只需在少数几步内决定“往哪走”，细节交给下层，规划的计算量也随之降低。
像OpenAI、Anthropic这样的顶级大厂，提升模型能力的方式是靠在同一粒度上向外扩张。因此每个新模型的迭代，都伴随着更长的上下文、更多的token、更多的尝试次数，这也是他们喊着降价，实际使用却越来越贵的原因。
H-JEPA提出的是向上扩张。增加抽象层级，让模型在不同时间尺度上使用不同的表示。
在今年1月的达沃斯论坛上，杨立昆表示，LLM能通过律师考试，也能编写代码，但并不能真正处理现实世界的复杂问题。因为如今没有家用机器人，也没有L5级别的自动驾驶。
他还说：“我无法想象，一个不能预先预测自己行动后果的系统，能被造成agent。” 题外话，杨立昆说这话时，阿莫迪就在旁边。
H-JEPA是一个世界模型，每个动作在执行之前，都会先在潜在空间里“预演”一遍，观察短期、中期、长期会导向什么状态，再选择动作。
因此杨立昆主张这样一个理念：真正的Agent，不是“说一句话、看反应、不行再换”，而是在说那句话之前，就大致知道它会引发怎样的连锁反应。
此外，如今的Agent，尤其是编程Agent，主要依赖奖励训练，即“做对加分，做错扣分”。
代码之所以成为AI的主战场，其中一个重要原因是编写代码有现成的对错信号，比如测试能否通过、编译是否报错、基准分数是否上涨。
Anthropic的官方文章曾提到，Claude在预设了目标和评价标准的前提下，已能运行实验、优化代码，但在“选择目标、判断什么问题值得研究”上仍有差距。因此，可验证的标准越清晰，Agent就越有效。
在这方面，H-JEPA走的也是相反路线。论文反复强调，其训练“不用奖励，也不用重建”。既不需要外部评分，也不需要将像素逐一还原。
H-JEPA从头到尾都是在表征空间中学习预测下一个状态。
著名的《湿猴理论》讲的就是这个道理。
笼子里有5只猴子，上方挂着香蕉，只要有一只猴子爬梯子拿香蕉，所有猴子就会受到惩罚。
猴子不知道水枪是什么，但被水喷多了，它就知道不能碰香蕉了。
今年5月，一家名为递归超级智能（Recursive Superintelligence）的公司结束了隐身状态。该公司获得了超过6.5亿美元融资，投前估值约46.5亿美元。
这家公司的联合创始人之一，正是前Meta FAIR研究总监田渊栋。他还有另一个身份：杨立昆在FAIR时代带出来的老部下。
递归超级智能公司所主张的，就是让AI递归地改进自己，毕竟公司名字就说明了这一点，属于谜底就在谜面上。
RSI如此火热，连自己带出来的人都投身其中，但杨立昆在H-JEPA中却只字未提。
因为杨立昆认为，当今无论是世界模型，还是他理想中的Agent，其所缺失的东西，是RSI无法弥补的。
杨立昆的观点是，让AI反复改进自己，改进出来的依然是基础能力。比如让语言模型进行RSI，最终提升的仍然只是语言能力。但语言模型所缺乏的多模态、推理能力，不会因为改进次数增多就自行产生。
因此杨立昆认为，RSI只是一个放大器，它放大的是原本就存在的东西。
从JEPA到H-JEPA，RSI无论如何都行不通。
同时，要让RSI运作起来，需要可验证的判断依据。
正如前文所述，代码测试是否通过、基准分数是否上升，都是这样的信号，而H-JEPA训练时明确不用奖励。
杨立昆认为，物理世界根本没有现成的判断标准。比如机器人把杯子推歪了，该得多少分？在一个没有分数可看的世界里，“改进”又如何衡量呢？
杨立昆还在论文中顺便批评了RSI。
在DROID实验中，数据来自真实机器人的遥操作视频，场景、灯光、物体在不同片段之间不断变化。
如果只让模型预测，它会学到“这是哪个场景”，而忽略画面中真正在运动的机械臂，论文称之为慢特征坍缩（slow-feature collapse）。
研究者必须人为添加一个逆动力学约束，要求模型根据前后状态推断中间的动作。不加这个约束，模型性能直接降为零。加上后，规划能力才得以恢复。
也就是说，让模型学会“动作造成什么结果”，依赖的是人为设计的约束，而非模型自己越改越好。
此外，决定成败的并非改进的次数。
古语有云：书读百遍，其义自见。但杨立昆认为，真正决定模型成败的，不是RSI了多少轮，而是每一层该保留什么、该丢弃什么，以及深层模型是否有足够的数据。
前文提到的Push-T中，三层、四层效果不升反降，就是最直接的例子。递归地加深，并不能自动为模型带来能力增长。
在杨立昆的路线中，比起RSI，AI首先要学会正确表示世界，然后“改进自己”才有意义。
本文来自微信公众号“字母AI”，作者：苗正，36氪经授权发布。
+1.5万 
