热备云导读：一位顶尖科学家，有数千亿美元的资源，却仍然能把Meta搞砸了！」最近，圈内对LeCun的埋怨和批评，似乎越来越压不住了。有人批评说，Meta之所以溃败，LeCun的教条主义就是罪魁祸首。但LeCun却表示，自己尝试了20年自回归预测，彻底失败了，所以如今才给LLM判死刑！
在当今的AI大战中，OpenAI凭借GPT/o系列、谷歌依仗Gemini 2.5、Anthropic靠着Claude，都展现出强大的实力，各领风骚。然而，Meta却未能走在前沿。自Llama 4发布以来，其糟糕的表现让Meta在一定程度上沦为业内的「笑柄」。
甚至有离职研究者特意在简历上标明自己未参与Llama 4的训练。在此背景下，业内对Meta首席人工智能科学家Yann LeCun的批评声日益高涨。尽管LeCun是一位顶级科学家，能调动数千亿资本用于计算资源和内部研究，但Meta在AI领域的表现却不尽如人意。有人认为，Meta在大语言模型（LLM）大战中落后，正是因为LeCun一直明确表达对LLM发展方向的反感和拒绝。
与像奥特曼这类持激进态度的人相比，LeCun的心态使Meta在当前竞争中处于劣势。毕竟，如果公司的首席科学家都不相信自己所投入工作的架构，而对自己所信仰的架构又没有惊艳成果，出现如今的局面也就不足为奇了。LeCun对LLM路线的不看好，被很多网友批评为「教条主义」。有观点指出，许多顶尖科学家都有类似问题，他们过于自负，认为自己最了解一切，难以做出转型，甚至其教条主义会影响科学进步。
总结来看，Meta失败的核心原因主要有以下几点：
- LeCun反对LLM的论调：他的态度影响了Meta在LLM领域的投入和发展。
- Meta在MoE架构方面经验不足：作为新手，在该架构的运用和发展上存在困难。
- 开源发布过早：这一决策导致了一些失败和问题。
- 研究产品团队不协调，组织管理不善：内部的管理问题影响了整体的发展和竞争力。
不过，第一代Llama的出现对开源界意义重大，但在日新月异的AI圈，这仿佛已是久远之事。接下来，除非LeCun能成功开辟新范式，实现像JEPA这样的世界模型，否则Meta可能会在AI竞赛中继续落后。
LeCun对LLM「判死刑」的言论
LLM已是过去式
在英伟达2025 GTC大会上，LeCun直言：「我对LLM不再感兴趣了！」他认为LLM已成为过去，未来应聚焦于四个更有趣的领域：理解物理世界的机器、持久记忆、推理和规划。然而，Llama的下载量已达十亿次，这表明人们对LLM仍有强烈需求，与LeCun「LLM已过时」的观点相矛盾。
LeCun在演讲中提到，纵观AI历史，每一代研究者在发现新范式时都会宣称，再过几年就能造出在所有领域都超越人类的机器。七十年来，这种浪潮大约每十年出现一次，而这一波也会被证明是错误的。他认为，那种认为只要无限放大LLM、生成大量Token序列并挑选就能获得人类级智能，以及两年内数据中心会诞生天才之国的观点，完全是无稽之谈。尤其是LLM使用的Token，在刻画物理世界方面并非良策，因为Token是离散的，典型的LLM可选Token只有十万级左右。
当模型预测文本序列的下一个Token时，只能输出概率分布，无法百分百给出唯一正确的Token。对于文本处理，这种方法问题不大，但在处理视频等既高维又连续的自然数据时，所有通过像素级预测视频来让系统理解世界、构建世界模型的尝试基本都失败了。同样，依赖从损坏或变换后的图像重建原图来训练神经网络学习图像优质表征的技术，也大多以失败告终。
自回归LLM注定淘汰
在今年3月底的2025美国数学会联合会议上，LeCun发表了题为「通往人类水平人工智能的数学障碍」的演讲。他认为，如今的机器学习水平依然拙劣，学习效率极低，模型往往需要经历成千上万次样本或试验才能达到目标性能。虽然自监督学习改变了AI，但仍有很大局限性。相比之下，动物和人类能快速掌握新任务、理解世界运行方式，具备推理、规划能力和常识，其行为由目标驱动。
而自回归的LLM是通过预测序列中的下一个词或符号来训练的，该序列可以是文本、DNA、乐谱、蛋白质等离散符号。但自回归预测存在根本性难题，它本质上是发散的。设想生成的符号是离散的，每输出一个符号就有多达100 000种可能。若把所有可能的Token序列看作一棵分叉度为100 000的巨型树，只有一小棵子树对应「合格答案」的所有延续。而这棵「正确子树」只是整棵树的微小子集。假设每生成一个符号有独立的错误概率e，那么长度为n的序列完全正确的概率便是(1 - e)^n。即便e极小，该概率仍会随n呈指数级衰减，且在自回归框架下无法补救。因此，LeCun判断自回归的大语言模型注定被淘汰，几年后理智的人都不会再使用它们。这也是LLM产生幻觉的根源，即它们会胡说八道是自回归预测导致的。
LeCun认为，在构建AI系统的新概念上，我们遗漏了重要内容。仅靠将LLM放入更大数据集，永远无法实现人类级AI。如今，AI能通过律师资格考试、解数学题、证明定理，但L5自动驾驶汽车和家用机器人却不见踪影。这就是莫拉维克悖论，人类觉得困难的任务，如计算积分、求解微分方程、下棋、规划穿越多座城市的路线，计算机却能轻松完成。这说明把「人类智能」称作「通用智能」是无稽之谈，人类智能是高度专门化的。
一款典型的现代LLM大约在2×10¹³（约20万亿）个token上训练，按每Token 3字节计算，总量达6×10¹³字节，向上取整约10¹⁴字节，一个人读完这些文本需要几十万年。而一个4岁小孩在醒着的16 000小时里，通过视觉、触觉、听觉等感官从物理世界获取的信息量也达到了10¹⁴字节。这意味着如果AI无法通过观察世界来学习其运行规律，就永远无法达到人类级别，因为文字中的信息远远不够。
在Meta，他们使用高级机器智能（Advanced Machine Intelligence，AMI）而非AGI的说法。AMI应具备以下特点：
- 能通过感官输入自行学习世界模型与心智模型，掌握直觉物理与常识。
- 拥有持久记忆。
- 能够规划复杂的动作序列。
- 具备推理能力。
- 在设计之初就保证可控与安全，而非事后靠微调弥补。
LeCun预计在三到五年内，Meta能在小规模上实现AMI，之后再考虑如何扩展，直至实现人类级智能。AMI的认知架构可简述为：世界模型、若干目标函数、行动体（负责优化动作以最小化代价）、短期记忆（对应大脑中的海马体）、感知模块（几乎整个大脑后部都参与）以及一个配置器。
那么，能否借用自回归预测的思路，像训练LLM那样训练生成式架构来预测视频接下来的情况呢？LeCun表示自己在这条路上尝试了20年，彻底失败。自回归预测适合离散符号的预测，但在表示概率密度函数的高维连续空间中，我们不知道如何有意义地预测视频帧。他的解决方案是一种名为JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）的技术。LeCun称，如果自己的判断正确，且JEPA比生成式架构更靠谱，那么所有人都应放弃生成式架构。他也承认，在如今人人都热衷于GenAI的环境下，自己说「放弃GenAI」就像个异类。
最后，LeCun在演讲中坚定地呼吁，如果对人类水平的AI感兴趣，就不应专注于大语言模型。对于AI领域的博士生，他认为不应该从事LLM的工作，因为会与拥有大量GPU的大型团队竞争，难以做出贡献。他表示，如果能在接下来的五年或十年内解决一些关键问题，就能走上通往能规划和推理的真正智能系统的道路，而唯一可行的方法就是开源。他坚信，如果自己成功了，AI将成为放大人类智慧的工具，对人类有益。
一件积压在心底的陈年往事
2022年，LeCun和Meta的几位同事训练出一个名为Galactica的LLM，他们将能找到的全部科学文献都输入其中。他们写了一篇长论文详述训练过程，开源了代码，还上线了一个供所有人试玩的在线Demo。然而，这个项目在推特上遭到了猛烈批评，许多人认为它「太可怕，会摧毁整个科学交流体系」，因为人们可以用它写出看似合理但荒谬的科学论文，如「论吃碎玻璃有益健康」。负面评论如潮水般涌来，同事们夜不能寐，最终只能撤下Demo，只留下论文和开源代码。当时他们认为世界还没准备好接受这种技术，也没人真正感兴趣。但三周后，ChatGPT上线，公众反应热烈，如同「救世主再临」，LeCun和同事们对此感到十分困惑。
Meta真不行了？不见得
尽管质疑声不断，LeCun仍有一些坚定的支持者。有人听完他的演讲后表示，敬佩他是一位现实主义者、开源倡导者，不跟风炒作。虽然他因反对LLM教条而招致很多批评，但人们尊重他的诚实。支持者认为，在如今这个时代，听到有人谈论LLM的局限性是好事，尤其是他还在为股东公司工作。只有关注局限性、失败的可能性以及其他工程原则，AI才会更安全。即便Llama 4目前表现不佳，这些支持者依然相信，几个月内Meta会有令人印象深刻的进展。
在一篇名为「即使LLM到达平台期，也不一定意味着人工智能寒冬」的帖子中，有人支持LeCun的路线。发帖人指出，虽然如今大实验室都专注于LLM，但仍有一些小实验室在探索替代路径。他原本以为Meta的LeCun团队是唯一研究基于自监督、非生成、视觉系统的团队，但几周前有一群研究者发布了一种新架构，该架构基于LeCun一直倡导的许多想法，在某些情况下甚至超过了LeCun自己的模型（论文地址：https://arxiv.org/abs/2503.21796）。而且，过去几年中，越来越多类似JEPA的系统出现，有些来自小团队，有些来自谷歌。
如果LLM这条路真的遇到瓶颈，资金投入可能会下降，因为当前的投资很大程度上基于公众和投资者的热情。但这并不意味着AI寒冬的到来。过去出现AI寒冬是因为人们从未真正被AI震撼过，而自ChatGPT诞生后，人们看到了聪明的AI，AI领域吸引了前所未有的关注，这种热情并未消退。与其说会进入AI寒冬，不如说正在从主导范式向更多样化的格局转变，这对人类来说是好事。在智能这样难以复制的领域，不把所有鸡蛋放在一个篮子里才是明智之举。
