2026/4/18 9:08:05
网站建设
项目流程
做个企业网网站怎么做,精美网页图片,安丘做网站的公司,重庆电子工程职业学院智慧校园网你有没有发现#xff0c;你让AI读一篇长文章#xff0c;结果它读着读着就忘了前面的内容#xff1f; 你让它处理一份超长的文档#xff0c;结果它给出来的答案#xff0c;牛头不对马嘴#xff1f; 这个现象#xff0c;学术界有个专门的名词#xff0c;叫做上下文腐化。…你有没有发现你让AI读一篇长文章结果它读着读着就忘了前面的内容 你让它处理一份超长的文档结果它给出来的答案牛头不对马嘴 这个现象学术界有个专门的名词叫做上下文腐化。 这也是目前AI的通病大模型的记忆力太差了文章越长模型越傻2025年最后一天麻省理工学院MIT丢了一篇重磅论文就是要解决这个问题的。这篇论文叫《Recursive Language Models》也就是递归语言模型。看起来很学术但说人话就一句让AI再做一遍效果直接起飞。论文地址https://arxiv.org/pdf/2512.24601先剧透两个核心数据在复杂推理任务上仅仅让模型多过2-4遍正确率就能提升10%-25%在超长文档处理上RLM递归语言模型在1000万token的规模下依然保持稳定表现而传统模型直接崩盘这啥概念以前我们觉得AI不够聪明那就给它堆参数、加显卡、买更多GPU。MIT这篇论文直接掀桌子别堆参数了让它返工重写一遍效果可能更好。真就是人类监工了原来解决问题的方法就是这么简单并且X上很多大佬纷纷点赞从一个让人崩溃的问题说起你有没有这种经历让ChatGPT帮你写一篇文章它洋洋洒洒写了三千字你一看——卧槽离题万里。或者让它帮你写代码它写完了一运行——全是bug。但神奇的是你让它再检查一遍、重新想想有时候它就突然能改对了。MIT的研究人员发现这不是玄学这是有规律的。大多数AI犯的错不是因为它不懂而是因为它初稿写太快了。就像你写论文第一稿总是稀烂但改个三四遍就像换了个人写的。AI也是一样。问题是现在的大模型基本都是一遍过的模式你输入问题它输出答案完事。它自己不会主动返工、不会自我检查、不会反复推敲。或者换一个思路来理解大模型原先的思路假设你是一个刚进公司的实习生领导给你发了一份500页的资料让你整理出一份报告。你会怎么做正常人的做法是先翻一翻找到重点章节然后一章一章地读读完一章做个总结最后把所有总结串起来。对吧但大模型不是这么干的。大模型的做法是直接把500页资料从头到尾一口气读完然后尝试凭记忆回答问题。这能记住才有鬼了。这就是大模型面临的困境。它不是不聪明它是记不住。MIT这篇论文干的事儿就是给AI装上了一个返工的能力。AI的真正瓶颈不是脑子不够大是记性太差在聊MIT的解决方案之前我得先跟你说清楚为什么这件事这么重要。你可能听说过一个词叫上下文窗口。啥意思呢你可以把AI大模型想象成一个天才但是这个天才有个致命缺陷——他的工作台太小了。你给他一份超长的资料让他帮你分析但他只能把资料的一小部分放到工作台上看。超过工作台大小的部分看不到直接忽略。现在最牛逼的GPT-5工作台能放27万个token大约相当于20万字中文。听着挺厉害的对吧但问题来了。就是说哪怕是在这27万token的限制之内模型的表现也会随着输入变长而急剧下降。当你给它8000个token的时候它表现贼棒。给它8万个token的时候它开始有点迷糊。给它27万个token的时候它直接开始胡说八道。为什么因为信息太多了它处理不过来了脑子乱了。就像让一个人同时记住一整本百科全书然后回答问题——记是记住了但找不到了。这就是大模型现在的困境不是上下文窗口不够长而是长了也用不好。MIT的天才想法把资料放到抽屉里好了问题讲清楚了现在来看MIT的解决方案。传统做法是你把资料直接塞进AI的脑子里。MIT的做法是别塞进去了放抽屉里吧。他们发明了一个叫RLM的东西。RLM的核心思路是不要让AI直接读那份巨长的资料而是让AI用代码去翻那份资料。打个比方。以前的AI就像一个学生你把一整本教科书拍在他面前说看完然后回答我的问题。学生我看不完啊我能不能看一部分然后他就硬着头皮看前面的一部分后面的直接放弃。RLM的做法不一样。它更像是给这个学生配了一个目录系统和搜索引擎。资料还是那份资料但学生不用从头到尾读了。他可以先翻目录看看大概结构然后针对问题去搜索相关段落把有用的信息摘出来。更牛的是这个学生可以把一个复杂问题拆成好几个小问题然后——注意重点来了——他可以召唤自己的分身让分身去同时处理各个小问题最后汇总答案。这就是递归的意思AI可以调用自己的分身让自己帮自己干活。或者再降维一下理解就是它把这份超长的文档当成一个放在外面的资料库而不是直接塞进脑子里。然后模型可以写代码自己去查这个资料库。需要第一章的内容写个代码去查。需要第十章的内容再写个代码去查。需要把第一章和第十章的内容对比那就先查第一章做个总结再查第十章做个总结最后把两个总结合起来。这就像是一个有无限容量的外置硬盘。模型的脑子里装不下那么多东西没关系。可以随时去硬盘里查用到什么查什么。这样一来理论上模型可以处理无限长的文档。具体怎么做的MIT的实现方式其实挺优雅的。他们给AI配了一个Python编程环境REPL把那份超长的资料存成一个变量。然后AI不再直接去读这份资料而是用代码去操作它。比如想看资料有多长写一行代码len(input_text)就知道了想看资料的前1000个字符写input_text[:1000]想在资料里搜索关键词写个正则表达式更厉害的是AI可以把这份资料分段把每一段交给一个子AI去处理然后自己汇总结果。这个子AI用的其实是同一个模型只不过是递归调用自己。这个设计有两个巨大的好处第一AI不用在脑子里记住那份超长资料了。资料就放在外面的抽屉里需要的时候用代码去取。这就意味着理论上资料可以无限长——只要抽屉够大。第二AI可以自己判断需要看什么、不需要看什么。它不会傻乎乎地从头读到尾而是会聪明地挑重点看。这大大节省了计算成本也提高了准确率。效果到底有多猛MIT在论文里做了一堆实验结果还是挺震撼的。实验一超长文档理解他们用了很多测试机其中一个叫OOLONG的测试集这个测试需要AI理解超长文档并回答需要综合全文信息才能回答的问题。结果GPT-5基座模型的准确率44%而RLM达到了56.5%。而在CodeQA中GPT-5基座模型的准确率24%而RLM达到了62%直接提升了2.7倍实验二超超超长文档1000万token他们还把文档长度一路拉到1000万token以上相当于几十本书的长度。GPT-5压根处理不了直接爆炸。RLM(GPT-5)稳稳当当表现基本不掉。这是一个质的飞跃。实验三成本对比你可能会想这么牛逼的东西是不是巨贵神奇的是并没有。在BrowseComp-Plus基准测试中让GPT-5-mini直接处理600万-1100万token的输入成本大约是1.5-2.75美元。而RLM(GPT-5)的平均成本只有0.99美元。更便宜效果还更好。为什么因为RLM不会傻傻地把所有内容都读一遍它只读需要的部分。这个发现为什么重要MIT这篇论文的意义远不止于让AI处理更长的文档。它揭示了一个更根本的道理AI的能力边界不只取决于模型本身有多大、参数有多多还取决于你怎么使用它。以前我们的思路是模型不够强——那就加参数。MIT告诉我们等等也许不用加参数让它多想几遍就够了。回到开头提到的那个发现在多步推理任务中仅增加2-4次递归处理正确率就能提升10%-25%。大约4次迭代后收益逐渐趋于平缓。这说明什么大多数AI犯的错都是初稿错误不是它不懂是它第一遍太草率了。让它返工几次就能改对。所以有时候你在使用AI时还真的当个监工让AI多输出几次这跟人类其实一模一样。任何牛逼的程序员都知道第一版代码永远是最烂的代码质量是改出来的不是写出来的。任何牛逼的作家都知道第一稿永远是废稿好文章是改出来的不是写出来的。现在AI也一样了。未来展望MIT在论文最后提到这只是一个开始。目前的RLM还有很多可以优化的地方1.异步调用目前子任务是一个接一个执行的如果能并行执行速度会更快。2.更深的递归目前只允许一层递归AI调用自己的分身如果允许分身再调用分身理论上能处理更复杂的任务。3.专门训练目前RLM用的是现成的大模型如果专门为递归思考训练一个模型效果可能更猛。MIT的研究者们相信这可能代表了大模型能力扩展的一个新方向不是一味地堆参数、堆算力而是让模型学会更聪明地思考。如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。