关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2422人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

于根伟激励全队:付出最大的努力,把最后4轮比赛“咬”下来

懂球帝 浏览 3852

牛弹琴:特朗普没想到 抓马杜罗后西方情绪总体很稳定

现代快报 浏览 7713

零跑D19定档10月16日,旗舰SUV全球首秀

网易汽车 浏览 4553

享界S9同款平台,极狐全新MPV也有小蓝灯

爱驾天下 浏览 2990

赵伟:增量财政资金落地

首席经济学家论坛 浏览 3671

预售11.28万起 狐全新阿尔法S5标配宁德时代

网易汽车 浏览 1991

快手“沦陷”之夜:1.7万僵尸账号

影像温度 浏览 2351

77岁大爷孤身赴柬埔寨见网友流浪数日:互联网喊我来的

潇湘晨报 浏览 9375

A股公司老总被抓宣布离婚 80后前妻分9.24亿紧急接班

每日经济新闻 浏览 8667

《秋雪漫过的冬天》首播,不如原版韩剧好看

马庆云的影音娱 浏览 2763

成本仅为真人1/18!漫威衍生剧用AI重拍女二,太厉害了吧

娱乐白名单 浏览 3797

行业变局信号,理想坚定AI战略

节点财经 浏览 2498

低成本、高锐度布局风口上的创新药

一地基毛 浏览 3482

降级即离队?沃尔夫斯堡球员温德谈未来

绿茵情报局 浏览 1043

环球:日本导弹距中国台湾仅110公里 此动向极其危险

环球时报新闻 浏览 15452

麻省理工学院发明“可注射”脑机芯片,有潜力用于治疗老年痴呆症

IT之家 浏览 3305

51岁的何炅自曝非常痛苦,如今谁都救不了他?

小梊搞笑解说 浏览 3750

男导演曝丑闻 蒋欣的含金量还在上升

刘森森 浏览 3480

江铃旗下羿驰 05S 纯电紧凑型 SUV 将于10月16日上市

IT之家 浏览 3705

车企增收不增利,钱到哪儿去了

帮宁工作室 浏览 2592

网友称小区1楼4户业主联合私挖地下室 官方回应

潇湘晨报 浏览 7415
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1