关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2957人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

IU的脸,真的有自己的时间线

时尚COSMO 浏览 1095

谈情也谈钱,浪漫又轻盈,这门亲事我同意了!

吐槽电影院 浏览 2586

西方媒体炒作“伊朗加速生产导弹”

环球网资讯 浏览 3856

惊天大冷!足总杯卫冕冠军水晶宫1-2遭第六级别球队麦克斯菲尔德淘汰

懂球帝 浏览 3208

100小时极寒挑战,董明珠图啥?

中国新闻周刊 浏览 3423

纽卡赛季前三个英超客场均0-0战平,为英超历史首次出现

直播吧 浏览 4816

潘江:古德温确实很匹配山西,但因种种原因离开我们确实没办法

懂球帝 浏览 3243

AI春节大战 阿里30亿元跟进:要流量更要消费生态

北京商报 浏览 2988

韩国首部限制级被禁,前后修改3次

陈意小可爱 浏览 4389

特朗普:不想“浪费时间”与普京会晤

参考消息 浏览 9435

柬埔寨"太子集团"资产又遭冻结 豪车公寓总值超35亿元

红星新闻 浏览 15763

熊园:9月进出口均走高的背后

首席经济学家论坛 浏览 4295

“官僚主义”缠身的亚马逊,开始被多面夹击

虎嗅APP 浏览 3845

智元,想跟宇树争第一

定焦One 浏览 1126

谷爱凌穿泡泡机,肯豆cos胜利女神,这届Met Gala的赢家到底是谁?

LinkFashion 浏览 880

帽子选对,风格翻倍!冬日造型点睛术

Yuki女人故事 浏览 3058

“短大衣”今年冬天又火了,这4件怎么搭都好看!

LinkFashion 浏览 2569

强奸大嫂凶手出狱去大嫂家 大嫂吓得穿内衣跑街上求救

澎湃新闻 浏览 93900

记者:阿根廷19岁中卫托维亚斯-拉米雷斯没考虑去迈阿密国际

懂球帝 浏览 2984

北京78-93天津1喜3忧!太吃杰曼状态,陈盈骏低迷,许利民辣眼!

篮球资讯达人 浏览 3065

俄方:乌克兰袭击赫尔松地区目标致超20人死亡

环球网资讯 浏览 3314
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1