关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2358人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

德约科维奇发布退赛声明令人担忧,身体康复状况存疑

网球之家 浏览 2669

中山大学等九校联手突破:AI实现软件bug自动侦测与修复

科技行者 浏览 2541

被霍尔木兹海峡"困"住 中国货代2周损失140万焦头烂额

新京报 浏览 115690

徐艺洋三亚美照惊艳

悦君兮君不知 浏览 3254

配备3C快充 埃安AION i60预售11.98万起

网易汽车 浏览 3458

总投资52亿元:国内首个海上回收复用火箭基地顺利开工

IT之家 浏览 2737

美媒询问缅甸大选后中国会否同缅甸深化关系 中方回应

外交部网站 浏览 7122

监管部门再出重拳“反内卷”:严禁车企不正当价格竞争,比亚迪小鹏北汽等表态

北京商报 浏览 3010

美官员:美军抵达以色列 监督加沙停火协议的执行

环球时报国际 浏览 3772

抛弃糟糠之妻和6岁儿子,李成儒后悔吗

白面书誏 浏览 3589

法拉利战略转型,电动跃马如何取悦中国用户

桑之未 浏览 3871

黑芝麻控制权转让新进展:尽职调查10月底前收尾,国资注入能否解 “冲饮困局”?

时代周报 浏览 3785

计划对菲律宾出口防空导弹 日本危险动作引担忧

上观新闻 浏览 3124

百度发放开工红包:最高可得2026元

三言科技 浏览 2046

发布多模态交互开发套件,发力硬件抢占入口!阿里云已兵分两条路布局AI手机

时代财经 浏览 2643

定位中大型5座SUV 星途ET7申报图曝光

车质网 浏览 2847

合资品牌的“下一程”,为什么要从CR-V谈起

汽车预言家 浏览 2967

西班牙青训球队开除4名U16球员,他们曾为泄愤持刀威胁对手

懂球帝 浏览 3334

不变应万变!曼城连续3场首发不变,为瓜帅执教以来第三次

直播吧 浏览 4351

英特尔怒涨逾12%!标普500、纳指再创新高,油价回落

第一财经资讯 浏览 308

余承东任华为终端公司董事长,孟晚舟等卸任董事

蓝鲸新闻 浏览 2396
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1