关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2367人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

通航城市超260个 我国四大世界级机场群建设初具规模

央视财经 浏览 3765

端侧AI芯片公司2025市值图谱

爱集微 浏览 2517

一年暴涨1663%的牛股,玩砸了!

深蓝财经 浏览 2358

又见借媒体之手维权,事后要求删稿…

深蓝财经 浏览 2544

邮报:法布雷加斯和特里不在切尔西新帅候选名单上

懂球帝 浏览 2772

钟楚曦合影风波升级!站C位评论区沦陷,杨幂刘亦菲差点没挤进去

萌神木木 浏览 3685

最好看的羽绒服,都满足这几点

Yuki女人故事 浏览 2573

进口车大崩盘,出口车三连冠!中国汽车反杀外国车

象视汽车 浏览 1937

将于2027年上市 AMG CLA猎装车谍照曝光

车质网 浏览 2390

欧拉全新SUV亮相,或叫“欧拉5”?

电动邦 浏览 4463

何小鹏给车企转型泼冷水:并非都能顺利成为人形机器人企业

快科技 浏览 1827

高端海鲜“老炮儿”,开始扎堆做小火锅

餐饮老板内参 浏览 2176

“单亲妈妈”叶珂哄娃引热议 网友:黄晓明不管么

韩小娱 浏览 3098

你敢变重6公斤吗?

时尚COSMO 浏览 231

高圆圆、宋佳、陈妍希最近美出圈!她们的穿搭普通人也可以借鉴

LinkFashion 浏览 2504

英伟达向CoreWeave追加投资20亿美元,首推独立CPU芯片

华尔街见闻官方 浏览 2493

新东方员工发文吐槽「加班成奴」,账号被秒封!公司回应;负债238亿拟花1.8亿炒股?乐视网:被误读;美光停止向消费者销售存储产品

雷峰网 浏览 3118

上海老教授花600万借孙女名字买房 结果要不回来了

都市快报橙柿互动 浏览 44496

别问了,今年朋友圈都在打网球

时尚COSMO 浏览 2904

8155芯片+L2智驾 瑞虎5运动版上市 置换补贴价6.79万元起

网易汽车 浏览 1092

网红小英再曝猛料!上拉如出轨亲表妹

孤城落日 浏览 2520
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1