关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2356人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

媒体:美伊互放狠话时白宫称愿谈判 让世界看到一信号

环球网资讯 浏览 8697

中国色特别策划 | 故宫活力与故说新语

时尚COSMO 浏览 2732

《骄阳似我》顾漫花巨资买《遇见》《信仰》不是为庄序偏爱太明显

亦暖追剧随笔 浏览 2691

女生晒春运"出国回家"攻略:连飞俄两地再坐船回黑龙江

上游新闻 浏览 22195

问界M9 2024款开放华为ADS小蓝灯升级服务

网易汽车 浏览 3879

搭载华为智驾,奥迪「6系」电车上市,售价30.98万元起|最前线

36氪 浏览 494

下一代GPU,竞争激烈

半导体行业观察 浏览 4382

界外球都判错!西亚昏哨8次不利判罚气炸U23国足众将,王钰栋质问

我爱英超 浏览 2514

男女情爱奇招尽出,碎碎念伍迪老爷再上阵!

幕味儿 浏览 3136

占比突增到62.2%,年末新能源车突然爆发,燃油车要“熄火”了?

小李车评李建红 浏览 3013

美国因格陵兰岛问题对欧洲8国加关税 多国反击特朗普

环球网资讯 浏览 6768

审美倒退30年?舒淇却被全网夸爆了

Yuki女人故事 浏览 737

对话郝飞:智能座舱新物种 斑马为端芯片带来的新机遇

网易汽车 浏览 3811

加沙停火一个月:民众苦难如常 美以又有新动作

国际在线 浏览 3446

6岁女童练习"下腰"致截瘫 经营者曾因逃避执行被刑拘

红星新闻 浏览 17407

安乃达等在南京成立智能机器人公司

财闻 浏览 315

男子假期嫖娼被抓7年后被银行发现辞退 官司打到高院

扬子晚报 浏览 9707

香港科技大学突破文本理解难题:让AI模型内部"自我改造"

科技行者 浏览 2576

马斯克承认其他车企不想获得特斯拉FSD授权:他们简直疯了

IT之家 浏览 3253

特朗普:对委内瑞拉发动军事袭击计划"泄密者"已被抓

环球时报国际 浏览 13092

33岁的张一山惊艳亮相,杨紫这次真得避嫌了?

探长影视解说 浏览 3491
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1