关闭广告

Transformer开山论文惊天"翻车"?图与代码不一致,神秘bug看傻了

新智元16067人阅读


新智元报道

编辑:编辑部

【新智元导读】图与代码不一致的论文,很「常见」,不过提出了Transformer的开山鼻祖论文,竟然也出现了同样的错误?

今天,AI圈被一个惊天「翻车」刷屏了。

谷歌大脑的NLP奠基之作、提出Transformer架构的开山鼻祖级论文 《Attention Is All Your Need》 中的图,被网友扒出与代码并不一致。


论文地址:https://arxiv.org/abs/1706.03762

自2017年问世以来,Transformer已经成为AI领域的基石王者。就连大红大紫的ChatGPT真正的幕后大佬也是它。

2019年,谷歌还专门为它申请了专利。


归宗溯源,现在各类层出不穷的GPT(Generative Pre-trained Transformer),都起源于这篇17年的论文。

据Google Scholar,截止目前,这篇奠基之作已有7万多次的引用。


所以,ChatGPT的奠基石都不稳了?

作为「开山鼻祖」的论文,结构图竟是错的?

Lightning AI创始人、机器学习研究者Sebastian Raschka发现,这篇论文中Transformer的图是错误的。


图中被圈出的地方,LayerNorms是在注意力和全连接层之后。在残差块之间放置层归一化,会导致输出层附近参数的预期梯度很大。

而且,这也与代码 不一致。



代码地址:https://github.com/tensorflow/tensor2tensor/commit/f5c9b17e617ea9179b7d84d36b1e8162cb369f25#diff-76e2b94ef16871bdbf46bf04dfe7f1477bafb884748f08197c9cf1b10a4dd78e

不过有网友指出,Noam shazeer在几周后对代码进行了纠正。



随后,Sebastian称,在论文Layer Normalization in the Transformer Architecture中,Pre-LN表现得更好,可以解决梯度问题。


这是很多或者大多数架构在实践中所采用的,但它可能导致表征崩溃。

如果层归一化在注意力和全连接层之前被放置在残差连接之中,就会实现更好的梯度。


Sebastian提出,虽然关于使用Post-LN或Pre-LN的讨论仍在进行中,但也有一篇新论文提议把二者结合起来。



论文地址:https://arxiv.org/abs/2304.14802

在这种双残差Tranformer中,表征崩溃和梯度消失的问题都得到了解决。


网友热议

针对论文中的疑点,有网友指出:中间不是已经有了PreLN和PostLN了吗?

Sebastian回答说,自己也觉得有点奇怪。或许2nd LN指的是最后一个输出层,而不是每个transformer块,但他对此也不确定。


有网友表示:「我们经常遇到与代码或结果不匹配的论文。大多数就是出于错误,但有时也会让人很奇怪。而这篇论文已经流传甚久了,为什么这种问题此前从没被人提出过,这真的很奇怪。」


Sebastian表示,公平地讲,最原始的代码是和图片一致的,但他们在2017年修改了代码版本,却没有更新图片。所以,这很令人困惑。


有网友表示,已经有论文在NormFormer中展示了一个不太复杂的架构,而他的团队最近也证实了他们的结果。而ResiDual论文没有在任何地方提到NormFormer,这让人很惊讶。


同时,评论区不断出现网友证实:Transformers中使用的LN,与CNN中使用的方式并不同。



所以,论文真的存在漏洞,还是乌龙事件?

让我们静观后续。

参考资料:

https://twitter.com/rasbt/status/1655575611979489282

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

嫦娥五号在月面成功点火起飞,我国首次实现地外天体起飞

趣看热点 浏览 23141

贾乃亮罕晒甜馨视频向女儿比心,网友嘲相处生分

盖饭娱乐官方号 浏览 16646

多项用车体验优化,坦克400 Hi4-T迎首次OTA升级

天天汽车 浏览 10022

理想汽车春季发布会将于3月1日举行 “公路高铁”将发布

智车情报局 浏览 9951

一到下班就开会、一到周末就培训 上海男子告赢单位

极目新闻 浏览 65507

穿衣犯懒时,这两位姐是我的「电子造型师」

YOKA网 浏览 10027

中东混战升级,反美袭击四处开花

浏览 8479

网传《封神2》有新角色登场,张艺兴舒淇都将加入

不八卦会死星人 浏览 11970

记者:沙特方面大幅提升报价,莫德里奇在皇马未来存疑

直播吧 浏览 13618

费兰-托雷斯谈未来:希望有一天我能够回到瓦伦西亚

直播吧 浏览 15923

5个关键词,读懂2024年国家账本

经济观察报 浏览 9663

苗苗郑恺的窒息婚姻:女方携全家搬来妹妹被吐槽

传媒一班 浏览 13794

李书福:马来西亚供应链成本比中国高30%,吉利将建立本土化体系

第一财经资讯 浏览 8386

FF91创下“里程碑”但FF已“腰斩”掉百亿元市值

每日经济新闻 浏览 18176

官宣:歼31出了新型号,全球独创侧面双弹舱

浏览 8109

海天味业的艰难时刻!还记得“酱油茅”立下的目标吗?

天下财道社 浏览 10287

李想向“黑暗”宣战,能挽救MEGA吗?

雷达财经 浏览 8720

司马懿发动高平陵之变像赌命?看看曹爽的实力有多强

趣看热点 浏览 23199

罗体:国米有意米兰15岁天才卡马达,本周日后他可与任何队签约

直播吧 浏览 9704

白宫在台湾地区领导人选举前罕见发声:无偏爱候选人

上游新闻 浏览 65065

售29.99万起,极星Polestar 4开启批量交付

天天汽车 浏览 9772
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1