第686章 纯注意力机制?你们竟敢这么想 首页

字体:      护眼 关灯

上一页 目录 下一页

第686章 纯注意力机制?你们竟敢这么想(3/5)

壁楼。走吧。”

隔壁楼门口挂着一块不锈钢牌子:九天AI实验室。

二楼的开放式办公区里,十几个人正对着屏幕工作。有人在跑代码,有人在白板上写公式,角落里两个人正对着一张打印出来的论文激烈讨论。

一个戴眼镜的年轻人从工位上站起来,朝他们走过来。

“林博士,赵博士?”他伸出手。“任少卿。论文你们应该看过了。”

林之远握上去。这只手的主人,就是那篇让全球AI界炸锅的论文的第一作者。

比他想象中年轻得多,看着也就二十五六岁。

“看过了。复现过了。数据完全对得上。”

任少卿笑了一下:“那就好。省得我还要解释为什么152层能训练。”

楼梯口传来脚步声。一个身材偏瘦、穿着黑色连帽衫的男人走下来,手里端着一杯咖啡,眼睛下面有明显的黑眼圈。

“楼天城。”任少卿介绍道。“我们的系统架构负责人。昨晚应该又通宵了。”

楼天城点了点头,看了一眼林之远的胸牌:

“看资料,你在斯坦福做的是推荐算法方向?”

“对。博士论文写的是用深度学习做推荐系统。”

“那正好。”楼天城喝了口咖啡。

“我们现在在做一个东西,需要你这个方向的人。”

他转身走向白板,拿起马克笔,刷刷刷写了一串公式。

林之远凑过去看。

那是一个注意力权重的数学表达式。

所谓“注意力机制”,通俗地说,就是让AI在处理一段信息时,能像人类阅读一样,自动把目光聚焦在最重要的部分,而不是平均分配精力。

但这个公式和他在论文里见过的不一样。

传统的注意力机制,是让AI在翻译时“回头看”原文。

比如翻译一句英文时,每写一个中文词,都回头看看英文原句里哪个词最相关。

而白板上这个公式,做的事情完全不同:它让一句话里的每个词,都去“看”这句话里的其他所有词。

不是回头看别人,是自己看自己。

“你们在做……序列内部的自相关计算?”

林之远的声音不自觉地提高了。

任少卿和楼天城对视了一眼。

“差不多。”任少卿说。

“我

本章还未完,请点击下一页继续阅读

上一页 目录 下一页