第622章 深度学习变天了 首页

字体:      护眼 关灯

上一页 目录 下一页

第622章 深度学习变天了(4/5)

去思考。”

当时他以为那只是一个外行的模糊直觉。

但现在他回过头来看,那个十八岁的少年说的每一句话,都精准地指向了这个领域未来五到十年的核心命题。

残差连接解决了深层网络的训练问题。

但那个少年想要的,显然不止于此。

任少卿盯着那面光墙,脑子里像打开了一扇被堵住很久的门。

五十层的残差网络证明了一件事:网络可以做得很深,深度不再是瓶颈。

那下一个瓶颈是什么?

他几乎是本能地想到了那个词。

宽度。

或者更准确地说,视野。

卷积网络的每一层只能看到一个局部窗口。

三乘三,五乘五,最大也就七乘七。哪怕你把网络堆到一百层,每一层看到的依然是一小块局部区域。

它通过层层叠加来扩大感受野,但这种扩大是间接的,是逐层递推的,不是一步到位的。

如果数据不是图片呢?

如果是一段文字,一个句子,一篇文章?

文字里的语义关联可以跨越整个句子。

第一个字和最后一个字之间可能存在关键的依赖关系。卷积核看不到那么远。

循环神经网络可以看到,但它是串行的,一个字一个字往后递,速度慢得要命,而且同样存在梯度消失。

只不过是时间维度上的梯度消失。

那如果……

任少卿摇了摇头,把这个念头暂时压下去。

他现在面前摆着一堆更紧迫的问题。

论文要不要写?投哪个会议?实验还需要补哪些对照组?

一百层的网络还没跑,一百五十层呢?

目标检测任务上的迁移效果怎么样?

另外,残差连接这个结构目前只在图像分类上验证过。

要推广到其他任务、其他数据类型,工作量巨大。

他手上就两个师弟,根本忙不过来。

这些问题每一个都很具体,每一个都需要人手、时间和资源。

“少卿哥。”

郑宇航不知道什么时候走到他旁边来了,手里端着两杯速溶咖啡,递了一杯过来,

“你是不是该跟上面汇报一下了?”

任少卿接过咖啡,没喝。

“上面”。在这个基地里,“上面”这个词只指向一个人。

他入职快半年了,跟那

本章还未完,请点击下一页继续阅读

上一页 目录 下一页