第1343章 无监督训练 (第2/3页)
的发展方向。
“凯明，残差连接虽然帮我们解决了梯度消失，让网络可以堆到几十层甚至上百层，但我们在视觉和语音的底层特征提取上，还没有到能够开香槟庆祝的时候。”
“卷积神经网络天生就有个致命的短板，那就是固定的感受野。”
“它太擅长捕捉局部的边缘和纹理了，但对于远距离的空间关联，比如一张图片里左上角的一只猫，和右下角的一个毛线球之间的逻辑关系，或者一段长语音里前后隔了十秒钟的两个词，它的建模能力依然非常弱。”
“我明白您的意思。”何凯明接过话头，思索着说道：
“我们需要更好的特征表达和多尺度融合机制。”
“把低层的精细空间信息和深层的高级语义信息结合起来，比如构建一种特征金字塔结构，或者引入空洞卷积来扩大感受野。
甚至……我们可以尝试在卷积层之间，加入一种类似人类视觉聚焦的权重分配机制，也就是注意力的雏形，让网络自己学会该重点看哪里。”
成文飞顺着何凯明的思路往下延伸，提出了一个更具颠覆性的问题：
“多尺度融合确实是一条必经之路，但凯明，我这两天在想另一个更核心的问题，表征迁移，也就是迁移学习。”
“你想想看，咱们用深层残差网络在千万级的大数据集上，千辛万苦训练出来的底层视觉特征，能不能直接挪到别的小任务上去用？”
何凯明眼睛一亮：“您是说……预训练加微调？！”
“对！就是预训练！”
成文飞这会的神色变得格外认真：“如果每次做一个新任务，比如从人脸识别换成自动驾驶的车道线检测，或者做医学影像分割，我们都要重新收集几百万张标注图片从零开始训练，那人工智能的落地成本就太高昂了！”
“残差网络真正能够改变整个行业的，绝不仅仅是它能
（本章未完，请点击下一页继续阅读）