深度学习还不如浅层网络？RL教父Sutton持续反向传播算法登Nature

今日应用

vip视频解析

vip视频解析支持爱奇艺、腾讯视频、优酷、芒果TV、乐视视频、搜狐视频、bilibili哔哩哔哩（B站）、AcFun弹幕视频网（A站）等vip会员视频免费观看

今日话题

深度学习还不如浅层网络？RL教父Sutton持续反向传播算法登Nature

 

重点标签 深度学习、持续学习、反向传播、人工智能、神经网络

文章摘要

研究使用了ImageNet数据集和神经网络，通过构建二元分类任务来模拟持续学习环境。实验发现，标准深度学习网络在连续任务中性能逐渐下降，最终接近线性基线。一些流行方法如Adam、Dropout和归一化实际上增加了可塑性损失，而L2正则化有助于减少损失。

为了解决这一问题，研究提出了一种名为“持续反向传播算法”的解决方案，通过选择性地重新初始化网络中低效的单元来维持可塑性。算法通过计算每个单元的“贡献效用”来衡量其重要性，并在更新过程中选择性地重新初始化。实验结果表明，持续反向传播算法能够有效地保持网络的可变性和可塑性。

研究还探讨了在CIFAR-100数据集上的类别增量学习，通过逐步增加模型需要识别的类别数量来测试学习效果。结果显示，持续反向传播算法在100个类别的识别任务中达到了76.13%的准确率。

这项研究为深度学习在持续学习环境中的应用提供了新的视角和解决方案，对于推动人工智能领域的进一步发展具有重要意义。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心