我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:主页 > 传播比 >

MIT最新算法双向传播比BP快25倍深度学习

归档日期:10-19       文本归类:传播比      文章编辑:爱尚语录

  反向传播BP算法被认为是用于训练深度神经网络的“事实上”de-facto的方法。它使用前馈权重的转置以精确的方式将输出层的误差反向传播到隐藏层。然而有人认为这在生物学上是不合理的因为在生物神经系统中带有准确输入权重的误差信号的反向传播被认为是不可能的。在本研究中基于神经科学和与BP 类似的不对称方法的相关文献研究者提出了一种在生物学上合理的神经结构范式。具体来说研究者提出了两种具有可训练前馈和反馈权重的双向学习算法。前馈权重用于将 activation 从输入中继到目标输出。反馈权重则将误差信号从输出层传递到隐藏层。与其他和BP类似的不对称方法不同反馈权重在框架中也很易变并且被训练来逼近 forward activition。初步结果表明研究提出的模型在 MNIST 和 CIFAR-10 数据集上优于其他和BP类似的不对称方法。

  反向传播BP算法是反向模式自动分化和最速下降法的结合它被认为是用于训练深度神经网络DNN的方法。它以精确的方式将误差从输出层逐层反向传播到输入层。然而有人认为在生物学上大脑中涉及精确的对称反向信道的学习是不可能的。

  在深度学习的早期阶段先使用 Boltzmann 机器进行无人监督的预训练然后再用 BP 进行微调不涉及对称权重且是基于生物学机制的。最近关于开发生物学上可行且实用的 BP 替代方案的研究越来越多。

  另一方面归因于神经科学类的文献长期增强LTP被认为是人类记忆和学习的重要一步。如在LTP 中引入的神经元之间的强联系从神经调节步骤开始其中一个神经元将更多的离子受体移动到其树突的膜上。结果就是更多的离子被捕获从而放大了电脉冲。

  基于LTP 的原理和反馈权重易变这一假设我们提出了一种在生物学层面更合理的感知范式和两个双向学习模型。在这些双向学习模型中前馈权重在正向相位调整反馈权重在后向阶段被学习。我们提出的模型消除了反馈权重必须是随机和固定的假设。反馈权重被训练来逼近训练期间的前向激活。基准数据集的实验表明我们的模型优于使用固定反馈权重来传输误差信号的 FA feedback-alignment model和 DFAdirect feedback-alignment model。我们还提供了关于为什么使用自适应权重传输误差信号优于使用固定权重的初步分析。据我们所知这是表明自适应非对称反馈信道比 DNN 中的随机和固定反馈信道更有效的首次研究尝试。

  用梯度下降算法训练的经典认知计算模型需要将基于准确的前馈神经元突触权重的误差信号反向传播这在生物学的神经系统中被认为是不可能的。另一方面长时程增强LTP被认为是生物学中记忆和认知科学中学习的基本要素。

  生物神经元由神经元突触连接包括轴突和树突其中轴突发射信号下一个神经元的树突则接收由轴突发射出的信号。然而轴突和树突被突触间隙分开轴突通过向突触间隙中释放离子来发送电脉冲离子则被树突细胞膜上的感受器捕获。结构如下图

  BioPP 架构中有两套信号前馈信号——信号在网络中正向传播应对推理任务错误信号——信号向后传播用于调节突触权重

  权重代表了认知计算模型决定从输入或相邻神经元中捕获的信号数量。应该指出认知计算模型采用的误差信号数量也是由其自身决定的。BioPP 会基于输入中的误差信号调整其自身的权重然后再将误差信号发送给其他神经元。

  激活和偏差的定义和用 BP 训练的标准 DNN 中的相关定义没有什么差别。

  BioPP 的架构如图 3 所示其中绿色的圈是神经元蓝色的曲线代表前向突触红色的曲线代表着后向突触。蓝色的方块和红色的方块分别是前向突触和后向突触的感知器。值得一提的是根据 BioPP 的定义权重是由感知器来调整的。

  在输入权重时误差信号不能被计算因为轴突势单向地传递神经信号

  基于内部或外部的误差信号神经元可以在本地学习其权重

  FA 和 DFA 都使用固定随机权重来传递误差信号以此训练神经网络。在 BioPP 中我们使得权重能够像一般输入权重那样具有自适应性。

  BDFA 的总体流程如图5 所示。BDFA 模型的总体思路是每个隐藏层单独计算损失并更新相应的、连接隐藏层和输入层的反馈权重矩阵。

  接下来研究者又分析了为什么应用于双向训练模型中的自适应反馈权重总体上说比固定反馈权重表现更好并证明了如果反馈权重可以更好地学习描写输入特征和输出特征训练的整体表现就会得到提升。之后研究者又对在基准数据集上在不同超参数设定的条件下 BFA 和 BDFA 的性能是否超过了 FA 和 DFA。

  在论文的最后研究者指出该研究是据他们所知的第一次研究尝试来论证在DNN 中自适应非对称反馈信道比随机固定信道要更有效。尽管现在还不清楚大脑是否实施了自适应反馈这一特殊形式该研究仍然朝着更好理解大脑如何支持从误差信号中学习这一方向迈出了重要的一步。

  zhzxlcc回复浪_沏沙: 所以应该怎么解决呢?求助~比如想用2张卡,命令行指定了之后,实际上只用了一张GPU...

本文链接:http://amcomideast.com/chuanbobi/210/