每周论文24

本周论文:

  1. Curriculum Learning for Multi-Task Classification of Visual Attributes
  2. Highway Networks
  3. Deep Residual Learning for Image Recognition
  4. Gated Feedback Recurrent Neural Networks
  5. Densely Connected Convolutional Networks

[Curriculum Learning for Multi-Task Classification of Visual Attributes]

大致思路是:将数据分为两个task,先训练强相关的task,然后再训练弱相关的task。具体来说,对于visual attribute,先训练强相关label,然后再训练弱相关的label。

具体形式:

如何计算相关性:

top 50%是强相关的,剩下都是弱相关的。

我的理解是,似乎是将label给切分了:


[Highway Networks]

原先的普通layer:

为了能够训练很深的网络,改成:

也即增加两个仿射变换。其中T是transformer gate,而C是carry gate。这样能够有助于模型的优化。

简单起见:

在T中,可以设bias为负,也即一开始偏向carry的行为。


[Deep Residual Learning for Image Recognition]

本质是残差比直接学习x的变换更容易。对模型的优化更容易。

if an identity mapping were optimal, it would be easier to push the residual to zero than to fit an identity mapping by a stack of nonlinear layers

可否理解highway network是ResNet的进阶版?


[Gated Feedback Recurrent Neural Networks]

对于多层的RNN,第l层的time step为t的h,可以接收上一个time step的大于l层的也接收小于l层的hidden state。


[Densely Connected Convolutional Networks]

在一个block内,每层都连接到后面的层。

注意到,在连接形式上,resnet是相加:

而DenseNet则是concat:

这里的H是Bn-Relu-Conv。