每周论文9

1️⃣[Sentence-State LSTM for Text Representation]

提出一种新型的encode句子的方法。有点类似gather-distribute的想法。

每个时间步t所有的h一起更新。更新方式是与其左右的点进行交互,同时与一个global representation进行交互。这样即考虑了local的信息也考虑了global的信息。每次更新都增加了信息交互,从3gram到5gram再到7gram…

具体来说:
①如何求$h_i$

从公式可以看出,对于一个特定的$h_i$,同时考虑左右两点,以及global信息$g$,以及输入$x$。

②如何求g

通过average同时考虑所有的词,同时考虑自己上一个状态。