Recurrent Neural Network for Text Classification with Multi-Task Learning

本文基于 RNN 循环神经网络，提出三种不同的信息共享机制，整体网络是基于所有的任务共同学习得到。

什么是多任务学习

在先前的许多工作中，模型的学习都是基于单任务，对于复杂的问题，也可以分解为简单且相互独立的子问题来单独解决，然后再合并结果，得到最初复杂问题的结果。这样做看似合理，其实是不正确的，因为现实世界中很多问题不能分解为一个一个独立的子问题，即使可以分解，各个子问题之间也是相互关联的，通过一些共享因素或「共享表示（share representation）」 联系在一起。把现实问题当做一个个独立的单任务处理，往往会忽略了问题之间所富含的丰富的关联信息。

上面的问题引出了本文的重点——「多任务学习（Multi-task learning）」，把多个相关（related）的任务（task）放在一起学习。多个任务之间共享一些因素，它们可以在学习过程中，共享它们所学到的信息，这是单任务学习没有具备的。相关联的多任务学习比单任务学习能去的更好的泛化（generalization）效果。

下图展示的是单任务学习和多任务学习的流程图

三种不同的信息共享机制

下面具体介绍一下文章中的三个模型

在他们提出的第一个模型中，不同的任务共享一个LSTM网络层和一个embedding layer，此外每个任务还有其自己的embedding layer。所以对于上图中的任务m，输入x包括了两个部分：

其中等号右侧第一项和第二项分别表示该任务「特有」的word embedding和该模型中「共享」的word embedding，两者做一个concatenation。

LSTM网络层是所有任务所共享的，对于任务m的最后sequence representation为LSTM的输出：

在第二个模型中，为每个任务都指定了「特定」的LSTM layer，但是不同任务间的LSTM layer可以共享信息。

为了更好地控制在不同LSTM layer之间的信息流动，作者提出了一个global gating unit，使得模型具有决定信息流动程度的能力。

为此，他们改写了LSTM中的表达式：