Multi-Hop机制（一）

在阅读理解任务中，比较重要的三点：

一、预训练模型

二、双向attention

三、Multi-Hop机制

预训练模型现在基本是阅读理解任务的基座，能够较好地提取语义语法特征；双向attention基于阅读理解的输入来自query和passage两个方向的特点，能够将query和passage相互融合地更好；Multi-Hop的思想是来自于人的re-read做法--带着问题反复的读文章，从而更准确找到答案，而在阅读理解中就是反复的attention机制。

接下来从几个阅读理解模型，来介绍Multi-Hop机制的第一种形式--从第三方维度来记录attention。

(Iterative alternating neural attention for machine reading)

(Gated-Attention Readers for Text Comprehension)

实现思路：分别将query和document embedding后，经过双向GRU编码，用query的输出状态反复与document的输出attetion，作为下一层GRU的输入。

实现思路：将document和query分别进行双向LSTM编码，然后将二者分别进行alternative attention，将输出再重复一次双向LSTM编码和alternative attention，最终将每步输出维度与document保持一致的向量都concat起来，最终塞入一个双向LSTM。

上述模型都属于Multi-Hop机制三种形式中的第一种，都是按照第三方维度将document和query重复多次attention，DCN+比较特殊，只有两次coattention。