京东集团副总裁、智源研究员何晓冬博士联合京东研究人员提出了一种基于多视角的机器阅读理解模型，显著地提高了针对长文本的阅读理解能力。大规模预训练语言模型在多个自然语言处理任务上取得了显著的成果，但其往往受限于编码长度（例如，BERT只能一次性编码512个WordPiece字符），无法有效地应用于长文本理解任务。对此，该工作提出了一种从局部视角到全局视角的重复阅读方法（Read-over-Read，RoR），首先将一段长文本切割为多个文本片段，RoR的局部阅读器会为每个文本片段预测出一组局部答案，这些答案会被组装为一个新的文本，作为原始长文本的压缩版本。全局阅读器会再次从压缩文本中预测出全局答案。最终，RoR基于这些局部和全局答案，通过融合策略得出最终的答案。RoR模型在两个长文本机器阅读理解标准数据集QuAC （文本平均长度超700个字符）和TriviaQA（平均长度超11,000个字符）上进行了验证，实验结果表明，RoR可以有效地提高预训练语言模型在长文本阅读理解任务上的性能，在QuAC（https://quac.ai/）的公开榜单上获得第一名的成绩（截止2021年11月）。
图.RoR模型框架图（图片来源：学者提供）
