中国人民大学高瓴人工智能学院教授、智源学者窦志成等针对目前的大规模预训练语言模型仅仅依靠文本内容进行训练，忽略了互联网的结构信息，无法满足信息检索任务的需要等问题，提出融合互联网语料中大规模超链接与锚文本的预训练语言模型。实验表明利用互联网超链接中蕴含的结构和语义信息能够有效提升大模型的表达能力，提升信息检索排序任务的效果。
（图片来源：学者提供）
