中国人民大学高瓴人工智能学院教授、智源首席科学家文继荣带领团队研发了大规模图文预训练模型“文澜”。“文澜”不依赖人工标注的强语义相关的图文对数据，而是基于互联网上的海量图文对弱相关性数据进行训练；采用基于双塔结构的 BriVL 模型，在应用时也有明显的巨大效率优势；使用跨模态对比学习的同时引入了 Momentum 机制以及动态维护负样本队列，可以在相对较少的 GPU 资源下得到性能较好的预训练模型。在众多下游任务中（如跨模态检索和视觉问答），文澜都取得了最优的结果，显示了强大的跨模态理解能力和跨域知识迁移能力。
（图片来源：学者提供）
