情感理解是机器实现智能不可或缺的重要能力。情感监督数据存在难以收集和标注困难的问题，导致了目前情感监督数据的匮乏，这也限制了情感理解领域的发展。因此，如何构建高质量的多模态情感监督数据集以及利用大规模无监督的多模态数据进行大规模情感相关预训练成为了值得研究的课题。首先，本研究在构建高质量的多模态情感监督数据集方面，对构建流程中的数据来源、数据质量、标注质量等制定明确的规范，构建了一个大规模的多模态、多场景、多标签的中文多模态情感对话数据集，进而通过大量实验对数据集的有效性进行充分验证。此外，本研究还提出了基于大规模无监督数据和自监督预训练的无监督多模态情感特征学习方法，并构建了首个大规模多模态情感预训练模型MEmoBERT。同时，本研究在多个多模态情感识别任务上进行了全面的实验分析，分别从准确性、鲁棒性以及泛化性等多个方面对MEmoBERT进行了充分的验证，并取得了前沿的实验结论。本研究构建的大规模高质量的数据集以及大规模多模态情感预训练模型都得到了业内的广泛认可，并分别发表在 ACL 2022 和 ICASSP 2022。
