EN
2022年03月24日研究成果

深度稳定学习框架StableNet

崔鹏团队

       目前深度学习领域的研究取得了前所未有的进展,但大部分现有机器学习算法都依赖于训练数据和测试数据独立同分布的假设。当该假设不满足时,传统的机器学习模型在测试数据上的预测准确率和稳定性将会大幅降低。为了解决深度模型在分布偏移下的泛化问题,清华大学副教授、智源青年科学家崔鹏团队提出了深度稳定学习框架StableNet。StableNet利用随机傅立叶特征(RFF)将原始特征映射到高维空间中,学习一组样本权重对样本重加权,消除各维新特征间的线性相关性,进而保证原特征的各维严格独立。因此StableNet消除了特征间的依赖关系,使得模型可以学习到与目标类别具有因果关系、具有辨别力的特征。StableNet在多个分布泛化数据集上均取得了现有最优效果,并在国家战略领域实现重要应用。

9.png

(图片来源:学者论文)


分享到: