EN
2022年03月24日研究成果

变分流模型

朱军团队

        清华大学教授、智源首席科学家朱军团队针对已有的标准化流模型维度限制问题,提出的变分流模型(VFlow),将数据与其对应的隐变量进行合并,得到几倍于数据维度的增广数据,使流模型建模数据与隐变量的联合分布,并采用变分推断的方法最大化数据似然的下界。理论分析表明,在同样的网络结构下,假设优化算法可以优化到最优解,尽管VFlow只优化似然的下界,但VFlow建模的数据似然的下界依然大于等于原有流模型建模的数据似然,因此VFlow建模的数据似然也大于等于原有流模型建模的数据似然。这表明,在优化算法足够强大的前提下,基于变分推断的VFlow的表达能力不会弱于同结构的原有流模型。下图显示了同样结构的2维Glow与3维VGlow在模拟数据下的差异,可以发现变分流模型由于将数据增广到更高维度,其特征空间(如 ϵ 所示)的表达能力更强,更易于学习多模态的数据分布。

1.jpg

变分流模型的结果示意图(图片来源:学者提供)


分享到: