北京大学教授、智源研究员林宙辰团队针对普通卷积不能满足旋转等变性的问题，即输入图像旋转若干角度，其特征图也旋转相应角度，率先利用偏微分算子来表达等变卷积，得到了连续情形严格等变、离散化后等变误差可控的新型等变卷积，计算量和参数量都较现有等变卷积大幅度下降，其中计算量可降为50%，参数量可降为10%；首次把度规等变性引入注意力机制，得到适用于流形数据的Transformer，参数量可降为1/15；提出等变模型的统一框架，并将特征聚合运算进行解耦，解决了一般的等变卷积不区分空间位置和计算量大的问题，得到了参数量、计算量、数据量均高效的等变网络，其中参数量可降为56%、计算量可降为68%。针对稀疏正则化子不能有效适应数据的问题，团队受优化算法启发，通过临近算子转化为学习激活函数，很好地解决了这个问题。
（图片来源:学者提供）
