EN
2022年03月24日研究成果

随机半光滑牛顿算法

文再文团队

北京大学长聘副教授、智源研究员文再文团队系统发展了自适应半光滑牛顿算法。虽然这些方程组是不可微的,但它们是半光滑的。对于大规模随机优化问题,研究团队结合半光滑牛顿法和近似点梯度法,对光滑函数部分的梯度和海瑟矩阵进行抽样,首次发展了非光滑优化的随机半光滑牛顿法,设计了测试牛顿步是否接受的全局策略,从而保证了算法的全局收敛性;证明了当迭代点靠近最优点时,牛顿步总能被接受,以很高概率具有R-线性或R-超线性收敛速度。此外团队用归一化梯度修正搜索方向改进了一阶优化算法。

9.jpg

(图表来源:学者提供)


分享到: