4月25日上午，应数学与统计学院邀请，上海大学徐姿教授做客“牧野格致”讲堂为学院师生作题为“Gradient Norm Regularization Second-Order Algorithms for Solving Nonconvex-Strongly Concave Minimax Problems”的学术讲座，学院相关研究方向师生参加此次讲座，裴永刚主持。
徐姿教授研究了求解非凸强凹极小极大问题的二阶算法，这些算法近年来在许多领域，特别是机器学习领域引起了广泛关注。徐姿教授提出了一种梯度范数正则化信赖域（GRTR）算法来解决非凸强凹极小极大问题，其中信赖域子问题在每次迭代中的目标函数使用Hessian矩阵的正则化版本，正则化系数和球约束半径与梯度范数的平方根成正比。所提出的GRTR算法获得$\mathcal{O}(\epsilon,\sqrt{\epsilon})$-二阶平稳点的迭代复杂度被证明是由$\tilde{\mathcal{O}}(\rho^{0.5}\kappa^{1.5}\epsilon^{-3/2})$所限定的，其中$\rho$和$\kappa$的Lipschitz常数和目标函数的条件数，这与求解非凸强凹极小极大问题的二阶方法的最佳已知迭代复杂度相匹配。徐姿教授进一步提出了一种具有梯度范数正则化系数的Levenberg-Marquardt算法，并使用负曲率方向来校正迭代方向（LMNegCur），该算法不需要在每次迭代时求解信赖域子问题。徐姿教授还证明了LMNegCur算法在$\tilde{\mathcal{O}}(\rho^{0.5}\kappa^{1.5}\epsilon^{-3/2})$ 迭代次数内实现了$\mathcal{O}(\epsilon,\sqrt{\epsilon})$-二阶驻点。数值结果表明了这两种算法的有效性。报告结束后，徐姿教授就与会师生提出的相关问题进行了详细的解答，并展开了深入的讨论与交流。
专家简介：
徐姿，上海大学理学院教授、博士生导师。主要研究方向是最优化理论与方法及在机器学习等领域中的应用，成果在Mathematical Programming，SIAM Journal on Optimization、Journal of Machine Learning Research、IEEE JSAC等国际著名期刊上发表论文 40余篇。主持国家自然科学基金项目4项和上海市自然基金项目1项。担任中国运筹学会数学规划分会常务理事、上海市运筹学会理事。现任Springer 旗下优化期刊J. Global Optim.客座编委（Guest Editor）；担任国际期刊 JORSC、PLOS One和Numerical Algebra, Control & Optimization编委。曾应邀赴美国明尼苏达大学、香港中文大学、香港理工大学等机构学术访问和交流。2020年获得中国运筹学会科学技术奖青年科技奖。2024年入选上海市东方英才计划拔尖项目。
（数学与统计学院 郭静邑）
最新通知