光華講壇——社會名流與企業家論壇第6475期

主題：求解Lq范數范數復合優化問題的一個正則化牛頓方法 A regularized Newton method for $\ell_q$-norm composite optimization problems

主講人：香港理工大學應用數學系 楊曉琪教授

主持人：數學學院 孟開文副教授

時間：4月1日 16:00-17:00

地點：柳林校區通博樓B412會議室

主辦單位：數學學院 科研處

主講人簡介：

楊曉琪，香港理工大學應用數學系教授，1982年重慶建筑大學獲數學學士學位，1987年中國科學學院運籌與最優控制方向獲碩士學位，1994年新南威爾士大學獲博士學位，1999年入職香港理工大學應用數學系擔任助理教授，2002年榮升副教授，2005年榮升教授。楊教授的研究興趣包括非光滑分析，向量優化以及金融優化，合作撰寫3部專著，發表兩百多篇學術論文，是JOTA等刊物的聯系編委，在諸如MS,OR, MP, SIAM OPT等高水平期刊上發表多篇學術論文。

內容提要：

In this talk we are concerned with $\ell_q\,(0<q<1)$-norm regularized minimization problems with a twice continuously differentiable loss function. For this class of nonconvex and nonsmooth composite problems, many algorithms have been proposed to solve them and most of which are of the first-order type. We propose a hybrid of proximal gradient method and subspace regularized Newton method, named HpgSRN. The whole iterate sequence produced by HpgSRN is proved to have a finite length and converge to an $L$-type stationary point under a mild curve-ratio condition and the Kurdyka-{\L}ojasiewicz property of the cost function, which does linearly if further a Kurdyka-{\L}ojasiewicz property of exponent $1/2$ holds. Moreover, a superlinear convergence rate for the iterate sequence is also achieved under an additional local error bound condition. Our convergence results do not require the isolatedness and strict local minimality properties of the $L$-stationary point. Numerical comparisons with ZeroFPR, a hybrid of proximal gradient method and quasi-Newton method for the forward-backward envelope of the cost function, proposed in [A. Themelis, L. Stella, and P. Patrinos, {\em SIAM J. Optim., } 28(2018), pp. 2274-2303] for the $\ell_q$-norm regularized linear and logistic regressions on real data indicate that HpgSRN not only requires much less computing time but also yields comparable even better sparsities and objective function values.

在該報告中，我們關注二次連續可微損失函數的Lq(0<q<1)范數正則化問題。針對這類非凸且非光滑的復合問題，現有文獻已經提出了許多算法來解決，其中大部分都是一階算法。對于這類模型，我們提出了一種混合鄰近梯度法和子空間正則化牛頓法的新方法。在一個曲率條件和目標函數的Kurdyka-Lojasiewicz性質下，我們證明了該算法產生的迭代序列是一個柯西列，且收斂到一個L-型穩定點。如果進一步假設目標函數滿足指數為1/2的Kurdyka-Lojasiewicz性質，則收斂速度是線性的。此外，在額外的局部誤差界條件下，我們證明了迭代序列具有超線性收斂速率。我們的收斂結果并不需要L-型穩定點的孤立性和嚴格局部最小性質。在數值實驗中，與兩類常用的算法比較中顯示，我們提出的混合算法不僅需要更少的計算時間，而且還產生了相當甚至更好的稀疏性和目標函數值的解。