光華講壇——社會名流與企業(yè)家論壇第6721期

主 題：Deep Over-parameterized Smoothing Quantile Regression深度過參數(shù)化平滑分位數(shù)回歸

主講人：上海財經(jīng)大學(xué) 馮興東教授

主持人：統(tǒng)計學(xué)院 林華珍教授

時間：1月22日 13:00-14:00

舉辦地點：柳林校區(qū)弘遠樓408會議室

主辦單位：統(tǒng)計研究中心和統(tǒng)計學(xué)院 科研處

主講人簡介：

馮興東，博士畢業(yè)于美國伊利諾伊大學(xué)香檳分校，現(xiàn)任上海財經(jīng)大學(xué)統(tǒng)計與管理學(xué)院院長、統(tǒng)計學(xué)教授、博士生導(dǎo)師。研究領(lǐng)域為數(shù)據(jù)降維、穩(wěn)健方法、分位數(shù)回歸以及在經(jīng)濟問題中的應(yīng)用、大數(shù)據(jù)統(tǒng)計計算、強化學(xué)習(xí)等，在國際頂級統(tǒng)計學(xué)/計量經(jīng)濟學(xué)期刊JASA、AoS、JRSSB、Biometrika、JoE以及人工智能期刊/頂會JMLR、NeurIPS上發(fā)表論文多篇。2018年入選國際統(tǒng)計學(xué)會推選會員(Elected member)，2019年擔(dān)任全國青年統(tǒng)計學(xué)家協(xié)會副會長以及全國統(tǒng)計教材編審委員會第七屆委員會專業(yè)委員（數(shù)據(jù)科學(xué)與大數(shù)據(jù)應(yīng)用組），2020年擔(dān)任第八屆國務(wù)院學(xué)科評議組（統(tǒng)計學(xué)）成員，2022年擔(dān)任全國應(yīng)用統(tǒng)計專業(yè)碩士教指委委員，2023年擔(dān)任全國工業(yè)統(tǒng)計學(xué)教學(xué)研究會副會長以及中國數(shù)學(xué)會概率統(tǒng)計分會常務(wù)理事，2022年起兼任國際統(tǒng)計學(xué)權(quán)威期刊Annals of Applied Statistics和Statistica Sinica編委（Associate Editor）以及國內(nèi)統(tǒng)計學(xué)權(quán)威期刊《統(tǒng)計研究》編委。

內(nèi)容簡介：

In this work, we provide a rigorous statistical guarantee (oracle inequalities) for deep nonparametric smoothing quantile regression utilizing over-parameterized ReLU neural networks. Taking into account the weight norm control of neural networks, we derive these oracle inequalities by balancing the trade-off between the approximation and statistical (generalization) errors. We establish a novel result regarding the approximation capabilities of over-parameterized ReLU neural networks for H?lder functions. Furthermore, we demonstrate the attainment of a statistical error that is independent of the network size, which is a notable advantage. Importantly, our findings indicate that the curse of dimensionality can be effectively mitigated if data are supported on a low-dimensional Riemannian Manifold.

在這項工作中，主講人利用超參數(shù)化ReLU神經(jīng)網(wǎng)絡(luò)為深度非參數(shù)平滑分位數(shù)回歸提供了嚴格的統(tǒng)計保證(oracle不等式)。考慮到神經(jīng)網(wǎng)絡(luò)的權(quán)范數(shù)控制，主講人通過平衡近似誤差和統(tǒng)計(泛化)誤差來推導(dǎo)這些oracle不等式，并就過參數(shù)化ReLU神經(jīng)網(wǎng)絡(luò)對H?lder函數(shù)的逼近能力建立了一個新的結(jié)果。此外，主講人成果的其中一個顯著優(yōu)勢是證明了統(tǒng)計誤差的實現(xiàn)與網(wǎng)絡(luò)規(guī)模無關(guān)。重要的是，研究結(jié)果表明，如果在低維黎曼流形上得到支持數(shù)據(jù)，可以有效地減輕維數(shù)災(zāi)難。