提到一阶加速算法,或许绝大多数人都没怎么听说过;可说起引发这一轮人工智能(AI)浪潮的机器学习,可谓家喻户晓。而一阶加速算法正是机器学习兴起背后的根本算法之一。
今天(9月14日)在沪揭晓的2023年世界顶尖科学家协会奖“智能科学或数学奖”颁给了引发“一阶算法革命”的两位俄裔数学家——阿尔卡迪·涅米罗夫斯基博士与尤里·涅斯捷罗夫博士,以表彰他们在凸优化理论方面的一系列开创性工作。
优化理论广泛影响世界
俗话说,人生不如意之事十之八九。每当人们想达成某个目标时,通常都会遇到各种限制。如何用最优的方式平衡理想与现实,寻找实现目标的“最优解”,就成了应用数学的一个重要科学问题,优化理论也应运而生。
过去30年,优化理论已发展成为一个对数学以外的领域产生最重大影响的学科,在控制系统、经济学、机器学习、航空航天、工业4.0、5G网络动态调整、云调度和金融等领域得到广泛应用,为这些领域的实用算法设计和实际应用提供了概念基础和原理依据。
上海财经大学教授江波告诉记者,“一阶加速算法”是教科书上的提法,顶科协奖获奖理由中提到的加速梯度法又被称为“涅斯捷罗夫最优一阶算法”。
40年前,优化理论处于一片混沌,各种复杂算法让人莫衷一是。当时,正处于年富力强阶段的两位俄裔数学家做出了一项里程碑式的工作——发展内点法理论,提出自协调性,将数百个具有复杂证明和彼此间无关联的复杂算法,描述成一个简单而优雅的统一框架。他们的系列研究工作极具洞察力并富有成效,为解决各类问题提供了一系列基准速率和实现这些速率的优化算法。
“其实,当他们完成这一凸优化理论的变革时,并没有意识到这项工作会在机器学习和深度学习中产生如此深远的影响。”华东师范大学计算机科学与技术学院副教授王祥丰说,2009年,在涅斯捷罗夫获得全球运筹学最高奖“冯诺依曼奖”时,这项工作并未出现在获奖理由中。
然而,基础科学的魅力正在于此。两位科学家的研究所引发的“一阶算法革命”,使得优化算法得以应用于现代应用中的大规模问题,并推动了新计算平台的发展,以支持这些算法。
由于凸优化的研究属于应用数学而非纯数学,所以这两位数学家注定与菲尔兹奖无缘,诺贝尔奖同样也没有对应的奖项设置。此次获得顶科协奖,两位俄罗斯数学家都相当欣喜,甚至有些不敢相信。
数学大师异常聪明低调
英语演讲带着浓郁的俄罗斯口音,为人低调,甚至不太与人接触,是阿尔卡迪·涅米罗夫斯基与尤里·涅斯捷罗夫给同行的共同印象。
两位获奖者的主要数学训练都在苏联高校中完成,苏联解体后,涅米罗夫斯基前往美国佐治亚理工学院供职,而涅斯捷罗夫则前往比利时。
彼时,有国内同行在欧洲学术会议上遇到涅斯捷罗夫。会后一起聚会聊天时,他们发现涅斯捷罗夫可谓聪明绝顶,有些问题刚出现在其他学者的脑海中,而这位“大神”已经有过深思熟虑。
涅米罗夫斯基出生于俄罗斯莫斯科,曾就读于莫斯科国立大学机械与数学学院数学专业。在50多年的职业生涯中,他与人合作撰写了6部研究专著和150多篇论文。
江波回忆,自己博士阶段曾在导师组织下,花了整整一个暑假,与同学一起将涅米罗夫斯基撰写的《现代凸优化讲义》认真“啃”了下来。“很少有写给博士生的教材,在后面附有这么多高难度的习题,还没有答案。”他的一位师兄甚至将所有笔记和答案精心整理并装订成册,直到出国前才郑重送给同事。
算法持续进阶优化更高效
据爱思唯尔昨天发布的统计数据,阿尔卡迪·涅米罗夫斯基教授参与发表了107篇国际可见论文,这些论文影响了后续1万余篇论文的进展,累计被引用超过1.5万次。尤里·涅斯捷罗夫教授参与发表了145篇国际可见论文,这些论文影响了后续7600余篇论文的进展,累计被引用超过1万次。
两位教授关于凸优化理论的贡献促进了运筹学、图像处理、信号处理、工程和金融等领域的研究。他们的研究影响了计算机、数学、工程和决策科学等多学科的研究进展,受到了美国、中国、法国、德国和英国等国科学家的关注。
凸优化理论对世界的影响,绝不是完成时,也不止进行时。有学者透露,美国太空探索技术公司(SpaceX)的火箭着陆回收之所以成功率大增,就是因为控制程序中的凸优化算法经过了大量提升。近年来,涅斯捷罗夫教授正在研究高阶算法的高效版本。目前,一些正在实施的三阶算法已成为优化领域最高效的方法。
作者:许琦敏
图片:WLA Prize提供
责任编辑:任荃
*文汇独家稿件,转载请注明出处。