近日,我室学生撰写的论文“Provably Convergent Federated Trilevel Learning”和“Robust Beamforming for Downlink Multi-Cell Systems: A Bilevel Optimization Perspective”被人工智能顶级会议 AAAI 2024 录用。
AAAI (AAAI Conference on Artificial Intelligence) 是人工智能领域最有影响的学术会议之一,该会议在中国计算机学会国际学术会议排名中为人工智能领域的A类会议。根据2023年谷歌学术发布的“工程和计算机科学”领域的学术会议与期刊影响力排名,AAAI 在该领域所有期刊和会议中影响力排名第14。
“Provably Convergent Federated Trilevel Learning”的第一作者为我室博士生焦阳,杨恺老师为该论文的第二作者和通讯作者,其他作者包括我室本科生吴天骋、博士生简程涛,和香港中文大学(深圳)协理副校长黄建伟教授。该论文讨论了如何分布式地求解机器学习中的三层优化问题。三层优化问题是由三个优化问题相互嵌套形成的一类多层次决策优化问题,其广泛应用于机器学习,供应链管理,能源系统优化,交通城市规划等许多领域。2008年,杨恺教授与合作者黄建伟教授在美国普林斯顿大学针对双层优化的一类特殊问题,鲁棒优化问题,首次提出了快速收敛的异步分布式算法,并且成功应用到无线网络的功率控制和智能电网的需量反应等一系列问题中。本论文将(双层)鲁棒优化的分布式解法进一步推广到三层优化,是第一个尝试通过异步分布式算法来求解三层优化问题的工作,该工作通过大量理论分析证明了所提出算法的迭代复杂度和通信复杂度。该算法可以为机器学习中的许多问题,如鲁棒大模型架构搜索,大模型微调等提供新的解决思路与理论参考。
“Robust Beamforming for Downlink Multi-Cell Systems: A Bilevel Optimization Perspective”的第一、第二作者分别为我室硕士生陈兴迪、熊宇,杨恺老师为该论文的第三作者和通讯作者。同济大学为该论文的唯一完成单位。1998年,贝尔实验室的G. J. Foschini和Michael J Gans发表了一篇开创性的论文,确立了多天线MIMO系统容量极限的理论基础,促进该技术在4G移动通信系统中得到广泛应用。2010年,同一实验室的Thomas L. Marzetta进一步通过理论证明展示了大规模MIMO系统的巨大潜力,这成为了5G移动通信技术的核心组成部分。分布式超大规模MIMO技术普遍认为是实现未来6G无线网络高速率、低延迟和高可靠性传输的可能核心技术之一。该论文考虑下行链路中多小区多用户并且存在信道估计误差的分布式多天线通信系统,旨在优化系统的波束赋形变量以达到最大化最差情况下的系统加权速率和,对提高有限信道反馈条件下通信系统的整体质量具有重要的现实意义。该工作进一步将问题建模成最大最小化形式的鲁棒优化问题,并且首次从双层优化的角度看待这一问题,给该领域的研究者提供了一种新的视角和思路。在此基础上,该论文提出了集中式和异步分布式算法,并且通过理论分析和仿真实验证明了提出算法的优越性。
杨恺老师实验室目前的研究领域为5G/6G智能自主无线网络、智能运维与物联网、机器学习,近期聚焦于这些领域的异常检测、因果分析与分布式优化问题。