特邀中国空间技术研究院钱学森空间技术实验室向雪霜作学术报告

发布者:王文婧发布时间:2021-11-02浏览次数:10

报告题目面向低带宽场景的分布式学习方法

报告人向雪霜 副研究员、高级工程师

报告时间2021112日(星期晚上7:00-8:00  

报告地址腾讯会议997 904 665

主持人吕广迎教授

报告摘要:随着深度神经网络复杂度和数据集规模的快速增长,使用多个计算节点,进行分布式训练,以加快训练速度,打破存储限制,成为当前解决大规模深度学习问题的主流。在节点之间的连接为低带宽网络的场景中,需要一种方法来提高带宽利用效率,加快各节点同步网络权值的速度,以使得分布式学习能达到实际应用的要求。本报告在总结相关研究的基础上,提出了一种基于随机权值传输的低带宽分布式学习方法。该方法在每次同步的过程中,仅随机抽取网络中部分位置的权值进行传输,从而降低了需要传输的数据量。从理论上证明了该方法的收敛性,并通过蒙特卡洛实验进行了验证。由于在压缩数据传输量过程中,存在随机权值选择、数据编解码、网络传输、权值合并等多个环节,对这些环节进行了针对性优化,详细分析了所消耗时间的相对比例,以及在不同情境下的加速比。在CIFRA-10ImageNet数据集上对所提出的方法进行了验证,结果表明在低带宽场景下,该方法能够在实现训练收敛的基础上,对训练速度进行显著的提升。

报告人简介向雪霜,副研究员、高级工程师,中国空间技术研究院钱学森空间技术实验室智能信息研究室负责人,中国工业与应用数学学会数学与航天交叉学科专业委员会副秘书长。2009年本科毕业于武汉大学,2014年硕博连读毕业于中科院数学与系统科学研究院,2015-2016年于新加坡国立大学从事博士后研究。主要从事计算数学、人工智能及其在航天领域的交叉科学研究,围绕高频波动方程数值模拟、多源融合感知与认知、深度学习安全与对抗等理论及空间应用方向,创新提出了波源转移区域分解、基于桥神经网络的光学SAR融合解译、基于对抗样本的频谱智能对抗等理论和方法,以第一或通讯作者在国际高水平期刊/会议上发表论文30余篇,代表性理论研究成果发表在计算数学、人工智能领域著名刊物SINUMSISCNUMER MATHMATH COMPUTIPCiCPTIPAAAIICME,提出的波源转移区域分解算法受到计算数学领域广泛关注(被引近百次),代表性交叉研究成果发表在Nature旗下物理学子刊Communications Physics、首届国际数学科学机器学习大会MSML、通信领域国际顶级会议URSI GASS,带领团队在第四届中科星图杯高分遥感图像解译软件大赛国际赛道SAR舰船检测获优胜奖,荣获2018年度院级技术创新先进个人、2018/2021年院级杰出青年基金,入选2019年北京市科技新星人才计划。

欢迎广大师生踊跃参加!

南京信息工程大学亚博网页版

2021112