报告主题：NeutronStar: Distributed GNN Training with Hybrid Dependency Management

报 告 人：张岩峰

报告时间：2022年11月15日 19:00-21:00

报告网址：#腾讯会议：908-871-750

报告摘要：

  图神经网络（Graph Neural Networks，GNN）将深度学习的学习能力和图结构的关联关系抽象能力结合起来，可以更好地利用网络结构进行精细建模和深度推理，成为人工智能领域的研究热点和各大企业未来布局的关键技术。由于GNN训练所涉及的计算复杂度非常高，加之社交网络、金融网络等真实图数据规模非常庞大，所以GNN训练非常耗时，急需支持分布式GNN训练的系统软件来支撑大规模图的GNN训练。分布式图神经网络（GNN）的训练需要解决顶点依赖的问题，即每个顶点表示representation的更新依赖于它邻居顶点的表示representation。现有的分布式 GNN 系统要么采用依赖缓存的方法，要么采用依赖通信的方法。通过深入的实验和分析，我们发现选择其中某一种方法都无法获得最优的性能，它由一系列因素决定，包括输入图数据的特点、模型配置和底层计算集群环境等。如果仅选择一种方法支持，性能通常不是最优的。我们提出了一种混合依赖处理方法，它在运行时自适应地利用这两种方法的优点。基于该混合方法，我们开发了一个分布式 GNN 训练系统NeutronStar ，通过 CPU-GPU 异构计算和数据通信方面的优化，提升训练速度。我们在 16 节点阿里云集群上的实验结果表明，NeutronStar 比现有的 GNN 系统（包括 DistDGL 和 ROC）实现了 1.81X-14.25X 的加速。

报告人简介：

  张岩峰，东北大学教授，博士生导师，东北大学与美国麻省州立大学联合培养博士，CCF高级会员，数据库专委会委员。研究方向为分布式图计算系统、分布式数据库系统。承担国家自然科学基金、国家重点研发计划子课题、辽宁省重点研发计划等多项国家和省部级科研项目，承担CCF-华为数据库创新研究计划、阿里巴巴达摩院创新研究计划、华为中央研究院项目等校企合作项目。在SIGMOD、VLDB、ICDE、PPoPP、SOCC、《TPDS》、《TKDE》等国际重要期刊会议上发表论文50余篇。曾获华为年度优秀项目奖、云计算顶级国际会议ACM SOCC优秀论文奖、全国数据库学术会议NDBC最佳论文奖、CCF大数据学术会议最佳学生论文奖、APWEB-WAIM最佳学生论文提名奖、辽宁省科技进步奖等奖励。