新闻动态

2018年，中国超级计算机“神威·太湖之光”发布的第三年，也是中国进军高性能计算应用最高奖——“戈登·贝尔”奖的第三年。以清华大学领衔的研究团队研发出面向超大规模异构系统架构的新一代图计算系统“神图”工作入围ACM“戈登·贝尔”奖决赛，也是六篇决赛文章中唯一一个不在美国Summit超级计算机（2018年6月Top500排名超过“神威·太湖之光”成为第一）的结果。

大数据时代，数据的体量、复杂度，以及数据分析对于精度与速度的要求日新月异。以搜狗搜索引擎为例，中文网页的链接数高达12万亿，垃圾网页的准确识别和实时分析对搜索引擎体验提升日趋重要。超级计算机的卓越算力为开展这样重要的数据分析任务提供了契机，也为超算探索新兴应用领域创造了条件。

本次SC18大会的Gordon Bell Prize Finalist分会场，面向超大规模异构系统架构的新一代图计算系统“神图” 的作者林恒在现场答辩中，向大家详细介绍项目情况。

项研究由清华大学、北京费马科技有限公司、卡塔尔计算研究所、数学工程与先进计算国家实验室、苏黎世联邦理工学院、国家并行计算机工程技术研究中心、北京搜狗科技发展有限公司和国家超级计算无锡中心的联合研究团队完成。该工作基于“神威·太湖之光”，能够线性扩展到上千万核，首次实现了包含70万亿边的图的秒级分析，处理速度达到了1984 GPEPS（Giga Processed Edges Per Second），在高效求解非规则的超大规模稀疏问题上达到了一个新的里程碑。

在异构众核超级计算机上高效求解超大规模图计算问题需要“神图”应对三方面挑战：
 · 非规则计算问题在异构计算资源上的协同计算挑战。“神图”“扬长避短”，抽象多种关键图计算算法的计算流程，完成细粒度功能分解，实现面向申威众核处理器不同计算资源的最优映射。
 · 超大规模系统上的通信挑战。“神图”深度开发多层次的通信聚合和通信并发机会，以神威太湖之光的超节点为单位进行非规则大小的消息聚合，在超节点内利用内部高带宽进行解压和分发，从而最佳利用中央网络和超节点网络的通信带宽。
 · 图数据幂律分布的负载均衡挑战。“神图”“分而治之”高出度边（高出度顶点对应的边）、高入度边（高入度顶点对应的边）和正常边，既能将数据均匀地分布到各个节点，又避免了计算局部过热的问题。
融合上述方案，“神图”能够有效利用神威·太湖之光整机系统完成70万亿边的Kronecker合成图的快速分析，处理速度达到了1984GPEPS。在实际应用中，在12万亿条边的真实中文网页图上完成一轮PageRank算法仅需8.5秒（1443GPEPS），与文献中报道的业界最先进系统相比（如微软的GraM系统处理1.2万亿条边的合成图每轮PageRank迭代需要140秒），处理规模增加了一个数量级，而处理性能进一步提高超过一个数量级，实现了图计算节点规模、图数据规模、运行时间上的突破。

“神图”系统的研制成功，不仅扩展了国产超级计算机在大数据分析领域的应用能力，并且能够提供更加迅捷的实验、优化超大规模图算法的运算环境，为工业界大数据分析提供了有力技术支撑与系统保障。

  “神图”在不同数据规模的真实图和生成图上，均获得了卓越的性能。单位GPEPS（Giga Processed Edges Per Second）