天之家IT资讯平台

　　百度又有“大行动”?9月18日，百度正式发布在图神经网络规模取得新打破，提出融合标签通报和图神经网络的统一模子UniMP(Unified Message Passing)，在图神经网络权威榜单OGB(Open Graph Benchmark)取得多项榜首，激发业界存眷。

　　Leaderboard for ogbn-products

　　Leaderboard for ogbn-proteins

　　Leaderboard for ogbn-arxiv

　　图神经网络最权威榜单OGB

　　图神经网络是用于图布局数据的深度进修架构，将端到端进修与归纳推理相团结，有望办理传统深度进修无法处理惩罚的因果推理、可表明性等问题，长短常有潜力的人工智能研究偏向。可是，这个规模一直缺乏局限较量大且承认度较高的数据集。今朝大量的论文仍然在Cora、PubMed、Citeseer等小数据集长举办尝试，尝试的结果也没有普适性。在此环境下，OGB(Open Graph Benchmark)应运而生：

　　权威性高：OGB是由斯坦福大学图神经网络权威Jure Leskovec传授团队成立的大局限图进修任务的评测基准数据集，指导委员会包括Yoshua Bengio、Will Hamilton、Max Welling等业界大牛。Jure Leskovec传授在NeurlPS 2019大会的演讲中正式对外宣布OGB并开源，是今朝公认最权威的图进修相关基准测试数据集。

　　数据富厚：OGB面向差异的图进修任务(包罗节点分类，边预测，图分类)别离提供了多个数据集，如学术引用网络、常识图谱、分子图、生物网络等。个中最热门的三个半监视节点分类数据集：商品推荐ogbn-products、论文引用ogbn-arxiv和化学分子ogbn-proteins，对图神经网络研究者有极强的吸引力。

　　夺榜剧烈：OGB吸引了包罗斯坦福、纽约大学、加州大学洛杉矶分校、康奈尔大学、亚马逊等多个机构参加打榜;榜单上也降生了层出不穷的新颖图神经网络布局，如会萃112层的深度图卷积网络DeeperGCN，颁发在ICML 2020的多层图网络GCNII，尚有多种形式差异的图采样算法。

　　克日，百度PGL团队创新提出统一动静通报图神经网络模子UniMP，在三泰半监视节点分类数据集均荣登榜首。榜单上放出的开源代码与论文地点如下：

　　UniMP开源代码地点：https://github.com/PaddlePaddle/PGL/tree/main/ogb_examples/nodeproppred/unimp

　　UniMP论文地点：https://arxiv.org/pdf/2009.03509.pdf

　　UniMP：统一动静通报模子

　　在半监视图节点分类场景下，节点之间通过边相毗连，部门节点被打上标签。任务要求模子通过监视进修的方法，拟合被标注节点数据，并对未标注的节点举办预测。如下图所示，在一般呆板进修的问题上，已标注的练习数据在新数据的揣度上，并不能发挥直接的浸染，因为数据的输入是独立的。然而在图神经网络的场景下，已有的标注数据可以从节点与节点的毗连中，按照图布局干系推广到新的未标注数据中。

　　一般应用于半监视节点分类的算法分为图神经网络和标签通报算法两类，它们都是通过动静通报的方法(前者通报特征、后者通报标签)举办节点标签的进修和预测。个中经典标签通报算法如LPA，只思量了将标签在图长举办通报，而图神经网络算法大多也只是利用了节点特征以及图的链接信息举办分类。可是纯真思量标签通报可能节点特征都是不敷够的。

　　百度PGL团队提出的统一动静通报模子 UniMP，将上述两种动静统一到框架中，同时实现了节点的特征与标签通报，显著晋升了模子的泛化结果。 UniMP以Graph Transformer模子作为基本骨架，连系利用标签嵌入要领，将节点特征和部门节点标签同时输入至模子中，从而实现了节点特征和标签的同时通报。

　　简朴的插手标签信息会带来标签泄漏的问题，即标签信息等于特征又是练习方针。实际上，标签大部门是有顺序的，譬喻在引用网络中，论文是凭据时间先后顺序呈现的，其标签也应该有必然的先后顺序。在无法得知练习集标签顺序的环境下，UniMP提出了标签掩码进修要领。UniMP每一次随机将必然量的节点标签掩码为未知，用部门已有的标注信息、图布局信息以及节点特征来还原练习数据的标签。最终，UniMP在OGB上取得SOTA结果，并在论文的消融尝试上，验证了要领的有效性。

　　屠榜背后：飞桨图进修框架PGL加持