147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开

2020-06-03 05:44:49

机械之心报道

介入：张倩、蛋酱、魔王 [转载出处：www.11jj.com]

继图卷积收集作者 Thomas Kipf 晒出博士论文之后，图留意力收集的一作 Petar Veličković接过了接力棒，也在 Twitter 上晒出了自己的博士论文。这些大神是约好了吗？
[好文分享：www.11jj.com]

在一项针对 2019 年到 2020 年各大顶会论文关键词的统计中，「图神经收集」的增进速度位列榜首，成为上升最快的话题。

在图神经收集展现之前，尽管深度进修已经在欧几里得数据中取得了很大的成功，但从非欧几里得域生成的数据获得了更遍及的应用，它们也需要有效的理会，由此催生了图神经收集。

图神经收集最初由 Franco Scarselli 和 Marco Gori 等人提出，在之后的十几年里被络续扩展，先后成长出了图卷积收集（Graph Convolution Networks，GCN）、图留意力收集（Graph Attention Networks）、图自编码器（ Graph Autoencoders）、图生成收集（ Graph Generative Networks）和图时空收集（Graph Spatial-temporal Networks）等多个子领域。

每个子领域都有一些垦荒者，比如前文提到的 Thomas Kipf，他和 Max Welling 一路垦荒了图卷积收集。而今天这篇博士论文的作者 Petar Veličković是图留意力收集的一作，他和 Guillem Cucurull、Yoshua Bengio 等人一路完成了图留意力收集的开山之作——《Graph Attention Networks》，这篇论文被 ICLR 2018 领受。发布两年后，该论文被引量已跨越 1300。

147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开

Petar Veličković现在是 DeepMind 的研究科学家。他于 2019 年从剑桥大学获得角力机科学博士学位，导师为 Pietro Liò。他的研究倾向包括：设计在复杂组织数据上运行的神经收集架构（如图收集），及其在算法推理和角力生物学方面的应用。除了图留意力收集，他照样《Deep Graph Infomax》的一作。在这篇论文中，他和 William Fedus、Yoshua Bengio 等人提出了以无看管体式进修图组织数据中节点透露的通用体式，该论文被 ICLR 2019 领受。

Petar Veličković的博士论文去年就已经完成，只是比来才跟人人分享。这篇论文的问题是《The resurgence of structure in deep neural networks》，共计 147 页，涵盖了 Petar Veličković的上述经典工作和其他关于图神经收集的内容，非常值得一读。

147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开

论文链接：https://www.repository.cam.ac.uk/handle/1810/292230

机械之心对该论文的核心内容进行了简要介绍，感情趣的读者可以阅读原论文。

摘要

深度进修授予了模型直接从原始输入数据进修复杂特征的能力，完全去除了手工设计的 “硬编码” 特征提取措施。这使得深度进修在角力机视觉、自然说话处理、强化进修、生成建模等之前互不相关的多个领域实现了 SOTA 机能。这些成功都离不开大量标注演习数据（「大数据」），这些数据具备简练的网格状组织（如文本、图像），可经由卷积或轮回层加以行使。这是因为神经收集中存在大量的自由度，但同时也导致其泛化能力很随意受到过拟合等成分的影响。

然而，还有多少领域不适合大量收集数据（成本高昂或本身数据就很少）。而且，数据的组织组织常日加倍复杂，多数现有的体式爽性舍弃这些组织。这类义务在生物医学领域对照常见。Petar 在论文中假设，若是想要在这种情形下完全施展深度进修的潜力，我们就需要从新考虑「硬编码」体式——将关于输入数据固有组织的假设经由组织归纳偏置直接合并到架构和进修算法中。

在这篇论文中，作者经由斥地三种 structure‐infused 神经收集架构（在稀少多模态和图组织数据上运行）和一种 structure‐informed 图神经收集进修算法来直接验证该假设，并展示了传统基线模型和算法的卓越机能。

从新引入组织归纳偏置

这篇文章的首要供献是，缓解了在有额外组织信息可供行使的义务中或许展现的上述问题。行使关于数据的额外常识的一种常见体式是对模型应用适当的归纳偏置。

常日来讲，给定特定的机械进修设置，我们可以为该进修问题找到一个或许解的空间，该空间中的解都具备「不错」的机能。但一般来说，归纳偏置鼓励进修算法优先考虑具有某些属性的解。虽然有多少体式可以编码这些偏置，但作者将目光聚焦于将组织性假设直接合并到进修架构或算法中。这可以看作一种「meet‐in‐the‐middle」体式，即将经典的符号人工智能与当前的深度架构相融合。

经由直接编码数据中展现的组织归纳偏置，作者使模型加倍数据高效，实现了瞻望能力的飞跃——尤其是在较小的演习数据集上。作者透露，这些并不是孤立的功能，而是代表了机械进修社区近期取得的一大进展。

研究问题与供献

作者在论文中介绍了自己重点研究的三个问题，以及针对这三个问题所作的具体供献，如下图 1.3 所示。

147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开

图 1.3：论文首要供献概览。

首先，他提出了两种具备专门组织归纳偏置的模型，用于多模态进修的早期融合。一种是网格组织输入模态（X‐CNN），另一种是序列输入模态（X‐LSTM）。

接下来，他概述了图卷积层的希望组织归纳偏置，并首次表明这在图留意力收集中可以获得同时知足。

最后，作者提出经由 Deep Graph Infomax 算法，将局部互信息最大化作为图组织输入的无看管进修方针，从而引入非常强大的组织归纳偏置，连络图卷积编码器来进修节点表征。

问题一

Q1：研究用于多模态神经收集早期融合的可行候选层，并评估它们在难题进修情形下的实际可安置性和优势，稀奇是当输入数据稀少或不完整时。

在该论文第三章和《X-CNN: Cross-modal convolutional neural networks for sparse datasets》、《Cross-modal Recurrent Models for Weight Objective Prediction from Multimodal Time-series Data》两篇论文中，Petar 提出了两种跨模态神经收集架构，可以在模态间执行早期融合，二者拜别在网状（X-CNN）和序列（X‐LSTM）输入模态上运行。这些体式首要靠许可零丁的模态流交流中央特征，从而更随意行使模态之间的相关性，还能贯穿全连结神经收集「数据流不受限」的特征，即使模型参数量要小得多。事实表明，这些体式比传统体式有更好的示意，稀奇是在演习集较小和输入不完整的景遇下。

同时，Petar 还重点介绍了自己介入指导的两项相关工作。一项是将特征交流泛化至 1D‐2D 景遇，在视听分类中获得了很好的事实。另一项工作则表明，尽管像 X-CNN 这类模型超参数数量有所增加，但这些超参数可以使用自动化措施进行高效调节。

问题二

Q2：研究卷积算子从图像到浮现图组织的输入的泛化（即图卷积层），清楚地刻画出这种算子的希望特征。是否有模型能够同时知足所有特征？这些理论上的特征在实践中能否示意精巧？

在论文第四章和《Graph Attention Networks》中，Petar 回首了 CNN 的优点，具体阐述了图卷积层的希望特征，并评估了为什么此前提出的这类模型需要牺牲掉个中的某些特征。然后，作者定义了图留意力收集 (GAT) ，它将自留意力算子泛化至图领域。他得出的结论是：在这种设定下，自留意力拥有所有希望特征。作者将该模型安置到多个标准节点分类基准上，发现与其他体式对比，该模型的机能非常有竞争力。

问题三

Q3：图卷积收集在何种水平上对于图组织数据的无看管进修是有意义的？在形式化图无看管方针时，是否可以有效行使图的全局组织属性？

论文第五章和《Deep Graph Infomax》研究了此前基于图进行无看管表征进修的体式（首要基于随机游走），发现这些体式不太适合与图卷积编码器连络使用。

基于图像领域局部互信息最大化的之前工作，作者提出了针对图组织输入的 Deep Graph Infomax (DGI) 进修算法。该无看管方针使图的每个局部组件都能完美地记住图的全局组织属性。事实表明，该模型在生成节点嵌入方面与使用看管方针演习的相同编码器机能相当，甚至更优。

除了介绍作者的首要研究供献以外，这篇博士论文还对深度神经收集的背景信息进行了周全概括（第 2 章），尤其供给了具备组织归纳偏置的相关模型的根本数学细节（从 CNN 和 RNN 再到图卷积收集）。论文第六章对全文进行了总结，并描述了未来的工作倾向。

以下是这篇博士论文的目录：

147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开

首届「马栏山」杯国际音视频算法大赛正在火热进行中。大赛聚焦图像和介绍、画质优化三大领域，设置包括视频特定点位追踪、视频介绍、画质危险修复三大赛题。优良参赛者不单可获得奖金，获奖解决方案还有机会被应用于芒果 TV 核心领域，在校学生还将或许参预芒果 TV「青芒规划」，发放「special offer」。

识别下图..或点击阅读原文，马上报名参赛。

147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开

小编推荐

1
京东白条是什么（京东白条是什么意思有什么危害吗）
大家好，小美今天来为大家解答京东白条是什么以下问题，京东白条是什么意思有什么危害吗很多人还不知道，现在让我们一起来看看吧！1、一、京
2
建设银行营业时间佛山（佛山建设银行几点下班时间）
大家好，小美今天来为大家解答建设银行营业时间佛山以下问题，佛山建设银行几点下班时间很多人还不知道，现在让我们一起来看看吧！1、根据财
3
恋李白古诗原文（心恋李白古诗）
大家好，小乐今天来为大家解答恋李白古诗原文以下问题，心恋李白古诗很多人还不知道，现在让我们一起来看看吧！1、不是。2、余光中《念李白》
4
快讯 | 伊朗伊斯兰革命卫队：伊朗成功打击以色列军事目标
新华社快讯：据伊朗塔斯尼姆通信社报道，本地时间14日凌晨，伊朗伊斯兰革命卫队起头对以色列方针动员大规模导弹和无人机袭击。据以色列媒体报
5
大风！降温！插花镇下周有雨！
小伙伴们注重阜阳下周要降温降雨了！阜阳景象最新估计受冷空气影响18日夜间-19日还有一次降水天色19-20日平均气温较前期下降4～6℃同时18-19日全市
6
那个傻瓜歌词（那个傻瓜歌词韩语）
大家好，小美今天来为大家解答那个傻瓜歌词以下问题，那个傻瓜歌词韩语很多人还不知道，现在让我们一起来看看吧！1、只爱着你我是傻瓜吧 2、
7
上海租车公司哪家好（上海租车公司哪家便宜）
大家好，小豪今天来为大家解答上海租车公司哪家好以下问题，上海租车公司哪家便宜很多人还不知道，现在让我们一起来看看吧！1、上海一嗨汽车
8
福安市公共资源交易中心（福安市公共资源交易中心招标公告）
大家好，小伟今天来为大家解答福安市公共资源交易中心以下问题，福安市公共资源交易中心招标公告很多人还不知道，现在让我们一起来看看吧！

147页详述「结构在神经网络中的复兴」，图注意力网络一作博士论文公开

热门文章

小编推荐