Everyday Paper

GNNExplainer: Generating Explanations for Graph Neural Networks

GNNExplainer: 生成图神经网络的解释

Published on NeurIPS 2019 本文想要解释GNN的预测结果。如下图所示，对于节点 $v$，解释$v$的预测结果分成了两部分，一个是解释$v$周围的子图，哪些节点和边对预测结果重要，哪些不重要。一部分是解释节点的特征，哪些维度的特征发挥了作用，哪些没有。本文基于互信息最大化的框架，学习邻接矩阵和节点特征的mask，实现对预测结果的可解释性。 Formulat...

Posted by Chthub on September 24, 2022

Multi-level Distance Regularization for Deep Metric Learning

用于深度度量学习的多层距离正则化

Published on AAAI 2021 本文提出了一种用于深度度量学习的新的基于距离的正则化方法，称为Multi-level Distance Regularization (MDR)。它能够让表征空间中向量之间的距离归属于不同的level，以表示样本对之间不同程度的相似性。在训练过程中，这种多层级的设计能够阻止样本被忽视（因为样本太简单了）或者被过度注意（因为样本太难了），这使得参...

Posted by Chthub on September 19, 2022

Hypergraph-Induced Semantic Tuplet Loss for Deep Metric Learning

用于深度度量学习的超图诱导的语义元组损失

Published on CVPR 2022 作者在这篇文章中主打的一个点是： relations among samples from the same class and similar-looking samples from different classes, must be helpful for understanding class-discriminative v...

Posted by Chthub on September 17, 2022

Metric learning with adaptive density discrimination

自适应密度判别度量学习

Published on ICLR 2016 首先作者认为目前的距离度量学习存在两个大问题：基于类别标签的监督信息使得相同类别的样本靠近，不同类别的样本远离。这既没有考虑到类内的不相似性，也没考虑到类间的相似性。现有的Triplet loss或者contrastive loss仅仅惩罚样本对或者样本的三元组，并没有考虑到contextual信息，即周围的邻居结构。这不但增加...

Posted by Chthub on September 15, 2022

数学公式测试

进行数学公式测试，查看渲染结果。下面都是得要求下划线后面加空格，否则报错。例一下划线渲染不正确：这里 $\mathbf{h}i^l \in \mathbb{R}^{nf}$ 是节点 $v_i$ 在 $l$ 层的embedding，$a{i j}$ 表示边的属性，$\mathcal{N}(i)$ 是 $v_i$ 的邻居节点的集合。例二大括号转义失败： $\left{x_i...

Posted by Chthub on September 15, 2022

Prototypical Networks for Few-shot Learning

用于小样本学习的原型网络

Published on NeurIPS 2017 这篇文章提出了原型网络（prototypical networks）用于小样本的分类问题。如下图所示，该模型可以应用到小样本或零样本的学习中。 Formulation 在小样本分类中，我们给定了一个小的有标签的支撑集（support set）$S=\left\lbrace \left(\mathbf{x}_1, y_1\rig...

Posted by Chthub on September 12, 2022

Prototypical Contrastive Learning of unsupervised representations

无监督表征的原型对比学习

Published on ICLR 2021 这篇文章提出了Prototypical Contrastive Learning （PCL），这是一种无监督的表示学习算法，将对比学习和聚类联系在一起。作者认为instance-wise contrastive learning存在两个问题：实例之间的判别只利用到了低价的图像之间的差异，而没有考虑到高阶的语义关系只要求正负样...

Posted by Chthub on September 11, 2022

E(n) Equivariant Graph Neural Networks

E(n) 等变图神经网络

Published on ICML 2021 这篇文章提出一种对平移，旋转，反射和排列等变的图神经网络 E(n)-Equivariant Graph Neural Networks Formulation 几何等变的图神经网络和一般的图神经网络的区别在于几何等变图神经网络在消息传递的过程中考虑到了空间坐标信息，同时要保持坐标信息对于空间变换的等变性。在这张图里面，对原图（左上角...

Posted by Chthub on September 9, 2022