HOLE

Holographic Embeddings of Knowledge Graphs

基于向量的循环相关

任务

提出全息嵌入(holographic embeddings，HOLE)来学习整个知识图的组成向量空间表示。
在组合向量空间模型的框架内研究从知识图谱学习的问题。

方法（模型）

compositional vector space models

组合向量空间模型

$Pr(\phi_p(s,o)=1|\Theta)=\sigma(\eta_{spo})=\sigma(\mathbf{r}_p^T(\mathbf{e}_s◦\mathbf{e}_o))$

$\phi_p(s,o)$ ：特征函数

◦ ：复合算子，从嵌入$\mathbf{e}_s$，$\mathbf{e}_o$创建$（s，o）$的复合向量表示。

通过最大限度地减少（正则化）logistic损失来实现最好地解释数据集的实体和关系的表示。

$\min\sum_{i=1}^mlog(1+exp(-y_i\eta_i))+\lambda||\Theta||_2^2$

对于关系数据，最小化 logistic 损失具有额外的优势，它可以帮助为复杂的关系模式找到低维的嵌入。

KGs只存储正确三元组，这种情况下可以使用 pairwise ranking loss。

$\min_\Theta\sum_{i\in{D_+}}\sum_{j\in{D_-}}\max(0,\gamma+\sigma(\eta_j)-\sigma(\eta_i))$

例如将现有三元组的概率排序为高于不存在三元组的概率。

d+，d−：表示存在和不存在的三元组的集合。

$\eta_j>0$：指定边距的宽度。

Holographic Embeddings(HOLE)

为了将张量积的表达能力与TransE的效率和简单性结合起来，使用向量的循环相关来表示实体对。

在HOLE中，不只是存储关联，而是学习能最好地解释所观察到数据的嵌入。

1. 复合算子

$a◦b=a\ast b$

$\mathbf{*}$：表示循环相关

三元组的概率模型

$Pr(\phi_p(s,o)=1|\Theta)=\sigma(\mathbf{r}_p^T(\mathbf{e}_s\ast \mathbf{e}_o))$

使用复合算子相对于卷积的优点

Non-commutative：对建模有向图的非对称性很有必要。

Similiarity Component：对实体相似性的关系建模有帮助。

SGD

使用随机梯度下降

$\mathbf{e}_o^{t+1}\leftarrow\mathbf{e}_o^{t}-\mu\frac{\partial L}{\partial f}\frac{\partial f}{\partial \eta}(\mathbf{r}_p^t\ast e_s^t)$

$\mu$：学习率

方法

把实体和关系都表示为向量。给定一个事实$(h,r,t)$，首先使用循环相关操作将实体表示形式组成$h*t∈R$。
然后将组合向量与关系表示形式匹配，以对事实进行评分。

数据集

WN18
FB15K

性能水平

公平起见，评价时使用相同的损失和优化方法对参与比较的模型重新训练。

Filter：由于对于给定的 predicate-object，测试集中可以存在多个正确的三元组，因此从$R_p（s^{‘},o)=1$ and $ s\neq s^{‘}$的排序中删除所有实例，只考虑测试实例在所有错误实例中的排序。同理从$R_p（s,o^{‘})=1$ and $ o\neq o^{‘}$的排序中删除所有实例。

在WN18数据集的测试中，HOLE的表现都最为出色。
在FB15k数据集表现也优于其他模型，但是效果不是很显著。

与Rescal相比，HOLE的参数减少很多。尽管embedding的维数d比rescal的大，但由于其存储复杂度仅线性地依赖于d，所以总体参数数目显著减少。

$locatedIn(c,r)$：c：countries(国家)，r：regions(地区)。

$locatedIn(c,s)$：s：subregions(次区域)。

任务S1

设置：对于test/valid中，只将$locatedIn(c,r)$的countries设置为missing。

性能：丢失的三元组几乎可以完美预测。
任务S2

设置：将$locatedIn(c,s)$中countries和subregions设置为missing。

性能：相对于其他数据集表现最好。
任务S3

设置：将$locatedIn(n,r)$中countriesn的neighbors，regions设置为missing。

性能：预测难度最大，但相对于其他数据集表现较好。

RESCAL和ER-MLP较差的结果很可能是过拟合导致。

结论

HOLE 它利用向量的循环相关性来创建二元关系数据的组合表示。通过使用相关性作为组合算子，可以捕获丰富的交互，同时保持高效的计算，易于训练，并可扩展到非常大的数据集。
循环相关对成对的相互作用进行压缩。因此，HolE对每个关系只需要$O(d)$参数，并且循环相关是不符合交换律的，即$ht$不等于$th$。所以HolE能够对不对称关系进行建模。