TransE

《Translating Embeddings for Modeling Multi-relational Data》

任务

TransE：基于能量的模型，用于学习实体的低维嵌入。

关系作为向量空间转变的桥梁：如果三元组(h,l,t)成立，则头实体embedding和关系embedding相加约等于尾实体的embedding。

$h+l ≈ t$
利用空间传递不变形，找到一个实体和向量空间，使得整关系三元组之间的势能差值最小。

$min(t − ( h + l ))$
模型

给定一个训练集 S ，三元组表示为 $( h , l , t )$，其中 $h , t ∈ E ,l ∈ L$ ，实体和关系的嵌入维度设为 k，希望 $h + l$ 与 $t$能够尽可能的相似，因此定义一个能量函数：

$d ( h + l , t ) = [ ( h + l ) − t ]^2 = ∣∣h∣∣^2_2 + ∣∣ l ∣∣^2_2 + ∣ ∣ t ∣ ∣_2^2 − 2 ( h^T t + l^ T ( t − h ) ) $

欧式距离
为了训练实体embedding和关系embedding，需要引入负样本。目标是尽可能对正样本中最小化 $d ( h + l , t )$ ，负样本中则尽可能最大化$d ( h ′ + l , t ′ )$ $。h’,t’$ 表示不属于某个三元组的实体。因此可以得出基于间距排序标准目标优化函数（损失函数）：

$L=\sum{(h,ℓ,t)∈S}\sum{(h′,ℓ,t′)∈S{(h,ℓ,t)}^′}[γ+d(h+ℓ,t)−d(h′+ℓ,t′)]+$

其中 $[x]_+$表示 $x$ 中正例的部分，$γ > 0$ 表示距离因子。

通过最小化正样本的损失，最大化负样本的距离，达到优化嵌入表示的目的。
错误三元组生成：将正确三元组的头或者尾替换成其他的（每次只能选择头或者尾进行替换，不同时替换），得到错误的三元组。

$S_{(h,l,t)}^′={(h′,l,t)∣h′∈E}∪{(h,l,t′)∣t′∈E}$

raw：原始数据
filtered：移除错误三元组

某些错误的三元组会变成有效的三元组。在测试中，可能会出现某些错误三元组排序比测试集三元组靠前的情况，但是这些三元组都是真实的。为了解决这个缺陷对评价指标带来的影响，从数据集中删除错误的三元组。

在原始数据集和去除错误的三元组之后的数据集上，TransE均具有较低的平均排名和较高的hits@10排名。

TransE在1-1的情况下预测效果较好。

给定一个头部和一个标签，排在最高位的尾部被预测出来。

TransE模型可以使用最小的参数量得到知识图谱的实体和关系向量表示。

TransE模型的参数较少，计算的复杂度显著降低，并且在大规模稀疏知识库上也同样具有较好的性能与可扩展性。

TransH模型：为了解决TransE模型在处理一对多、多对一、多对多复杂关系时的局限性，TransH模型提出让一个实体在不同的关系下拥有不同的表示。
TransR模型：一个实体是多种属性的综合体，不同关系关注实体的不同属性。不同的关系拥有不同的语义空间。
TransD模型：给定三元组(h, r, t) , TransD模型设置了2个分别将头实体和尾实体投影到关系空间的投影矩阵。
TranSparse模型：TranSparse是通过在投影矩阵上强化稀疏性来简化TransR的工作。通过引入稀疏投影矩阵，TransSparse模型减少了参数个数。
TransM模型：除了允许实体在涉及不同关系时具有不同的嵌入之外，提高TransE模型性能可以从降低h+r≈t的要求研究开始。TransM模型将为每个事实（h,r,t）分配特定的关系权重theta_r。
TransF模型：TransF只需要t与h+r位于同一个方向，同时h与t-r也位于同一个方向。
ManifoldE模型：ManifoldE模型对于每个事实三元组$（h,r,t）$将$h+r≈t$转换为(h+r-t)的L2范式约等于theta_r的平方。
TransA模型：TransA模型为每个关系r引入一个对称的非负矩阵Mr，并使用自适应马氏距离定义评分函数。通过学习距离度量Mr, TransA在处理复杂关系时更加灵活。