《电子技术应用》
您所在的位置:首页 > 其他 > 设计应用 > 基于混合注意力机制的时间旋转知识图谱补全
基于混合注意力机制的时间旋转知识图谱补全
网络安全与数据治理
王璐璐
大连大学信息工程学院
摘要: 针对现有时序知识图谱补全中捕捉动态关系模式,处理非对称、临时和自反关系方面的局限性,提出了一种新颖的融合混合注意力机制与时间旋转的模型。一方面,通过引入时间旋转,利用复数空间中的向量来表示随时间演化的实体与关系,特别是处理时间区间内的关系变化,采用双复数嵌入方案显著增强了对时态特性的表达能力;另一方面,通过对知识图谱引入空间注意力和通道注意力两个维度分析,能够更好地聚焦于时序序列中对预测最为关键的实体和关系特征,从而在复杂的时间序列中挖掘时序关联信息。通过在ICEWS14、ICEWS18、YAGO11k和WIKI12k数据集上的实验评估,模型在MRR、Hits@1、Hits@3和Hits@10上普遍优于基线模型,体现出算法的优越性和强鲁棒性。
中图分类号:TP391.1文献标识码:ADOI:10.19358/j.issn.2097-1788.2024.10.007
引用格式:王璐璐.基于混合注意力机制的时间旋转知识图谱补全[J].网络安全与数据治理,2024,43(10):42-48.
Temporal rotation knowledge graph completion based on hybrid attention mechanism
Wang Lulu
School of Information Engineering, Dalian University
Abstract: A novel model that integrates a hybrid attention mechanism with temporal rotation is proposed to address the limitations of capturing dynamic relation patterns, handling asymmetric, temporary, and reflexive relations in existing temporal knowledge graph completion. On one hand, by introducing temporal rotation, we leverage vectors in complex spaces to represent entities and relations evolving over time, especially to handle relation changes within temporal intervals. The adoption of a dual-complex embedding scheme significantly enhances the expressive power for temporal characteristics. On the other hand, by introducing spatial attention and channel attention to analyze the knowledge graph from two dimensions, the model can better focus on the most crucial entity and relation features in the temporal sequence for prediction, thus mining temporal correlation information from complex time series. Through experimental evaluations on the ICEWS14, ICEWS18, YAGO11k, and WIKI12k datasets, the model outperforms baseline models in terms of MRR, Hits@1, Hits@3, and Hits@10, demonstrating the superiority and strong robustness of the proposed algorithm.
Key words : temporal knowledge graph; temporal rotation; hybrid attention mechanism; link prediction

引言

随着人工智能时代的到来,互联网中的数据规模也随之爆发式增长,这些大量的数据中往往包含很多有价值的信息,而知识图谱[1]作为一种新的组织和存储海量数据的技术,受到越来越多的关注。知识图谱早期主要用于搜索结果优化,随后在系统推荐[2]、智能问答[3]、知识搜索[4]等领域发挥了重要作用。知识图谱通常是静态的,以其当前状态存储事实。知识图谱以三元组的形式表示事实:(s:r:o),然而,现有知识图谱大都采用半自动化结合人工的方式构建,具有不完整性[5]。并且在现实中,实体之间的关系经常随着时间而变化,即知识具有时效性。为此,时序知识图谱被引入[6],时序知识图谱将时间事实表示为四元组:(s;r;o;t),即通过扩展时间为t的静态三元组,描述此事实在时间为t时有效。时序知识图谱可以不断提供和完善时间维度的知识,更具有研究价值。

近年来,尽管静态知识图谱补全技术取得了显著进展,如基于翻译的模型(如TransE[7])、基于图神经网络的方法(如RE-GCN[8])等,但这些方法大多忽视了时间维度对于关系动态变化的深刻影响。为应对这一挑战,时序知识图谱补全(Temporal Knowledge Graph Completion, TKGC)应运而生,旨在结合时间序列分析与深度学习技术,挖掘时序模式,捕捉动态关系的演化规律。现有的时序知识图谱补全模型大多数是TransE和DistMult的扩展,例如TTransE[9]、TA-DisMult[10]、ChronoR[11]等,因此不能完全表达如今的某些关系模式。最新的模型还存在计算资源的分配问题。

本文提出一种新的时序知识图谱补全模型YiTX,该模型创新性地融合了时间旋转嵌入与混合注意力机制,旨在更精准地建模实体间随时间变化的关系,并有效预测图谱中缺失的实体与关系。混合注意力机制在聚合信息上的优势和注意力权重的分配,在面对数据的多样性和复杂性时,仍能实现高效学习和快速推理。通过在四个公开时序数据集上的广泛实验,验证了所提模型在链接预测任务上的优越性能。本研究不仅为时序知识图谱的补全提供了一种新的视角,也为智能信息处理、文本挖掘和信息抽取技术的发展提供了新思路,进而促进知识图谱在推荐系统、智能问答、事件预测等领域的广泛应用。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000006195


作者信息:

王璐璐

(大连大学信息工程学院,辽宁大连116000)


Magazine.Subscription.jpg

此内容为AET网站原创,未经授权禁止转载。