《电子技术应用》
您所在的位置：首页 > 人工智能 > 设计应用 > 结合BERT语义融合和关键词特征提取的方面级情感分类研究
结合BERT语义融合和关键词特征提取的方面级情感分类研究
网络安全与数据治理
胡耀庭，韩雨桥，石宇航，高宣，彭玉青
河北工业大学人工智能与数据科学学院
摘要： 方面级情感分类旨在确定句子中给定方面词的情感极性。该任务先前提出的方法无法提取语义信息丰富的上下文初始表示向量，同时也不能精确地捕获局部关键特征的范围。因此，提出了一种结合BERT语义融合(BERTSF)和关键词特征提取（KFE）的方面级情感分类模型（KFE-BERTSF）。BERTSF通过门控融合函数融合BERT编码器的高层语义信息，以提取语义信息更加丰富的上下文初始表示向量。KFE通过动态阈值划分句子的局部上下文和非局部上下文，并利用句法距离掩码（SDMask）和距离感知注意力（ADA）提取两个区域的局部关键特征。基于三个数据集上的实验结果表明， KFE-BERTSF取得了比基准模型更好的成绩。
中图分类号：TP391文献标识码：ADOI:10.19358/j.issn.2097-1788.2024.11.006引用格式：胡耀庭，韩雨桥，石宇航，等.结合BERT语义融合和关键词特征提取的方面级情感分类研究［J］.网络安全与数据治理，2024，43（11）：29-36.
Combining BERT semantic fusion and keyword feature extraction for aspect-level sentiment classification
Hu Yaoting，Han Yuqiao，Shi Yuhang，Gao Xuan，Peng Yuqing
School of Artificial Intelligence, Hebei University of Technology
Abstract： Aspect-level sentiment classification aims to determine the sentiment polarity of a given aspect term in a sentence. Previous methods for this task fail to extract semantically rich initial contextual representation vectors and cannot precisely capture the range of local key features. Therefore, this paper proposes KFE-BERTSF, an aspect-level sentiment classification model that combines BERT semantic fusion (BERTSF) and keyword feature extraction (KFE). BERTSF integrates high-level semantic information from the BERT encoder using a gating fusion function to extract semantically richer initial contextual representation vectors. KFE divides the sentence into local and non-local contexts using dynamic thresholds, and employs syntax distance mask (SDMask) and distance-aware attention (ADA) to extract local key features from both regions. Experimental results on three datasets show that KFE-BERTSF outperforms benchmark models.
Key words : aspect-level sentiment classification; BERT encoder; keyword feature; local context focus

引言

方面级情感分类是情感分析任务的一个分支，旨在确定句子中特定方面词的情感极性。给定句子“Lots of extra space but the keyboard is ridiculously small.”，方面级情感分类（ASC）的任务是对句子中给定的方面词“space”和“keyboard”，应该可以得出对应的情感极性分别为积极和消极。

之前的研究通过将循环神将网络（RNN）与注意力机制［1］进行结合，可以明显提高此类任务的性能。但是注意力机制很容易受到噪声的影响。局部上下文聚焦机制［2］（LCF）发现方面词自身周围的单词对其情感极性的判别更加重要，通过使用LCF捕获局部上下文，并使用动态距离掩码（CDM）或动态距离加权（CDW）可以捕获方面词周围的重要信息。同时，随着预训练模型BERT［3］的出现，对BERT结构做出针对性的调整也成为了研究方向。尽管上述方法已经取得了显著的成绩，但是仍然存在以下两点问题。（1）未充分挖掘BERT语义信息。Ganesh等人［4］发现BERT自身高层的语义信息已经足够丰富，如何更好地利用这些信息仍有待进一步研究。（2）局部关键特征提取不充分。在使用LCF的模型中使用固定阈值划分局部上下文，其范围不够精确；同时在两类上下文中使用的特征提取方法未能很好地提取局部关键信息。

为了解决上述问题，本文提出了一个全新的模型，通过结合BERT语义融合和关键词特征提取进行方面级情感分类。一是提出BERT语义融合模块，利用门控函数将BERT编码器不同层的表示向量进行融合。二是提出关键字特征提取模块，根据句子长度动态确定局部上下文和非局部上下文的范围，并通过句法二次掩码和距离感知注意力提取两类上下文的关键特征。三是引入协同注意力模块，将局部特征、全局特征和方面词特征融合，得到融合局部信息和方面词信息的全局特征。

本文的主要贡献总结如下：

（1）将BERT编码器的第9~12层通过针对性设计的门控函数进行语义融合，提取到了包含丰富语义的句子初始的上下文表示向量。

（2）提出了关键字特征提取模块。该模块通过句子长度动态确定局部上下文和非局部上下文，并用句法二次掩码和距离感知注意力来分别提取对应区域的局部关键特征。

（3）设计了全新的协同注意力。通过使用注意力机制融合全局特征、局部特征和方面词特征来获得包含丰富语义信息的全新特征。


本文详细内容请下载：

https://www.chinaaet.com/resource/share/2000006226


作者信息：

胡耀庭，韩雨桥，石宇航，高宣，彭玉青

（河北工业大学人工智能与数据科学学院，天津300401）


Magazine.Subscription.jpg

此内容为AET网站原创，未经授权禁止转载。

相关内容