基于分层信息过滤的生成式文本摘要模型
信息技术与网络安全
符升旗,李金龙
(中国科学技术大学 计算机科学与技术学院,安徽 合肥230026)
摘要: 文本摘要模型的输入数据中通常包含被视为噪声的冗余信息,对输入数据中的噪声进行过滤可以提高摘要模型的表现。提出了基于动态路由指导的分层信息过滤(Dynamic Routing Based Hierarchical Information Filtering,DRBHIF)层,该层首先通过动态路由模块根据编码器的输出动态地计算全局向量,然后根据全局向量从词层面和语义层面对输入文本中的噪声进行过滤。具体来说,首先通过全局向量和编码器的输出从词层面上对原文中的关键字进行选择,然后通过双门语义噪声过滤算法在语义层面上进行噪声过滤。在Gigaword和CNN/Daily Mail两个数据集上的实验结果表明,DRBHIF能够有效地对输入文本中的噪声进行过滤,并且能提升摘要模型的表现。
关键词: 自然语言处理,自动文本摘要,噪声过滤
中图分类号: TP391.1
文献标识码: A
DOI: 10.19358/j.issn.2096-5133.2021.05.011
引用格式: 符升旗,李金龙. 基于分层信息过滤的生成式文本摘要模型[J].信息技术与网络安全,2021,40(5):62-67.
中图分类号: TP391.1
文献标识码: A
DOI: 10.19358/j.issn.2096-5133.2021.05.011
引用格式: 符升旗,李金龙. 基于分层信息过滤的生成式文本摘要模型[J].信息技术与网络安全,2021,40(5):62-67.
Dynamic routing based hierarchical information filtering for abstractive text summarization
Fu Shengqi,Li Jinlong
(School of Computer Science and Technology,University of Science and Technology of China,Hefei 230026,China)
Abstract: The input data of a text summarization model usually contains redundant information that is regarded as noise, and filtering the noise in the input data can improve the performance of the summarization model. In this paper, a Dynamic Routing Based Hierarchical Information Filtering(DRBHIF) layer is proposed, which first dynamically computes a global vector based on the output of the encoder through the dynamic routing module, and then filters the noise in the input text at the word level and semantic level based on the global vector. Specifically, keywords in the original text are first selected at the word level using the global vector and the encoder output, and then noise is filtered at the semantic level using a two-gate semantic noise filtering algorithm. Experimental results on both Gigaword and CNN/Daily Mail datasets show that DRBHIF is effective in filtering noise in the input text and can improve the performance of the summarization model.
Key words : natural language processing;automatic text summarization;noise filtering
0 引言
自动文本摘要模型旨在提取出原文中的关键信息并生成摘要。对自动文本摘要的研究可以分为两大类:抽取式文本摘要和生成式文本摘要。抽取式文本摘要直接从原文中抽取出一些句子组成摘要,而生成式文本摘要首先构建一个模型对原文中的信息进行理解,然后根据对原文的理解以模拟人类的方式输出摘要。本文主要关注生成式文本摘要模型。
目前,生成式文本摘要模型主要基于序列到序列(sequence-to-sequence,seq2seq)模型构建[1-2]。seq2seq模型包含一个编码器和一个解码器。编码器对输入的原文进行编码得到文本表示,解码器对编码器的输出进行解码生成摘要。在实际中,输入文本通常包含冗余信息,即噪声[3],而seq2seq模型会将输入文本的所有信息进行编码,包括噪声,这会导致最终生成的摘要不能很好地体现原文中的关键信息[4]。最近的一些研究[4-5]表明,对输入文本中的噪声进行过滤能提高摘要模型的表现。
本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003553
作者信息:
符升旗,李金龙
(中国科学技术大学 计算机科学与技术学院,安徽 合肥230026)
此内容为AET网站原创,未经授权禁止转载。