融合多教师模型的知识蒸馏文本分类 | |
所属分类:技术论文 | |
上传者: | |
文档大小:3704 K | |
标签: 文本分类 知识蒸馏 BERT-wwm-ext | |
所需积分:0分积分不够怎么办? | |
文档介绍:针对简单文本分类模型精度不高,预训练模型结构复杂,在实际环境中难以直接使用的问题,提出多教师知识蒸馏的文本分类方法。该模型使用“教师-学生网络”的训练方法,教师模型为BERT-wwm-ext和XLNet预训练模型,将两个模型输出的概率矩阵通过权重系数融合为软标签。学生模型为BiGRU-CNN网络,使用均方差函数计算软标签误差,使用交叉熵损失函数计算硬标签误差,通过硬标签和软标签训练学生模型使损失函数值达到最小。实验结果表明,提出的方法精度较学生模型有较大的改进,接近预训练模型,在保证分类精度的前提下减少了运行时间,提高了效率。 | |
现在下载 | |
VIP会员,AET专家下载不扣分;重复下载不扣分,本人上传资源不扣分。 |
Copyright © 2005-2024 华北计算机系统工程研究所版权所有 京ICP备10017138号-2