融合多教师模型的知识蒸馏文本分类
所属分类:技术论文
上传者:
文档大小:3704 K
标签: 文本分类 知识蒸馏 BERT-wwm-ext
所需积分:0分积分不够怎么办?
文档介绍:针对简单文本分类模型精度不高,预训练模型结构复杂,在实际环境中难以直接使用的问题,提出多教师知识蒸馏的文本分类方法。该模型使用“教师-学生网络”的训练方法,教师模型为BERT-wwm-ext和XLNet预训练模型,将两个模型输出的概率矩阵通过权重系数融合为软标签。学生模型为BiGRU-CNN网络,使用均方差函数计算软标签误差,使用交叉熵损失函数计算硬标签误差,通过硬标签和软标签训练学生模型使损失函数值达到最小。实验结果表明,提出的方法精度较学生模型有较大的改进,接近预训练模型,在保证分类精度的前提下减少了运行时间,提高了效率。
现在下载
VIP会员,AET专家下载不扣分;重复下载不扣分,本人上传资源不扣分。