英伟达发布小模型Minitron
模型训练速度提高40倍
2024-07-26
来源:硅星人
7月25日讯,据 huggingface 页面显示,英伟达官方推出一款小语言模型Minitron,包含4B和8B两个参数版本。
据悉,Minitron在保持相当性能水平的同时,将模型大小缩小了 2-4 倍。具体来说,使用这种方法,从 15B 模型衍生出的 8B 和 4B 模型所需的训练代币比从头开始训练少 40 倍。这使得训练整个模型系列(15B、8B 和 4B)的计算成本节省了 1.8 倍。
Minitron 模型系列现已在 Huggingface 上开源供公众使用。
本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。