英伟达发布小模型Minitron
模型训练速度提高40倍
2024-07-26
来源：硅星人
7月25日讯，据 huggingface 页面显示，英伟达官方推出一款小语言模型Minitron，包含4B和8B两个参数版本。
据悉，Minitron在保持相当性能水平的同时，将模型大小缩小了 2-4 倍。具体来说，使用这种方法，从 15B 模型衍生出的 8B 和 4B 模型所需的训练代币比从头开始训练少 40 倍。这使得训练整个模型系列（15B、8B 和 4B）的计算成本节省了 1.8 倍。
Minitron 模型系列现已在 Huggingface 上开源供公众使用。
本站内容除特别声明的原创文章之外，转载内容只为传递更多信息，并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题，请及时通过电子邮件或电话通知我们，以便迅速采取适当措施，避免给双方造成不必要的经济损失。联系电话：010-82306118；邮箱：aet@chinaaet.com。