AMD 推出自家首款小语言模型“Llama-135m”
2024-09-30
来源：IT之家
9 月 29 日消息，AMD 在 Huggingface 平台公布了自家首款 " 小语言模型 "AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，附模型地址如下。
据介绍，这款模型主打 " 推测解码 " 能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。
AMD 表示，这款模型在四个 AMD Instinct MI250 节点训练了六天，其 " 编程专用版本 " 变体 AMD-Llama-135m-code 则额外耗费了四天时间进行微调。
本站内容除特别声明的原创文章之外，转载内容只为传递更多信息，并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题，请及时通过电子邮件或电话通知我们，以便迅速采取适当措施，避免给双方造成不必要的经济损失。联系电话：010-82306118；邮箱：aet@chinaaet.com。