俄罗斯科技巨头Yandex宣布开源YaFSDP大语言模型训练工具
大幅提升 GPU 利用率，对 Llama 3 可实现 26% 加速
2024-06-12
来源：IT之家
6 月 11 日消息，俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练工具 ——YaFSDP，号称与现有工具相比速度最高可提升 26%。
据介绍，YaFSDP 在训练速度方面优于传统的 FSDP 方法，尤其适用于大型模型。在预训练 LLM 方面，YaFSDP 速度提高了 20%，并且在高内存压力条件下表现更佳。
例如，YaFSDP 对具有 700 亿参数的 Llama 2 可以实现 21% 的效率提升，对具有同级参数的 Llama 3 也实现 了 26% 的效率提升。IT之家附官方数据一览：
Yandex 表示，通过优化 GPU 使用率，YaFSDP 可以为开发者和公司节省大量资金 —— 每月可能节省数十万美元。
Yandex 的资深开发人员、YaFSDP 团队成员之一 Mikhail Khruschev 还提到，“目前，我们正在积极尝试各种模型架构和参数大小，以扩展 YaFSDP 的通用性” 。
本站内容除特别声明的原创文章之外，转载内容只为传递更多信息，并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题，请及时通过电子邮件或电话通知我们，以便迅速采取适当措施，避免给双方造成不必要的经济损失。联系电话：010-82306118；邮箱：aet@chinaaet.com。