《电子技术应用》
您所在的位置:首页 > 模拟设计 > 业界动态 > AMD公布North Star北极星计划

AMD公布North Star北极星计划

将推出支持300亿参数大模型的AI PC芯片
2024-07-16
来源:芯智讯

7月15日消息,AMD近日在美国洛杉矶举行的技术日活动中公布了“North Star”(北极星)计划,未来推出的 Ryzen AI PC芯片将可支持以每秒100个Token的速度在本地运行300亿个参数的大型语言模型(LLM),实现 3000 的语义长度,并且首个Token生成的延迟要低于100毫秒。

但是,要实现AMD提出的这个目标并不容易,这需要硬件和软件性能上的巨大提升。要知道AMD最新推出的代号为“Strix Point ”的AI PC芯片Ryzen AI 300系列在以 4bit 精度运行70亿参数的大语言模型,每秒只能生成20个Token,并且首个Token的生成延迟高达1-4秒。

2.jpg

如果要本地支持以每秒生成100个Token的速度运行 300 亿参数的大模型,“North Star”不仅需要逻辑面积更大、性能更强的 NPU ,这对于提升 TOPS 或 FLOPS 肯定会有所帮助——尤其是在首次令牌延迟方面,但是在本地运行大型语言模型时,所需要的内存容量和带宽也极为重要。

在这方面,AMD的Strix Point 的大语言模型性能在很大程度上受到其 128 位内存总线的限制——当选择采用 LPDDR5x 配对时,其带宽在一般 120-135 GBps 左右,具体取决于内存的速度。

理论上来说,一个真正的 300 亿参数模型,量化为4bit,将消耗大约 15GB 的内存,并且需要超过 1.5 TBps 的带宽才能达到每秒 100 个令牌的目标。作为参考,这与配备 HBM2 的 40GB Nvidia A100 PCIe 卡的带宽大致相同,但功率要大得多。

这意味着,如果不进行优化以降低模型的要求(比如采用内存压缩技术),AMD未来的SoC将需要更快、更高容量的LPDDR来达到芯片设计者的目标。

人工智能的发展速度快于芯片

AMD 从事 SoC 开发的高级研究员和芯片设计工程师Mahesh Subramony对于这些挑战表示,“我们知道如何到达那里,虽然有可能设计出能够实现AMD今天目标的部件,但如果没有人能负担得起使用它,或者没有任何东西可以利用它,那就没有多大意义了。”

“如果一开始就说每个人都必须拥有一辆法拉利,那么汽车就不会激增。你必须首先说每个人都有一台很棒的机器,然后你首先展示你可以负责任地用它做什么,“他解释道。

“我们必须建立一个满足 95% 人需求的 SKU,”他继续说道。“我宁愿拥有一台价值 1,300 美元的笔记本电脑,然后通过云端来运行我的 300 亿参数模型。今天这还是便宜的。”

在展示 AI PC 的价值方面,AMD 非常依赖其软件合作伙伴。对于像 Strix Point 这样的产品,这在很大程度上意味着需要微软的支持。“当 Strix Point  最初开始时,我们与微软的这种深度合作在某种程度上真正推动了我们的边界,”他回忆道。

但是,虽然软件可以帮助指导新硬件的发展方向,但开发和提升新芯片可能需要数年时间,Subramony解释说。“Gen AI 和 AI 用例的发展速度远快。”

自 ChatGPT 首次亮相以来,已经有两年的时间来持续演变,Subramony 表示 AMD 现在对计算需求的发展方向有了更好的了解——这无疑是 AMD 制定这一目标的部分原因。

克服瓶颈

有几种方法可以解决内存带宽挑战。例如,LPDDR5 可以换成高带宽内存——但正如 Subramony 所指出的那样,这样做并不完全有利,因为它会大大增加成本并降低 SoC 的功耗。

“如果我们无法获得 300 亿个参数的模型,我们需要能够获得提供相同保真度的东西。这意味着在训练中需要进行改进,以尝试首先使这些更小的模型,“Subramony解释说。

好消息是,有很多方法可以做到这一点——这取决于你是想优先考虑内存带宽还是容量。

一种可能的方法是按照 Mistral AI 的 Mixtral 使用混合专家 (MoE) 模型。这些 MoE 本质上是一组相互协同工作的较小模型。通常,完整的 MoE 会被加载到内存中,但由于只有一个子模型处于活动状态,因此与同等大小的单片模型架构相比,内存带宽需求大大降低。

由六个 50 亿参数模型组成的 MoE 只需要略高于 250 GBps 的带宽即可实现每秒 100 个Token的目标——至少精度为4bit。

另一种方法是使用推测解码——一个小型轻量级模型生成草稿的过程,然后将其传递给更大的模型以纠正任何不准确之处。AMD表示,这种方法在性能上有相当大的改进,但它并不一定能解决大语言模型需要大量内存的事实。

如今,大多数模型都是在 Float 16 或 FP16  数据类型中训练的,它们每个参数消耗两个字节。这意味着一个 300 亿参数的模型需要 60GB 的内存才能以原始精度运行。

但是,由于这对绝大多数用户来说可能并不实用,因此将模型量化为 8bit 或 4bit 精度的情况并不少见。这牺牲了准确性并增加了AI幻觉的可能性,但将您的内存需求减少到四分之一。这也是AMD现有AI PC芯片如何以每秒20个Token的速度运行70亿个参数模型的关键。

新形式的加速可以提供帮助

作为一种折衷方案,从 Strix Point 开始,AMD的XDNA 2 NPU 将支持新的Block FP16 数据类型。因为传统的 INT8 应对目前的需求似乎已经有点力不从心,但是使用 FP32 又太过于浪费浪费,相对而言,采用 FP16 可以实现更高的算力,并且精度也足够使用,但是依然会占据不小的带宽。于是, AMD 选择将 FP16 以及 INT8 融合打造成为 Block FP16 数据类型,结合了16bit数据的高精度和 8bit位数据的高性能,它只需要每个参数9bit——它能够通过取 8 个浮点值并使用一个共享指数来做到这一点。根据 AMD 的说法,Block FP16 能够达到与原生 FP16 几乎无法区分的精度,同时仅比 Int8 占用略多的空间。

3.jpg

更重要的是,AMD称该Block FP16 数据类型不需要重新训练模型来利用它们——现有的 BF16 和 FP16 模型无需量化步骤即可工作。

但是,除非普通笔记本电脑开始配备48GB或更多的内存,否则AMD仍然需要找到更好的方法来缩小模型的占用空间。

虽然没有明确提及,但不难想象 AMD 未来的 NPU 和/或集成显卡会增加对 MXFP6 或 MXFP4 等较小的浮点格式的支持。目前AMD 的 CDNA 数据中心 GPU 也将支持 FP8,而 CDNA 4 将支持 FP4。

无论如何,随着大语言模型开始向边缘部署,PC 硬件似乎将在未来几年发生巨大变化。


000.jpg

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。