《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > AET原创 > Armv9 边缘AI计算平台打造边缘AI应用新未来

Armv9 边缘AI计算平台打造边缘AI应用新未来

2025-03-15
来源:Arm公司
关键词: ARM AI 边缘计算

编者按:AI 的技术浪潮正让社会方方面面发生着深刻的变革。来自海量传感器、摄像头的视觉、声音等数据,对延时、隐私以及可靠性有严格要求的场景,边缘 AI 的发展势在必行。面对边缘侧形态各异的设备与丰富应用,大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。


  当前,AI 不断赋予边缘设备更加先进的智能属性,在工业自动化、智慧城市和智能家居等领域,OEM 厂商、软件开发者们正在积极寻求营建边缘 AI 推理生态系统,释放 AI 的巨大价值。

  面对边缘侧形态各异的设备与丰富应用,大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。

  日前,Arm 发布了以全新基于 Armv9 架构的 Arm Cortex-A320 以及对 Transformer 网络具有原生支持的 Ethos-U85 AI 加速器为核心的边缘 AI 计算平台,支持运行超 10 亿参数的端侧 AI 模型,并将推动边缘 AI 领域在未来多年内的持续发展。

arm1.png

  Arm 物联网事业部业务拓展副总裁马健指出,全新的边缘AI计算平台实现了 CPU 和 AI 加速器的深度配合。Cortex-A320 可以为 Ethos-U85 提供更高的内存容量与带宽,让大模型在 Ethos-U85 上的执行如虎添翼。任何开发者们不希望在 Ethos-U85 上运行的 AI 操作,可以回退到 Cortex-A320,利用其 Neon/SVE2 引擎更灵活有效地在 CPU 上执行。这使智能物联网与消费类电子生态系统能够在正确的时间,并在合适的地方运行最适合的工作负载。

 

全新Cortex-A320:首个基于 Armv9 架构的超高能效 CPU

  Arm Cortex-A320 CPU 的推出具有重要的里程碑意义。

  作为首个基于 Armv9 架构的超高能效 CPU,在 ML 性能方面,Cortex-A320 相较于前代Cortex-A35 提升了高达 10 倍的 ML 计算能力。此外,它的能效比较 Cortex-A520提升了 50%。在标量计算性能方面,Cortex-A320 的性能比前代 Cortex-A35 提高了 30%,带来了更强的通用计算能力。

马健表示,Cortex-A320 充分利用了 Armv9 增强的安全性和 AI 计算特性,这些特性已经在其他市场得到广泛应用,而 Arm 如今将其引入物联网领域。

  安全性方面,Secure EL2增强了TrustZone内部的隔离性,支持更安全地运行软件容器;指针验证/分支目标识别(PACBTI)可有效缓解跳转和返回编程中的指针安全隐患;内存标记扩展(MTE)则通过内存标记机制,使黑客更难利用漏洞进行攻击,提高整体系统安全性。

  计算性能方面,增强的Neon和可伸缩向量扩展(SVE2)技术,可提供更高效的ML计算能力;支持如BFloat16等新数据类型,提高AI计算的精度和能效;新增的矩阵乘法指令优化了AI和ML计算性能,加速神经网络推理和训练任务。

 

跨越边缘 AI 软件开发和部署复杂性障碍

  边缘 AI 普及面临的最主要障碍之一是软件开发和部署的复杂性,这正是 Armv9 边缘 AI 计算平台软件生态系统发挥优势的关键所在。

  2024年,Arm 推出了 Kleidi 软件库,并将其引入了智能手机和服务器市场,它包含优化 AI 负载在 Arm CPU 上执行的 KleidiAI 和加速机器视觉的 KleidiCV。如今,Arm 将 Kleidi 也扩展到了物联网领域。

arm2.png

  KleidiAI 是一套专为 AI 框架开发者设计的计算内核,让开发者可以无缝地在 Arm CPU 上获取最佳性能,适用于各类设备。它支持如 Neon 和 SVE2 等 Armv9 架构的关键特性,大幅提升了 AI 的计算效率。此外,KleidiAI 已集成到常见的物联网 AI 框架中,如 Llama.cpp 和 ExecuTorch 或 LiteRT(通过 XNNPACK),加速了 Meta Llama 3 和 Phi-3 等关键模型的性能。例如,在 Llama.cpp 上运行微软的 Tiny Stories 数据集时,KleidiAI 为新的 Cortex-A320 带来了高达 70% 的性能提升。

 

写在最后

  Arm全新的边缘 AI 计算平台代表了 Arm 为未来边缘计算和 AI 处理提出的新范式,该平台对物联网生态系统所能够带来的影响值得期待。相信全新 Arm 边缘 AI 计算平台将成为新一轮物联网创新的催化剂。Armv9 架构的特性、先进的 AI 功能和全面软件支持的结合,将为 OEM 厂商和开发者创造新的可能性。


订阅网站文章尾图1.jpg

此内容为AET网站原创,未经授权禁止转载。