编者按：AI 的技术浪潮正让社会方方面面发生着深刻的变革。来自海量传感器、摄像头的视觉、声音等数据，对延时、隐私以及可靠性有严格要求的场景，边缘 AI 的发展势在必行。面对边缘侧形态各异的设备与丰富应用，大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。

　　当前，AI 不断赋予边缘设备更加先进的智能属性，在工业自动化、智慧城市和智能家居等领域，OEM 厂商、软件开发者们正在积极寻求营建边缘 AI 推理生态系统，释放 AI 的巨大价值。

　　面对边缘侧形态各异的设备与丰富应用，大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。

　　日前，Arm 发布了以全新基于 Armv9 架构的 Arm Cortex-A320 以及对 Transformer 网络具有原生支持的 Ethos-U85 AI 加速器为核心的边缘 AI 计算平台，支持运行超 10 亿参数的端侧 AI 模型，并将推动边缘 AI 领域在未来多年内的持续发展。

　　Arm 物联网事业部业务拓展副总裁马健指出，全新的边缘AI计算平台实现了 CPU 和 AI 加速器的深度配合。Cortex-A320 可以为 Ethos-U85 提供更高的内存容量与带宽，让大模型在 Ethos-U85 上的执行如虎添翼。任何开发者们不希望在 Ethos-U85 上运行的 AI 操作，可以回退到 Cortex-A320，利用其 Neon/SVE2 引擎更灵活有效地在 CPU 上执行。这使智能物联网与消费类电子生态系统能够在正确的时间，并在合适的地方运行最适合的工作负载。

全新Cortex-A320：首个基于 Armv9 架构的超高能效 CPU

　　Arm Cortex-A320 CPU 的推出具有重要的里程碑意义。

　　作为首个基于 Armv9 架构的超高能效 CPU，在 ML 性能方面，Cortex-A320 相较于前代Cortex-A35 提升了高达 10 倍的 ML 计算能力。此外，它的能效比较 Cortex-A520提升了 50%。在标量计算性能方面，Cortex-A320 的性能比前代 Cortex-A35 提高了 30%，带来了更强的通用计算能力。

马健表示，Cortex-A320 充分利用了 Armv9 增强的安全性和 AI 计算特性，这些特性已经在其他市场得到广泛应用，而 Arm 如今将其引入物联网领域。

　　安全性方面，Secure EL2增强了TrustZone内部的隔离性，支持更安全地运行软件容器；指针验证/分支目标识别（PACBTI）可有效缓解跳转和返回编程中的指针安全隐患；内存标记扩展（MTE）则通过内存标记机制，使黑客更难利用漏洞进行攻击，提高整体系统安全性。

　　计算性能方面，增强的Neon和可伸缩向量扩展(SVE2)技术，可提供更高效的ML计算能力；支持如BFloat16等新数据类型，提高AI计算的精度和能效；新增的矩阵乘法指令优化了AI和ML计算性能，加速神经网络推理和训练任务。

跨越边缘 AI 软件开发和部署复杂性障碍

　　边缘 AI 普及面临的最主要障碍之一是软件开发和部署的复杂性，这正是 Armv9 边缘 AI 计算平台软件生态系统发挥优势的关键所在。

　　2024年，Arm 推出了 Kleidi 软件库，并将其引入了智能手机和服务器市场，它包含优化 AI 负载在 Arm CPU 上执行的 KleidiAI 和加速机器视觉的 KleidiCV。如今，Arm 将 Kleidi 也扩展到了物联网领域。

　　KleidiAI 是一套专为 AI 框架开发者设计的计算内核，让开发者可以无缝地在 Arm CPU 上获取最佳性能，适用于各类设备。它支持如 Neon 和 SVE2 等 Armv9 架构的关键特性，大幅提升了 AI 的计算效率。此外，KleidiAI 已集成到常见的物联网 AI 框架中，如 Llama.cpp 和 ExecuTorch 或 LiteRT（通过 XNNPACK），加速了 Meta Llama 3 和 Phi-3 等关键模型的性能。例如，在 Llama.cpp 上运行微软的 Tiny Stories 数据集时，KleidiAI 为新的 Cortex-A320 带来了高达 70% 的性能提升。

写在最后

　　Arm全新的边缘 AI 计算平台代表了 Arm 为未来边缘计算和 AI 处理提出的新范式，该平台对物联网生态系统所能够带来的影响值得期待。相信全新 Arm 边缘 AI 计算平台将成为新一轮物联网创新的催化剂。Armv9 架构的特性、先进的 AI 功能和全面软件支持的结合，将为 OEM 厂商和开发者创造新的可能性。