中国AI公司选择多芯片混合训练AI模型以免于算例受限
2024-07-05
来源:芯智讯
7月4日消息,据Digitimes报道,为解决人工智能(AI)芯片算力问题,中国AI公司正实施“多芯片混合”的策略来提高在AI计算方面的能力的同时,进一步避免供应链安全问题。
多芯片混合计算的方法有诸多优势,包括利用多个不同型号的GPU并行训练,来共同提高大语言模型(LLM)训练速度,因同时可以处理更多数据,可更好利用內存,中国厂商可以降低对于更昂贵的英伟达(NVIDIA)芯片的依赖,进而降低成本。
自2022年10月以来,受美国持续升级的限制政策的影响,中国获取国外高性能AI芯片受到了极大的限制。因此,目前也依然存在着一些灰色渠道,但是供给量还是比较有限的。同样,虽然中国本土也有一些AI芯片,但是性能和产能也都比较有限。
传闻称,目前中国公司已经开始开发“多芯片混合”技术,将不同芯片组成一个训练集群,包括百度和阿里巴巴都在研究这项解决方案。例如,百度在其 2024 年财报电话会议上宣布,它可以组合来自不同供应商的 GPU 并将其用于 AI 训练。另一家中国大型科技公司阿里巴巴自 2021 年以来一直致力于“一云多芯片”解决方案。但也面临诸多挑战,例如需要像NVIDIA NVLink这样的高速构架,确保不同的加速器能高效通信。不过,阿里云已经开始转向使用基于以太网的高性能网络。
本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。