Exacluster展示业界首批基于英伟达H200 GPU的AI集群
2025-01-13
来源:芯智讯
1月12日消息,基于生成式AI的搜索引擎技术初创公司ExaAILabs首席执行官 Will Bryk于当地时间周五宣布,该公司已经部署了 Exacluster,这是业界首批基于英伟达(Nvidia)H200 GPU 的集群之一。该集群将用于构建一个AI搜索引擎,号称可以比谷歌(Google)搜索更好地理解用户需求,并返回更好的搜索结果。
据介绍,Exacluster采用了 18 个基于 NVIDIA H200 的 8卡服务器(exa 表示 Quintillion,或 10^18),即拥有 144 个 H200 GPU,具有 20TB HBM3E 内存(每个 GPU 141GB HBM3E),可提供 569958 TOPS(约 570 PetaTOPS)的组合计算性能。同时,该集群还集成了192 个 96 核CPU(共计 3456 个CPU内核),并配备了 36TB 的 DDR5 内存和 270TB 的 NVMe 固态存储。该集群将被将用于训练 ExaAI 的神经网络,总体的功耗为 100kW。
该集群依然采用的是标准空气冷却方案,因此为了解决散热问题,该集群当中的每个机架只安装两台这样的机器,以确保所有服务器都能得到足够的冷却。
据Will Bryk介绍,Exacluster的成本约为500万美元,这也意味着其每台服务器价格约为27.78万美元。值得一提的是,英伟达也是ExaAILabs公司的主要投资者之一,此外Lightspeed 和 YCombinator也是其投资者。
本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。