商汤绝影行业首发原生多模态大模型车端部署
80 亿参数、每秒 40 Tokens
2024-07-20
来源：IT之家
7 月 19 日消息，商汤科技联合创始人、首席科学家王晓刚 17 日宣布，商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内，推理速度 40 Tokens / 秒，覆盖主流算力平台。
商汤绝影为多模态大模型打造计算引擎“HyperPPL”，目前扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台。
商汤绝影称 HyperPPL 针对车载多人场景进行优化，使得车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。
据IT之家此前报道，商汤绝影此前表示，深圳首条自动驾驶公交线路采用其车辆与技术，所有驾驶操作都无需人员介入。
明年上千 TOPS 算力的车载芯片（英伟达 Thor）就会问世。基于更高算力的计算平台，商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低，推理速度进一步提高。
本站内容除特别声明的原创文章之外，转载内容只为传递更多信息，并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题，请及时通过电子邮件或电话通知我们，以便迅速采取适当措施，避免给双方造成不必要的经济损失。联系电话：010-82306118；邮箱：aet@chinaaet.com。