《电子技术应用》
您所在的位置:首页 > 人工智能 > 业界动态 > 无问芯穹开源全球首款端侧全模态理解模型Megrez-3B-Omni

无问芯穹开源全球首款端侧全模态理解模型Megrez-3B-Omni

支持图像、音频、文本理解
2024-12-16
来源:IT之家

12 月 16 日消息,无问芯穹今日宣布,开源无问芯穹端侧解决方案中的全模态理解小模型 Megrez-3B-Omni 和它的纯语言模型版本 Megrez-3B-Instruct。

0.png

官方表示,Megrez-3B-Omni 是一个为端而生的全模态理解模型,同时具备图片、音频、文本三种模态数据的处理能力:

在图像理解方面,Megrez-3B-Omni 是目前 OpenCompass、MME、MMMU、OCRBench 等多个主流测试集上精度最高的图像理解模型之一。

在文本理解方面,Megrez-3B-Omni 在 C-EVAL、MMLU / MMLU Pro、AlignBench 等多个权威测试集上取得端上模型最优精度。

在语音理解方面,Megrez-3B-Omni 支持中文和英文的语音输入,还能够处理复杂的多轮对话场景,也能支持对输入图片或文字的语音提问,实现不同模态间的自由切换。

官方宣称,与上一代及其他端侧大语言模型相比,单模态版本的 Megrez-3B-Instruct 在推理速度上取得了显著提升,最大推理速度可以领先同精度模型 300%。


Magazine.Subscription.jpg

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。