智谱AI推出国产大模型GLM-4
2024-01-17
来源:钛媒体
随着OpenAI即将推出GPT-5,国内人工智能(AI)大模型正加速追赶。
钛媒体App 1月16日消息,阿里、腾讯投资的 AI 公司智谱 AI 在北京发布全新自研的第四代多模态基座大模型GLM-4系列,称性能相比上一代全面提升接近60%、模型性能直接逼近GPT-4,“特别是中文能力可比肩GPT-4”,并且该公司还公布GLMs个性化智能体模型等产品。
同时,智谱AI今天还公布一项由智谱联合生态伙伴发起的大模型创业基金“Z计划”,总投入10亿元人民币,专门支持大模型原始创新,覆盖大模型算法、底层算子、芯片优化、行业大模型和超级应用等方向。
智谱 AI 公司CEO张鹏表示,此次GLM-4的发布及上线,是智谱AI大模型研发上的关键突破。他强调,为了瞄向AGI,公司每3-6个月更新一次做一次升级,上一代智谱解决的是模型能力矩阵的对标,这一次是模型能力上跟GPT-4做到基本对齐,“GLM-4的基本能力已经比肩GPT-4。”
据悉,智谱 AI 成立于2019年,脱胎于清华大学计算机系知识工程研究室团队,是清华大学知识成果转化的创业公司,瞄准 AI 大模型研发落地,公司CEO张鹏毕业于清华计算机系,总裁王绍兰为清华创新领军博士,清华大学计算系教授唐杰也参与研发中国最大规模预训练模型悟道2.0。
2020年,智谱AI 开始启动GLM预训练架构的研发,致力于打造新一代认知智能大模型,专注于做大模型的中国创新,并训练出100亿参数模型GLM-10B;2021年利用MoE架构成功训练出万亿稀疏模型;2022年公布1300亿级超大规模预训练通用模型GLM-130B,并以此打造大模型平台及产品矩阵。
2023年初,智谱AI 推出千亿基座的对话模型ChatGLM,并开源单卡版模型ChatGLM-6B等,部署于个人开发者和企业应用领域。6月,智谱发布ChatGLM2,包括6B、130B、12B(120亿参数)、32B、66B等参数的模型,推理速度增长42%。据张鹏透露,相比GPT-4版的ChatGPT,ChatGLM2-12B、32B和66B性能分别提升16%、36%和280%。
2023年10月,智谱 AI 公布ChatGLM3-1.5B、3B和6B(15亿、30亿、60亿)参数版本,在多模态理解、代码模块、网络搜索等能力上有所提升,而且相对最佳开源模型推理速度提升2-3倍。同时,基于集成自研AgentTuning技术,在智能规划和执行上比ChatGLM-2提升1000%。另外,ChatGLM3还利用华为昇腾生态,使算力推理速度提升3倍以上。同时,该公司也进行商业化探索,打造AIGC(生成式 AI)模型及产品矩阵,包括已获批上线的智谱清言、高效率代码模型CodeGeeX等。
融资方面,创立至今的四年多,智谱AI 已完成四轮融资,投资方包括君联资本、启明创投、中科创星、美团、蚂蚁、阿里、腾讯、小米、金山、顺为、Boss直聘、好未来、红杉、高瓴等多家机构,去年融资额超过25亿元人民币。目前,智谱 AI 估值超过百亿,是国内 AI 领域独角兽企业。
公开信息显示,截至目前,智谱 AI 开源模型在Hugging Face的全球下载量已超过1100万次,GitHub累计有超过5万Stars。
此次,智谱AI首届技术开放日(Zhipu DevDay)上,主要公布三个重要消息:GLM-4系列多模态模型的发布,上线全新GLM-4的All Tools(所有工具)、GLMs个性化智能体定制能力,以及发起并联合成立多个大模型开源基金、商业化进展,从而拓宽智谱AI GLM系列模型生态。
首先是GLM-4系列模型。具体来说,GLM-4可支持128k的上下文窗口长度,单次提示词可以处理的文本可以达到300页。同时,它的推理速度更快,支持更高的并发,大大降低推理成本,而且文生图和多模态理解等方面都得到了一定增强。
据张鹏透露,在支持中文的文字写作、数学计算、逻辑推理等AlignBench对齐能力基准测试中,GLM-4达到GPT-4的95%-116%的水平;中英文的指令跟随能力方面,GLM-4基本能达到GPT-4的80%左右水平;在支持总结、信息抽取、复杂推理能力的LongBench基准测试中,GLM-4 128k版本达到81.1分,超过了GPT-4(71.2)。
其次,GLM-4的All Tools是全新的智能体能力展示,可实现自主根据用户意图,自动理解、规划复杂指令,能力完全自动,自由调用网页浏览器、代码解释、多模态文生图、文件处理、数据分析、图表绘制等复杂任务;GLMs个性化智能体定制功能则是支持用户用简单的提示词指令创建属于自己的GLM智能体,包括实现自动写代码、帮老师设计丰富有趣教学方案的教案设计师,或是能根据关键词快速生成Logo的画师等。
在会议现场,张鹏同时预告,GLMs 模型应用商店开发者分成计划也将同期公布。
最后是关于基金和生态部分,智谱AI共公布了四个基金项目:一、其联合发起了CCF-智谱大模型基金、SMP-智谱大模型交叉学科基金,去年为全国30余所高校参与的41个研究项目累计提供超过1000万元资金和算力支持;二、今年智谱AI还发起大模型开源基金,提供1000张GPU卡、1000万元现金支持、1000亿免费API tokens;三、智谱AI也将“Z计划”进一步升级,联合生态伙伴发起总额10亿元基金,支持大模型创业项目的创新探索,目前已公开投资了聆心智能、无问芯穹等项目。
商业化层面,目前智谱 AI GLM系列模型与德勤、火山引擎、蒙牛、中国电信、金山软件、芒果TV、马蜂窝、华泰证券等数十家公司合作,应用于政务、金融、能源、制造、医疗等领域,支持10余种国产硬件生态。张鹏透露,除了To B端业务落地,未来智谱 AI 还将做To C端超级应用,目的要把闭环做起来,给未来也留下一个可能性。
钛媒体App了解到,目前智谱 AI 主要销售三类技术服务:数字人SaaS/PaaS方案,科技情报SaaS/PaaS方案,以及包括ChatGLM系列在内的认知大模型PaaS/MaaS平台方案。
张鹏对外透露,2023年下半年,公司签单客户约有几百家,2023年整体有亿级签单额。
对于中国大模型与GPT的差距,据腾讯新闻深网,张鹏表示,目前两者还处于追赶、缩小差距态势,主要是国产大模型起步比OpenAI晚,因此需要不断积累去调整发展速度、曲线的斜率,只有算法、系统工程、数据、应用到落地等链条所有的创新累加起来,才有可能去超越GPT。
此前张鹏曾表示,在规模和核心能力上,国内研发的大模型与世界先进水平差距约一年左右。
中国科学院院士、清华大学教授张钹却认为,大语言模型(LLM)仍存在不自知、质量不可控、不可信、不鲁棒(受提示词影响)等问题,“幻觉”错误也很多。然而,尽管如此,但他却依然支持大模型技术发展,他认为 AI 产业发展一直受制于特定领域、特定模型和特定任务的限制,难以做大做强,因此发展比较缓慢,而大模型给行业提供了发展通用硬件和软件的更多机会。
“我想经过2023年的充分竞争,现在我们逐渐可以说进入一个决战时刻了。”张鹏表示,智谱 AI 将希望与 AI 行业所有的参与者、产业链上下游合作伙伴、开发者社区、学术界一同努力,为中国 AI 未来发展贡献绵薄之力。