英伟达牵头发布代码大模型StarCoder2
2024-03-06
来源:36Kr
生成式人工智能的走红已经持续了一年多时间,而且大概率会一直热下去。
不过随着大众对于AI的了解越来越深入,有一个事实也被不少人用段子的形式揭露了出来,“我以为AI是要来帮人类做家务的,让我好去写诗做画,结果现在AI来了,AI直接开始写诗做画了,我依然在扫地做菜”。
如此调侃背后指向了当下的AI过于“风花雪月”,离真正能改变生产力场景太远。
01
当然,目前并不是所有的AI大模型厂商都在文生图、文生视频赛道狂奔。
日前有消息显示,英伟达联合知名AI开源社区Hugging Face和ServiceNow,发布了名为StarCoder2的LLMs系列模型,并希望成为代码生成领域的新标准。
据悉,LLMs系列系列模型包括一个由ServiceNow训练的30亿参数模型、一个由Hugging Face训练的70亿参数模型,以及一个由英伟达训练的150亿参数模型。
据悉,StarCoder2经过了619门编程语言的训练,可执行源代码生成、工作流生成、文本摘要等专业任务。英伟达对此表示,开发人员可以利用它进行代码补全、高级代码总结、代码片段检索等,从而提高工作效率。
并且值得一提的是,该模型将在BigCode Open RAIL-M许可证的基础上以开放访问的方式发布,以允许免版税分发。与现阶段没有用例限制的传统开源软件不同,BigCode在发布模型时附带了一个负责任的人工智能模型许可证,限制其被用于生成或分发恶意代码以损害电子系统。
02
在GitHub Copilot之后,终于又出现了一个真正意义上的代码生成大模型。那么,这一次人人都能是程序员的时代要来了吗?当然不是,且不提StarCoder2并有没有夸大宣传,即便StarCoder做到了它所宣称的一切,上限也只不过是一个程序员的助手,而非代替程序员。这与Midjourney、Stable Diffusion在一定程度上代替画家,有着本质的区别。
目前StarCoder2的技术文档并没有公开,但从它的上一代产品StarCoder就能一窥该LLMs系列模型的特质。作为将大语言模型集成至编程领域代表的StarCoder,其训练模式与传统的大语言模型并没有什么区别,无非就是训练ChatGPT、文心一言这类大模型主要是使用各种文字内容,而StarCoder的语料则是代码。
这也就意味着StarCoder与ChatGPT、文心一言没有本质上的区别,前者更像是一个专精于细分场景的大模型,而这一类代码大模型目前能做到的就是自动补全代码、根据指令修改代码,以及用自然语言解释代码片段等任务。
要知道,目前一众大语言模型最大的命门就是缺乏自我纠正的能力,无论是作为AI聊天机器人的ChatGPT、文生图的Stable Diffusion,还是文生视频的Sora都无法规避幻觉,它们可能会生成一大段不同风格天马行空般的呓语。如今能看到的用ChatGPT作诗、用Stable Diffusion作画,乃至用Sora生成视频,其实都离不开人来筛选和修正其中可用的一段。而这背后的含义,就是目前的AIGC还不是智能体、更不是AGI,而像是一种对于人类输出能力的模仿。
以目前应用AIGC最为成熟的游戏美术领域为例,游戏厂商通常采用的工作流是用AI出一个底稿,然后由人工来增加细节、并纠偏,再将修改过的画面重新输入AI大模型,然后重复多次,直至打磨出能用的作品。指望AI一次就做成可以商用的图片,至少现阶段是不现实的一件事。然而这样的工作模式放在编程领域就不那么好使了,因为使用StarCoder2其实就相当于是接手别人的代码、并debug。
但这几乎可以说是程序员最不喜欢做的事情之一,特别是没有注释的代码。因为你不可能清晰明了地了解他人代码的整体设计思想及理念,所以能让代码跑起来就已经不错了,再加上缺失了相关注释,debug简直就是一件灾难性的工作。因此如今即便已经是程序员的用户,对于代码模型的使用都很谨慎,基本也不会考虑直接用大模型生成用于生成环境的代码。
03
至于说有了StarCoder2人人都能成为程序员,这就更难实现了。用自然语言生成代码其实早在GitHub的Copilot Chat上就已经实现,可又多少人仅仅靠着Copilot Chat就能敲开程序员生涯的大门呢?其实编程是一门与计算机对话的学问,C++、Java、PHP等语言则是代码世界的“英语”、“汉语”、“法语”。但程序员真正的竞争力并不是代码编得又快又好,而是能否把现实世界中的需求,清晰地翻译到抽象的观念世界。
这种能力,就是产品经理与开发这两大互联网公司中常见职位的标志性差异,而没有受过计算机科学培训的人最缺乏的往往就是抽象能力。不过尽管程序员暂时还不需要像画师一般担忧自己的工作马上就会被AI抢走,可StarCoder2等代码大模型的出现,就代表着相关厂商一直在尝试削弱程序员群体的议价权,这显然不是一个好兆头。