阿里巴巴第一款AI芯片背后,有什么深层次思考?
2023-01-02
来源:21ic
昨天,阿里巴巴发布了第一款AI芯片——含光800。除了参数外,还有怎样的故事和深层次考虑?最近一两年,只要国内有公司发布AI芯片,就会在各大社交圈、媒体中炸开锅。日子过不了多久,就会淡去,留下三三两两历史记录中的文章。但我们很少知道背后的故事,这并不是几日的技术狂欢所能说清的。昨天,阿里巴巴发布了第一款AI芯片——含光800。合着云栖大会的热闹,该芯片瞬间成为了近日最闪耀的头条新闻。当阿里CTO张建锋在会议厅展示这块芯片时,介绍很简短,除了参数外,并没有介绍背后的故事。
“前几天,我们都还不知道能不能完成。只能每周干7天,每晚干到12点。就在15号凌晨时,我们最后一批人早上5点20离开(实验室),终于调出来了。当时很多人说不可能,但我们做到了。” 阿里巴巴达摩院平头哥AI芯片研究员焦阳(骄旸)在接受TechSugar等媒体采访时,说到了这款芯片背后的故事。
故事的开头夹杂的质疑,故事的结尾如这批研究员所愿。
这颗芯片
7个月完成了前端设计,之后用3个月就成功流片,速度的确惊人。
据现场介绍,在业界标准的ResNet-50测试中,含光800推理性能达到78563 IPS,比目前业界最好的AI芯片性能高4倍;能效比500 IPS/W,是第二名的3.3倍。在杭州城市大脑的业务测试中,1颗含光800的算力相当于10颗GPU。
人工智能芯片分论坛中,焦阳介绍了更多该芯片的细节,如下两张图。
含光800采用四核设计,其包含170亿颗晶体管,采用台积电的12nm工艺。之所以采用四核架构,焦阳表示:“在设计之后,由于良率提升需求,四个Core任何有一个Core坏死,都不影响芯片工作,这是我们在架构设计时做的特别处理。”
此外,计算单元尽量被放在了存储边上,这是功耗做的很低的原因。
含光800性能的突破得益于软硬件的协同创新:硬件层面采用自研芯片架构,通过推理加速等技术有效解决芯片性能瓶颈问题;软件层面集成了达摩院算法,针对CNN及视觉类算法深度优化计算、存储密度,可实现大网络模型在一颗NPU上完成计算。
含光800已开始应用在阿里巴巴内部核心业务中。根据云栖大会的现场演示,在城市大脑中实时处理杭州主城区交通视频,需要40颗传统GPU,延时为300ms,使用含光800仅需4颗,延时降至150ms。拍立淘商品库每天新增10亿商品图片,使用传统GPU算力识别需要1小时,使用含光800后可缩减至5分钟。
含光800将通过阿里云对外输出AI算力。基于含光800的AI云服务当天正式上线,相比传统GPU算力,性价比提升100%。
过去半年,平头哥先后发布玄铁910、无剑SoC平台。随着含光800的发布,平头哥端云一体全栈产品系列初步成型,涵盖处理器IP、一站式芯片设计平台和AI芯片,实现了芯片设计链路的全覆盖。
张建锋说:“在全球芯片领域,阿里巴巴是一个新人,玄铁和含光800是平头哥的万里长征第一步,我们还有很长的路要走。”
到底怎么想的?
在发布会结束后,笔者从分论坛中,了解到了这款NPU更多的故事和背后的想法。首先是为什么——阿里巴巴为什么要做云上大芯片?
从焦阳的回答中,笔者总结为以下几点:
1,阿里巴巴云计算是一个快速增长的业务,在业内处于领先地位。硬件设计可以帮助阿里巴巴快速拓展业务,降低计算成本,提供海量的计算能力。云计算走到今天,如果没有硬核就很难继续往下走,未来很难在算力上有更多的提高。
2,这不是为了短期商业化,而为更远的愿景。以技术为本,打造过硬的技术。
3,为什么做推理而不是训练?虽然在AI发展中,第一步都是要做很多的训练,但随着算法高速发展之后,将迎来推理端的发展。阿里巴巴涉及的业务,如城市大脑、视觉分析等,算力大大提高其计算效率,把真正的业务量达到突破,从而在云计算中增加更多流量,解决未来业务发展目标。
4,阿里巴巴与传统互联网公司不同,除了搜索和广告业务,还有更丰富的视觉类业务,如淘宝图片、搜索、智能城市、智能工厂等。基于这些业务,CNN加速是对NPU的一个重要方向点,此外阿里还将扩展到新的模式适配。(如下图)
在提到未来芯片计划时,焦阳非常务实地说道:“第一步先把技术做深做扎实,达摩院或者其他的技术团队,目前都在做很多的项目,我们需要从业务中了解业务,不能仅限于只做业务,需要举一反三,来产生更有深度,更有技术水平的产品。含光虽然已经取得了初步的结果,但这远远不够,我们要达到英伟达的水平还有很长的路要走,有了好技术才能有章可循,没有技术,连推产品都推不动。”
“AI芯片是新的领域,新领域本身就存在很多机会。而且人工智能算法是需要特殊架构的,对于阿里巴巴来说,就是挑战皇冠上的明珠。”有20年GPU领域工作经验的焦阳,谈到公司未来也是充满信心。
阿里芯片的边界
前不久,看到新闻上提到马云在阿里巴巴卸任现场上演唱了《怒放的生命》时,我突然发现,凡人已经很难阻止阿里巴巴了。
2017年,宣布成立达摩院;2018年成立平头哥;2019年便掏出了这一款AI芯片。对2020年的大事,目前笔者还没嗅到什么消息,凭借阿里的想象力,总预感会有大事发生。
其实在芯片这块,阿里巴巴的所涉及的部分已经超过一般人所知。
阿里巴巴集团副总裁周明的题为《阿里巴巴基础设施挑战与芯片策略》的演讲中提到,如今阿里在技术分布有CPU、异构计算、NPU、FPGA;互联和网络部分则有自研网络交换机及NOS、自研400G硅光模块、HAIL2.0数据中心网络架构;存储端集合了从SSD到DRAM到新型存储截止爱到服务器的一体机,其中包括AliFlash V3、AliFlash V5.0、阿里巴巴自研云计算服务器、阿里巴巴边缘云服务器。
因为基础设施的加持,才有云栖大会第一场主论坛中,阿里巴巴董事局主席兼首席执行官张勇对数字经济的畅想,他表示:“在数字经济时代,大数据是石油,而算力是引擎。算力不仅代表计算的规模和计算的效率,同时它也包括数量的要求、智慧的程度。算力的发展,最终一定是“数”和“智”全面结合。只有这样,我们才能够在走向数字化的同时,真正走向未来我们共同相信会全面爆发的智慧化、数智化。”
更多信息可以来这里获取==>>电子技术应用-AET<<