龙蜥降世,神龙升级,阿里云投入 20 亿发力操作系统
2021-10-25
来源:CSDN
10 月 20 日,阿里巴巴云栖大会继续在杭州进行,与开幕第一天的主论坛不同,第二天活动的主论坛更加聚焦与技术领域和技术实践。20 日上午,阿里云将服务器、操作系统、人工智能、元宇宙、数据智能等前沿技术悉数亮出,为参会者奉上了一场技术盛宴。
龙蜥降世,神龙升级
会上,阿里巴巴集团副总裁,阿里云智能基础产品事业部负责人蒋江伟宣布,阿里云推出新一代操作系统“龙蜥”并开源。同时,阿里达摩院操作系统实验室也宣告成立。
与之前发布的飞天操作系统不同,龙蜥操作系统定位于服务器端,支持 X86、ARM 等多种芯片架构和计算场景。在阿里巴巴内部打磨 10 年,有效支撑了历年天猫双 11,性能和稳定性都经受住了严苛的考验。同时,龙蜥针对云原生应用开发做了多重优化,为云上典型场景带来 40%的综合性能提升,故障率降低 50%,兼容 CentOS 生态,支持一键迁移,并提供全栈国密能力。
同时,阿里云还宣布推出第四代神龙架构,这是飞天云操作系统新一代虚拟化技术,首次搭载全球唯一的大规模弹性RDMA 加速网络,网络延迟整体降低 80% 以上。神龙4.0 带来的计算架构革新,将云计算首次带进5微秒时延时代。神龙对io的升级还在开发效率的提升,以往的电商客户供应链系统非常复杂,在用户量提升后系统一旦不足以支撑,就需要做分布式架构改造,其过程往往需要 3 到 6 个月,可如果基于神龙架构改造,这一架构不仅能够支持天猫超市目前的体量,甚至未来 2 到 3 年都可以支持,而且升级不需要修改代码。
RDMA 在专用领域是网络延迟和高性能代名词,相比传统TCP 协议,RDMA 能大幅降低网络通信延迟。但是,目前市场上几乎没有企业能够大规模使用 RDMA,这一技术天生有缺陷。但是本代神龙架构攻克了该问题,实现了大规模普惠化的提供RDMA组网能力,阿里云采用软硬一体化的设计思路,将弹性 RMDA 的加速能力融入公共云,让 RDMA 从 HPC 类应用,走向支持通用类计算场景,为 Microservice、Serverless、Service Mesh 等云原生技术大爆发提供技术支撑。
此外,第四代神龙还大幅提升了基础带宽、块存储、IOPS 等核心性能。在深度学习场景下,第四代神龙可提升分布式 NLP 和视觉计算 30% 的训练性能;在大数据场景下,可提升 Spark30% 的计算性能;在数据库场景下,MySQL 性能最高提升 60%、Redis 混合读写吞吐量可提升 130%;NginxSSL 建连每秒吞吐性能提升 420%。神龙 4.0 架构在延时方面表现卓越,其将时延从 90us 提升到了 30us,接近云架构的极限,也接近光速理论极限。
阿里云基础产品负责人蒋江伟表示,作为新一代虚拟化技术的代表,神龙在设计之初就是因云而生的,这次升级一口气在 IO 加速、芯片级安全、云原生弹性和高速网络四大领域做了非常多的优化,为数据库、AI、大数据等通用场景带来性能的飞跃。
在安全方面,阿里云提供了企业级的安全芯片,并基于芯片提供了可信根能力,对运行态、传输态等提供全链路加密;同时,保护客户的数据安全是阿里云第一原则,阿里云将自身的行为透明化,让客户对阿里云更有信心。
同时,阿里云将 ECI 和 ECS 并持,实现了云原生的超高弹性能力,在单个云原生服务器上能够支持 2000 个容器,支持高密部署,对于长尾系统具有很高价值,这意味着用户不需要把每个系统都部署在服务器或者虚拟机上,降低资源消耗,提升企业效率,降低成本。神龙架构是容器最佳载体,容器天生需要隔离,要软硬件共同使用。今年发布的 AC 相比开源容器性能提升了40%,得益于神龙加持阿里云上 30 秒可以部署 3000 个容器实例,其能够将大数据等前沿产品部署在边缘、本地或客户数据中心等地,并最终实现统一的集群管理,统一的资产调度和容灾等。
据悉,龙蜥操作系统完全开源,通过开源社区和操作系统厂商等形式提供服务。未来,阿里云计划为龙蜥投入 20亿专项资金,并联合 100 家合作伙伴推动生态建设,提供至少十年技术支持。龙蜥操作系统目前已经被广泛使用,大量基于龙蜥发行版打造的产品已经部署在阿里云上,在各个场景中发挥能力。在生态方面通过共建,阿里达摩院操作系统实验室将会基于社区为社会培养 5 万名操作系统方面的人才;阿里云还希望练好内功被集成,通过持续开放,让大家能够基于IaaS 产品,与阿里内部的 PaaS 产品公平竞争。
在演讲最后,蒋江伟还谈到了国际权威机构 最近三年每年对云厂商技术能力评估时,通过超过 200 项的技术评估,最终阿里云在 9 个大类中的 4 个大类拿到最高分,分别是存储、计算、网络、安全,而阿里云能够取得这一成绩,离不开客户们苛刻的要求,才使得阿里云与客户共同进步。
发力云原生数据库 2.0,PolarDB 三层解耦重磅升级,PolarDB-X 全面开源
随着产业数字化的发展,企业对数据处理、数据安全的要求提高,对数据价值实时挖掘需求越发强烈。阿里云洞察到数据库已步入新阶段,今年提出“云原生数据库 2.0”理念。在云原生数据库 2.0 阶段,阿里云数据库希望能从原子产品差异化走向一站式数据管理,实现一站式全链路数据管理与服务,让开发者、企业用户和业务侧更多地关注怎样从数据里发掘价值,让数据自由无缝流动成为可能。
因此,在云原生数据库 2.0 时代,阿里云打造出丰富的企业级云原生数据库产品组合:云原生关系型数据库 PolarDB、云原生分布式数据库 PolarDB-X、云原生数据仓库 AnalyticDB(ADB)、一站式数据管理平台DMS、云原生多模数据库 Lindorm、企业级云数据库服务 RDS 以及 DBStack 等。
云原生数据库 2.0 理念下,如何将云原生进行到底?
在今天会上,阿里巴巴集团副总裁、阿里云智能数据库事业部总负责人李飞飞宣布 PolarDB 重磅升级:第一,业内首次实现内存与计算、存储的三层解耦,实现内存池化,使得弹性能力呈数量级提升,同时大幅度降低成本;第二,上线多主架构,进一步提升可用性、并发处理、弹性能力,高效应对像“双11”一样的流量洪峰;第三,成为真正的 HTAP 数据库系统,可同时处理 OLTP 和 OLAP 型混合负载。
同时,将云原生分布式数据库 PolarDB-X 全面开源,致力为政企构建原生 MySQL 分布式数据库。
传送门 https://github.com/ApsaraDB/galaxysql
在今年 5 月的 2021 阿里云北京峰会上,阿里云宣布了【阿里云数据库开源计划】,率先将PolarDB for PostgreSQL 分布式版开源,其包括数据库内核、相关插件、工具脚本、测试用例以及设计文档,适用于中大型企业核心业务场景。本次 PolarDB-X 全面开源也是阿里云数据库开源计划关键的一步,将阿里云数据库核心能力逐步开放给开发者,共同推进云原生数据库 2.0。
目前,阿里是国内开源贡献最大的科技公司,GitHub 拥有 2700 多个开源项目,3000+贡献者,拥有 111 万个 Star。
阿里灵杰首亮相,开箱即用的大数据+AI 一体化平台
自 1956 年达特茅斯人工智能夏季研究计划以来,人工智能已诞生 65 年,期间几经起伏。阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示,AI匠人时代势必远去,我们需要梳理生产关系,迎接人工智能的再增长。
其中关键技术是大数据+AI 一体化,在贾扬清看来,当今大数据+AI 一体化平台必须具备以下四点标准:
(1)大模型(Scale):即大数据、大模型、大应用;
(2)高效率(Speed):即极致的运行、开发、运维效率;
(3)易用性(Simplicity):平台API和SDK标准、像调用函数般易用;
(4)场景化(Scenario):需向场景而生,提供平台场景化适配能力。
目前阿里云大数据+AI一体化平台拥有数据生产与采集、数据存储与分析、数据开发与治理、机器学习等一体化能力。
如何将这些大数据+AI 一体化能力更好地开放给用户,向全社会各行业普惠大数据+ AI 技术?
对此,阿里云正式推出“阿里灵杰”平台,让企业及开发者“开箱即用”阿里云大数据+AI能力,降低 AI 应用门槛,专注于应用开发,提供插件式的业务交付。
阿里灵杰集成阿里云机器学习平台 PAI、云原生大数据计算服务 MaxCompute、实时计算Flink版、大数据开发治理平台 DataWorks、实时数仓 Hologres等产品,可调动规模高达10万台以上计算集群,拥有云边端一体的高性能训练和推理引擎,能提供毫秒级延迟的实时数据分析能力等,目前是中国最大的大数据+AI一体化平台。
另外,为打造通用性 AI 大模型,基于阿里灵杰,达摩院研发多模态预训练模型 M6,其参数已从万亿升级至 10 万亿,成为全球最大的预训练模型,规模超越此前谷歌发布的 1.6 万亿 Switch Transformer模型。
会上,贾扬清演示了和犀牛制造利用 PAI 和 M6,采用阿里灵杰,使用简单的代码,秒级生成 T-shirt 制作创意。还和北京大学化学与分子工程学院来鲁华教授组进行靶向药物研究,利用阿里灵杰完成最大规模蛋白-配体复合物动力学数据集构建,效率提升 100 倍。
燃起来的元宇宙,可能是未来的革命起源
元宇宙最近很火,但是却很难有人能给出其真正的定义。那么元宇宙到底是什么?阿里巴巴 XR Lab 负责人谭平认为,元宇宙就是 AR/VR 眼镜上的整个互联网。他认为,元宇宙是新平台上的一种呈现模式,其未来可能会包含了社交、电商、教育、游戏甚至支付等,如今所有的互联网元素最终都会在元宇宙上出现新的呈现方式。
元宇宙能够带来的可不只是新奇,其很可能会变成新一代的技术革命。在上世纪 90 年代,PC 是主流计算平台,后来手机崛起取代 PC,而如今,很多人便相信 VR/AR 眼镜会成为下一代平台。平台的迭代意味着技术和企业的交接,手机出现创造大量本地生活服务巨头,基于新平台的新特性会创造前所未有的新体验。在VR/AR时代,当我们有了虚拟替身,一切都很可能会改变。
新平台的技术本质是新显示和新交互,在过去不管是 PC 还是手机,显示界面是二维的,应用均基于窗口打造,用户交互便是在窗口内鼠标点击和拖拽。VR/AR 新平台之下,显示和交互变成了三维空间,我们通过肢体动作、语言、手势甚至眼神都可以和应用交互。显示和交互是一切应用的底层,当底层发生变化,那么上层应用必将形成一场革命。
元宇宙会带来互联网的重大变化,新的巨头会可能会再次崛起。那么元宇宙的技术构成究竟包括了哪些层面的内容呢?在谭平看来,元宇宙主要包括了以下四层内容:
第一层,全息构建。这一层需要构建出虚拟化内容,并提供给用户基础的虚拟体验;
第二层,全息仿真。这一层会基于全息技术让虚拟化的世界无限逼近真实世界,而数字孪生等科技应用也在这一层实现;
第三层,虚实融合。这一层需要构建基于整个真实世界的高精度三维地图,实现定位并让虚拟世界与真实世界叠加,实现这一层的话将会有望打破虚拟世界和真实世界的边界;
第四层,虚实联动。如果没有联动,那么美好就将会只能留在虚拟世界。而要通过改变虚拟世界来改造真实世界,也其答案不言而喻,也就是机器人的力量。
最后谭平认为,如果这四层元宇宙的技术都能够实现,那么接下来一个全新的互联网时代就将会到来。
数字化普惠,与云钉一体的趋势
如今,数字经济发展存在一大矛盾,企业数字需求很强烈但软件供给不足,阿里巴巴集团副总裁,阿里云智能钉钉总裁叶军,表示这一问题产生的原因在于软件制作成本高,而云钉一体可以解决这一问题。
在钉钉推出 6.0 版本之后,钉钉的价值日益增加,其能够把沟通搬到线上,把协同搬到线上,将销售等进销存系统搬到线上,把生态伙伴的业务链接搬到线上。而企业所需要的还不止于此,他们还希望数据能够流动,而这也恰恰就是数字化和信息化最大的区别。因此,钉钉帮助大家共同进入数字化的方法主要包括了两方面,组织数字化和业务数字化,而这两个数字化被称为企业数字化的基因双螺旋结构。
组织数字化在过去是 HR 系统等简单操作,但是现在很多企业,还希望用数据去分析组织架构是否合理,部门协同是否高效。组织数字化技术的价值就在于帮助管理和参考,钉钉全模块一体化智能平台,能够打通业界的海量 SaaS 软件,让数据流动起来,让 SaaS 软件相通且不孤立。
业务数字化的价值在于让业务高效创新,以往ERP数据往往不准确、不及时,而如今问题依然存在。想要解决这一问题,钉钉从四个方面着手进入:
第一,将业务系统放在云上,而不是本地。这样的话可以让应用上云,让创新的使用方式产生。在统一的界面及体系中使用,增加应用流动性。
第二,解决系统连接问题 ,让系统的连接更加普惠。系统连接的的本质是中心问题,云钉一体让问题以客户为中心进行解决,而不是以平台为中心。
第三,人机交互问题。以往人机交互往往会使用组件,让选择变得更容易。但是如今人机交互还依赖于IoT设备,互联网表单等大量的输入形式,速度慢形式多,自然难度高。而钉钉搭低代码平台,让用户可以在手机上直接搭建应用,提供低代码平台并精选600套模板鼓励大家拥抱低代码,让更多人能够开发系统,提供效率。
第四,场景化问题。钉钉的价值在于其界面上每个位置都可以开发,工作台可以定制,并且这些能力正常对外开放,其可以帮助用户跨组织、跨公司开发。云钉一体在帮助企业加速数字化,希望未来能够有越来越多的企业和专家能够享受到数字化红利。
结语
早在今年 5 月的阿里云峰会上,达摩院院长、阿里云智能总裁张建锋表示,今年对于阿里云来说有四个关键词:做好服务、做深基础、做厚中台、做强生态。
从昨日在云栖大会开幕式发布的云芯片倚天 710、磐久自研服务器、开源玄铁 RISC-V 系列处理器,到今天重磅发布的神龙4.0、龙蜥操作系统、PolarDB 升级、PolarDB-X 全面开源、推出阿里灵杰等新技术产品,我们发现阿里云做深基础的战略成果浮出水面,底层自研技术迎来大爆发,其终极目标是打造面向未来、以云为核心的新型计算体系。