引用格式:许政,阮西玥,陈祥浩. 基于云-边-端的多源异构大数据治理架构研究[J].网络安全与数据治理,2024,43(12):47-53.
引言
随着航空制造业数字化转型进程的高速推进,制造产线数字化程度不断提升以及传感技术广泛应用,海量类别多样、复杂度高、质量参差的实时数据、非实时数据,以及结构化数据和非结构化数据呈几何式增长,数据中心的网络资源、计算资源和存储资源都面临巨大的压力,通信网络和服务器资源的建设进程已难以满足当前航空制造数字化业务的信息联通和算力需求。
云计算严重依赖网络,计算资源过于集中,灵活性不足,面对系统实时性和可靠性要求较高的应用场景时,服务能力不足[1];边缘计算作为云计算的补充,能够在数据源头完成一定规模的数据分析处理,具有网络时延小、实时性好的特点[2];因此,云–边–端作为一种新型的数据治理架构被提出[3],它结合了云计算和边缘计算的优点,运用云-边资源同步[4]技术,以最低的成本满足用户低延迟服务的需求。
目前,云-边-端数据治理架构已广泛应用于电力系统[5]、车联网[6]、物联网[7]、智能交通[8]等领域,相关研究主要聚焦于系统架构优化[9]、传输时延及带宽降低[10]、数据质量提升[11]等方面,主要目标是减少资源同步时延、降低系统能耗以及提高用户体验。
基于此,本文面向航空机载产品制造场景,提出一种基于云-边-端的多源异构数据治理架构,从数据传输、边缘数据治理、云端数据治理等维度给出解决方案,提升数据传输效率和数据存储质量,并通过实验验证了架构的可行性和可用性。
1基于云-边-端的多源异构数据治理架构设计
本文以数据为核心,构建基于工业互联网云平台的远程分布式云-边-端一体化多源异构数据治理架构,如图1所示,数据自底向上逐层传输处理,涵盖数据采集、数据存储、数据处理和数据应用全过程,形成多源异构数据采集、边缘数据预处理传输、云数据中心工业大数据存储以及云端业务应用系统等各环节技术与业务架构解决方案。
(1)工厂端:解决制造现场端多类型设备、多类业务系统以及多种监测方案产生的多源异构数据采集问题,采集数据包括设备实时运行数据、工艺数据以及计划、质量等业务数据;
(2)边缘端:采集工厂端设备和本地网络中的数据,通过数据协议解析完成采集,经清洗处理在本地数据库形成备份,实现设备告警、状态监控、数据处理、历史数据查询等功能,同时将设备采集信息传送给数据中心;
(3)云端:采集边缘端上报数据和工厂端本地数据,根据数据特性选择实时数据库、关系数据库或者分布式存储,经数据处理,形成数据资产,实现制造过程数据云端的统一汇聚,支撑制造业务服务、数字孪生、大数据服务、人工智能算法服务等云端应用。
本文详细内容请下载:
https://www.chinaaet.com/resource/share/2000006266
作者信息:
许政,阮西玥,陈祥浩
(中航机载系统共性技术有限公司,江苏扬州225000)