1 制造大数据的产生和研究现状

1.1 制造大数据的研究现状

    大数据一词在《The Third Wave》一书中最早被提出后，在农业、交通、金融、医疗、遥感等行业得到了充分的发展和应用，制造业也不例外，尤其在2013年的《中国大数据技术与产业发展白皮书》中，明确指出在制造业采用大数据技术可以减少20%到50%的产品开发时间，促进制造业的转型升级；在2014年的《大数据标准化白皮书》中强调必须推动大数据在大规模制造业生产过程中的应用，鼓励企业运用大数据开展个性化定制，创新生产管理模式，降低生产成本，提高企业竞争力。

    文献[1]提出一种基于服务的制造数据管理方法，实现了产品研制和生产制造过程的有效管理；文献[2]利用物联网技术加强制造信息的管理和服务，旨在利用大数据技术构建一个高效节能、绿色环保的人性化工厂；文献[3]利用RFID技术实现生产制造过程的工人、工序、工件、工时的实时统计和分析，便于质量管理和追溯的目的；文献[4]提出一套制造执行系统的关键技术体系和实现框架，为解决生产制造过程实时数据采集和传输提供了技术支持；文献[5]阐述了一种融合RFID和条形码的生产制造过程自动识别技术；文献[6]通过对制造单元感知实体属性和感知设备方面的分析，实现对生产线制造过程的实时跟踪、精确管理。

    综上文献资料，学术界近几年对制造领域的数据分析和处理进行了大量的科学研究。随着制造业信息化进程的推进，制造业产生的数据量呈爆炸式增长趋势，传统的数据分析和挖掘算法在数据维度和规模增大时，需要的内存和硬件资源呈指数级增长，尤其是处理PB级别数据量时，其时空复杂度表现为线性增长，超出人们能够忍受的正常范围，急需更简单有效的算法来解决当前的问题。本文在阐述制造大数据研究现状的基础上，综合分析其来源，给出制造大数据的定义，并提出一种制造大数据的技术架构，同时展开其关键技术的探讨。

1.2 制造大数据的产生

    E-works的黄培博士早在2012绩效年会开幕致辞《中国制造业的大数据时代》中提到制造业处于数据爆炸的时代。车间的产品数据，流通阶段的运营数据，客户、厂商和合作者之间的价值链数据、市场的舆情数据、行业竞争对手的数据、国家政策信息以及PDM、MES、ERP、CRM、SCM、CAD/M/E、CAPP等软件和RFID射频识别、物联网、传感器、电子标签、互联网+等技术在制造业的广泛应用，促进了制造模式的创新，产生了制造大数据。

1.3 制造大数据的概念

    目前业界对大数据的定义尚有争议，研究机构Gartner认为“大数据”是在新处理模式下具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；麦肯锡给出的定义是：一种在获取、存储、管理、分析方面规模巨大，超出了传统软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征^[7-8]，后者的观点更能得到业界的普遍认同。

    综合各界对大数据的阐述，结合制造业信息化的概念及应用^[9]，将制造大数据定义为：制造业通过网络化、数字化形成的海量异构制造行业数据资产汇聚，通过信息驱动的制造行业数据资源应用，为改造和提升制造业创新制造及服务能力、促进转型升级、实现智慧制造提供了支撑^[10]。

2 制造大数据的技术架构

2.1 制造大数据处理流程分析

    制造大数据的处理流程^[11]如图1所示，主要包括以下部分：(1)传感器，是制造大数据的主要采集工具；(2)采集中间件，负责源数据的采集，同时对数据预处理，消除数据不确定性，规范化处理数据；(3)存储中间件，制造大数据具有海量、异构、实时、多源的特点，从而要求存储设备实现性能和容量的线性扩展；(4)处理中间件，数据处理离不开规则约束下的有效挖掘，因此，高效的人工智能、机械学习、数据挖掘算法是基础技术；(5)安全管理中间件，制造大数据的应用绝大部分用于车间、工厂、企业、市场，其数据的安全性和准确性直接关系到应用的有效性；(6)制造大数据应用，是制造业信息化、网络化、智能化的最终体现。

2.2 制造大数据技术架构分析

    基于数据驱动的制造大数据处理流程分析，提出如图2所示的制造大数据技术架构，主要包括数据采集、预处理、分析、应用4个部分^[12-13]。(1)数据采集，以传感器为主要采集工具，结合FRID、条码扫描器、生产和监测设备、PDA、人机交互、智能终端等手段采集制造领域多源、异构数据信息，并通过互联网等技术实现源数据的实时准确传输。采集的源数据归纳起来一共是结构化、半结构化、非结构化三类数据，相应的数据说明如表1所示。(2)数据预处理，首次采集获得的源数据是多维异构的，为避免噪音或干扰项给后期分析带来的困难，必须执行同构化处理，同时将处理结果有效存储在性能和容量都能线性扩展的分布式数据库中。数据预处理包括四个步骤^[14]：数据清洗、数据交换、数据集成、数据归约；(3)数据分析，在传统数据挖掘的基础上，结合新兴的云计算、Hadoop、专家系统等对同构数据执行高效准确地分析运算，并用可视化技术展示结果；(4)数据应用，主要应用于车间、工厂的流程管控和优化，产品研发的决策支持，质量检测和故障预警，供应链优化等方面。

2.3 制造大数据关键技术分析

    制造系统中不仅包括制造设备软硬件，还包括制造工艺等多维异构数据。提高采集、分析和处理制造数据的能力，真实客观地反映制造过程，是确保生产制造过程高效、可靠的关键。其中，云计算是基础；分布式文件系统为其提供数据存储架构；分布式数据库便于数据管理，同时提供高效的访问速度；MapReduce等技术对异构数据进行分析处理，最后利用可视化技术形象生动地呈现在用户眼前，满足用户需求。

    (1)云计算

    在海量制造数据面前，如何分析、提取有效信息是企业的当务之急。来自公有云、私有云和混合云之上的强大的云计算能力^[15]，是提取大数据价值的前提。云计算的核心服务包括三种类型：SaaS、PaaS和IaaS^[16]。

    (2)分布式技术

    分布式文件系统是指管理模式下的实际存储资源，有的与本地节点直接物理连接，有的则通过互联网与本地相连^[17]。目前常见的分布式文件系统有GFS、S3、TFS等。

    分布式数据库的基本思想是将原来集中式关系型数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。目前常见的分布式数据库有BigTable、PNUTS和Dynamo等。

    (3)MapReduce技术

    MapReduce是基于Hadoop分布式平台下的一种计算机编程模型，适用于大规模数据集的并行计算，它为底层程序员提供了一种快速开发、分析处理海量数据的环境，并且使这种模型下开发出来的程序能够在一些大型的商业集群上以一种高速、稳定、容错的方式运行^[18-19]。

    (4)可视化技术

    数据可视化主要是借助于图形化手段，清晰有效地传达与沟通信息，便于非专业人士根据需要从不同的角度观察和分析数据。如今，可视化的研究和应用已经覆盖了科研界、企业界、社交网络等多个领域。目前常用的可视化工具有FushionCarts、Tableau、Dipity等。

3 制造大数据的应用

    (1)基于制造大数据的产品研发决策与优化

    美国的福特汽车公司利用大数据分析的技术，打破公司内部数据孤岛，通过分析外部收集的数据和内部反馈的详细数据，探索最佳工艺指标和生产流程，改进或帮助改变其业务模式，对内指导公司生产流水线，提高产品质量，对外推广市场，赢得较好的口碑和效益，使得福特实现了连续17个季度盈利。

    (2)基于制造大数据的生产流程管控与优化

    家居行业的尚品宅配利用大数据分析的技术，串联整个产业链，实现了柔性生产和大规模定制。通过收集楼盘、房型数据建立房型库，再扩展到产品库、设计库、解决方案库的三位一体，形成云设计库。基于此，公司产能提高了10倍，出错率则从30%下降到了3%以下，交货周期从30天缩短到了15天以内，实现了彻底的零库存。

    (3)基于制造大数据的价值链集成和综合决策

    中国石油依托大数据技术发展其“资源、市场、国际化”的战略。首先，通过挖掘数据潜在价值，实现新的油气增产；其次，通过完善数据收集分析和监测体系，扩大市场份额；最后，通过对重点资源国地缘政治、经济动态的分析和把握，建立良性互动的竞争合作关系，从而为正确实施“走出去”战略，降低海外投资风险提供保障。

4 制造大数据的挑战

    结合我国制造业的现状和大数据的瓶颈，制造大数据带来的挑战表现为以下几点：

    (1)制造大数据多源异构融合的复杂性

    制造大数据来源广泛，种类繁多，关系繁杂。目前缺乏对实时、多源、不确定数据的有效自动识别和获取的解决方案，致使数据质量参差不齐，难以实现低成本、低能耗、高可靠性的目标。如何构建融合多源异构数据的泛化模型是制造大数据在感知、分析和处理时面临的巨大挑战。

    (2)制造大数据团队的核心技术和运营理念

    中国的制造业大而不强，源于两个因素：核心技术依赖于国外、缺乏资源整合和运作的团队领导能力。大数据的热潮带来了创新的思维模式和革新的信息技术，实现技术升级和管理升级是中国制造业面临的迫切需求。因此，如何培养一批“懂中国”、“懂技术”、“懂管理”的本土专业人才是当前面临的又一大挑战。

    (3)制造大数据技术有效实施的安全手段

    制造大数据自身的特点决定了其处理方式的多样性、灵活性和广泛性，大量数据信息跨界传送，使得安全问题相伴而生。黑客、病毒、人为故障、自然灾害等因素都是潜在的安全隐患。常用的数据保护措施不再适用，如何开发出行之有效的保密手段将是下一阶段的难点之一。

5 制造大数据展望

    两化深度融合、发展战略性新兴产业和先进制造业是保持我国制造业竞争优势的重要支撑。未来十年是我国制造业依靠制造大数据技术转型升级，从“制造大国”走向“制造强国”的关键时期。通过大力推行数字化、网络化、智能化手段，提高创新设计能力，提升产品质量，主要发展以下方向：

    (1)基于制造大数据的可持续发展

    可持续生产发展关键的两个方面是能源消耗的最小化和废物排放最少化。因此，制造产品全生命周期中对环境资源的一体化需求驱使用户思考和使用新的决策工具。借助于制造大数据的契机，积极推进制造业的转型升级，通过采集、存储、分析制造业的大数据有望实现制造业资源的浪费最小化和能源最大化利用的目标。

    (2)基于制造大数据的智慧制造

    在制造业转型升级过程中，制造业正朝着数字化、信息化、网络化、绿色化为一体的智慧制造方向前进。在未来一段时期，基于制造大数据技术的智慧制造企业将支撑起中国制造业的可持续发展，智慧工厂就是一个典型。在智慧工厂中，通过人与智能设备的有机协作，利用物联网感知监控技术加强生产线的可控性，最终提升企业竞争力，促进工业增长。

    (3)基于制造大数据的互联网+协同制造

    依托互联网+，制造业需要通过两化深度融合，利用制造大数据技术实现用户、车间、工厂、企业等各个环节数据的快速传递，构建网络化协同制造公共服务平台，加快形成网络化制造业生态体系，实现产品全生命周期的互联、互通、协同，真正满足市场客户的个性化定制需求，使企业实现从单纯制造向“制造+服务”的转型升级，最终促进国民经济的发展。

参考文献

[1] 刘威，乔立红，杨建军.基于服务的制造数据管理[J].计算机集成制造系统，2009(7)：1342-1348.

[2] JAMES T.Smart factories[J].Engineering and Technology，2012，7(6)：64-67.

[3] YAO X，DAI H，ZHANG Z.RFID-enhanced integrated manufacturing for Job-shop floor problems[J].Icic Express Letters Part B Applications，2011(2)：319-324.

[4] 张映锋，赵曦滨，孙树栋，等.一种基于物联技术的制造执行系统实现方法与关键技术[J].计算机集成制造系统，2012(12)：2634-2642.

[5] LIU W N，ZHENG L J，SUN D H，et al.RFID-enabled real-time production management system for Loncin motorcycle assembly line[J].International Journal of Computer Integrated Manufacturing，2012，25(1)：86-99.

[6] 彭煜.制造单元物联感知关键技术的研究与实践[D].武汉：武汉理工大学，2013.

[7] 王珊，王会举，覃雄派，等.架构大数据:挑战、现状与展望[J].计算机学报，2011(10)：1741-1752.

[8] 王元卓，靳小龙，程学旗.网络大数据:现状与展望[J].计算机学报，2013(6)：1125-1138.

[9] 顾新建，张栋，纪杨建，等.制造业服务化和信息化融合技术[J].计算机集成制造系统，2010(11)：2530-2536.

[10] 陈伟兴，李少波，黄海松.离散型制造物联过程数据主动感知及管理模型[J].计算机集成制造系统，2016(1)：166-176.

[11] 张桂刚，毕娅，李超，等.海量物联网数据安全处理模型研究[J].小型微型计算机系统，2013(9)：2090-2094.

[12] 孟小峰，慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展，2013(1)：146-169.

[13] 刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报(工学版)，2014(6)：957-972.

[14] HUANG J，LI Y F，XIE M.An empirical analysis of data preprocessing for machine learning-based software cost estimation[J].Information & Software Technology，2015，67：108-127.

[15] MELL P，GRANCE T.The NIST definition of cloud computing[J].National Institute of Standards and Technology，2009，53(6)：50.

[16] QI Z，LU C，BOUTABA R.Cloud computing: state-of-the-art and research challenges[J].Journal of Internet Services & Applications，2010，1(1)：7-18.

[17] 周江，王伟平，孟丹，等.面向大数据分析的分布式文件系统关键技术[J].计算机研究与发展，2014(2)：382-394.

[18] 覃雄派，王会举，杜小勇，等.大数据分析——RDBMS与MapReduce的竞争与共生[J].软件学报，2012(1)：32-45.

[19] XIAO Z，XIAO Y.Achieving Accountable MapReduce in cloud computing[J].Future Generation Computer Systems，2014，30(1)：1-13.