《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 基于深度学习的复杂分拣图像快速识别方法研究
基于深度学习的复杂分拣图像快速识别方法研究
2020年电子技术应用第2期
陈志新,董瑞雪,刘 鑫,王毅斌,梁世晓
北京物资学院,北京101149
摘要: 训练速度更快、识别精准度更高的图像识别技术一直是智能技术的研究热点及前沿。针对物流分拣仓库环境复杂、照明度不高以及快递外包装区别不明显的特点,对基于深度学习的分拣图像快速识别进行了研究,设计了一个卷积神经网络。由于仓库的封闭环境和光照条件等因素而导致分拣图像不是很清晰,首先用对偶树复小波变换对其进行降噪等预处理;然后在基于AlexNet神经网络的基础上,对于卷积神经网络的卷积层、ReLU层和池化层参数进行重新定义来加快神经网络的学习速度;最后根据新的图像分类任务对神经网络的最后三层全连接层、Softmax层和分类输出层进行定义来适应新的图像识别。所提出的基于深度学习的快速分拣图像识别方法在面对较为复杂的分拣图像识别时,有较高的训练速度和识别精准度,能达到实验要求。分拣图像快速识别对于提高无人仓等场合下的物流效率具有重要意义。
中图分类号: TN919.8;TP391.41
文献标识码: A
DOI:10.16157/j.issn.0258-7998.190828
中文引用格式: 陈志新,董瑞雪,刘鑫,等. 基于深度学习的复杂分拣图像快速识别方法研究[J].电子技术应用,2020,46(2):71-75.
英文引用格式: Chen Zhixin,Dong Ruixue,Liu Xin,et al. Research on rapid recognition of complex sorting images based on deep learning[J]. Application of Electronic Technique,2020,46(2):71-75.
Research on rapid recognition of complex sorting images based on deep learning
Chen Zhixin,Dong Ruixue,Liu Xin,Wang Yibin,Liang Shixiao
Beijing Wuzi University,Beijing 101149,China
Abstract: Image recognition technology with faster training speed and higher recognition accuracy has always been the focus and frontier of intelligent technology research. Sorting image fast recognition is of great significance to improve logistics efficiency in unmanned warehouse and other occasions. The simulation of sorting image fast recognition based on deep learning is studied. A convolution neural network is designed. For the specific environment of logistics warehouse and the specified objects to be identified, the sorting image is not very clear because of the closed environment and illumination conditions of warehouse. Firstly, the dual tree complex wavelet transform is used to denoise the sorting image. Then, on the basis of AlexNet neural network, the convolution layer of convolution neural network is dealt with. ReLU layer and pooling layer parameters are redefined to speed up the learning speed of the neural network. Then, according to the new image classification task, the last three layers of the neural network are defined, which are full connection layer, Softmax layer and classification output layer, to adapt to the new image recognition. The proposed fast sorting image recognition technology based on depth learning has higher training speed and recognition accuracy in the face of more complex sorting image recognition.
Key words : deep learning;convolution neural network;image recognition;sorting

0 引言

    物品在出入库时往往会用到分拣系统,而在多品种单元物料自动分拣系统中,基于机器视觉的智能识别技术应用比较普遍,相关领域的核心技术研究在不断地深入,其中研究训练速度更快、识别精准度更高的智能识别技术一直是智能技术的研究热点及前沿技术。张娟[1]提出一种基于稀疏表示算法的三维多媒体视觉图像人工智能识别方法。深度学习作为近来机器学习领域的最新研究成果,在图像处理领域有着强大的建模与表征能力,取得了突破成果。在各种深度神经网络结构中,卷积神经网络(Convolutional Neural Network,CNN)应用最为广泛,在图像识别领域受到极大关注。它通过卷积计算逐层抽象图片不同层次的语义,通过数据集的训练拟合调整各个卷积核的内部参数,从而在无监督的条件下实现分类特征的抓取[2]。此后更深层次的AlexNet网络[3]取得成功,此后卷积神经网络蓬勃发展,被广泛用于各个领域,在很多问题上都取得了当前最好的性能。白帆[4]利用深度学习CNN对图像进行目标识别;孙平安[5]提出一种融合CNN的改进型迭代深度学习算法;戴鹏[6]提出基于半监督深度学习的扣件缺陷图像识别方法;王贵槐[7]通过建立船只单次多重检测深度学习框架并微调分类框架实现较高的内河船舶检测准确度;黄宏伟[8]提出一种基于全卷积网络的隧道图像识别算法;杨天祺[9]通过批量归一化、改进卷积层结构、添加冗余分类器改进了CNN,且增加图片数量扩增了训练集,从而提高分类精确度和速度;张慧娜[10]研究基于Haar小波变换-CNN的图像特征提取用于自然场景图像分类的问题;许少尉[11]采用卷积神经网络提出基于深度学习的图像分类方法;蒋兆军[12]通过卷积神经网络提出一种基于深度学习的无人机识别算法;周建凯[13]提出基于TensorFlow框架搭建卷积神经网络对电池片电致发光图像进行缺陷识别。在实际应用中,2016年6月在京东集团固安智能物流中心落地的京东智能分拣中心系统,引入了智能分拣机和龙门架,实现了可以脱离人工操作的智能收货和发货,保证包裹分拣正确率达到使用要求。由此可见,深度学习在分拣图像快速识别领域有着很好的应用前景。而物流分拣仓库环境复杂、照明度不高以及快递外包装区别不明显,这些都对自动分拣正确率产生影响,因此有必要研究基于深度学习的复杂分拣图像快速识别方法。

1 深度学习卷积神经网络

    CNN是一种改进的神经网络,仍然是层级网络,但是层的功能和形式有了变化。一个CNN结构主要由3种类型层级组成:卷积层、池化层和全连接层。卷积层后紧跟着池化层,最后是全连接层。这些层级按照图1所示,其中Ci代表卷积层,Si代表池化层。

jsj1-t1.gif

    (1)卷积层:是最重要的层,卷积计算是通过稀疏交互、参数共享、等变表示这3个重要的思想来改进机器学习的。

    (2)池化层:卷积是为了解决前面无监督特征学习计算复杂度的问题,而下采样则是为了后面有监督特征分类器学习特征图中重要的分类特征,忽略无关的细节。另外也减小了需要训练的特征参数的个数,改善结果(不容易出现过拟合),使得特征保持旋转、平移、缩放等不变性。在CNN模型中一般常用的下采样方法包括Mean-pooling和Max-pooling两种。

    (3)全连接层:全连接层通常由sigmodal神经元或者RBF神经元组成。一般网络最后几层为全连接层。为了降低特征的维度,最后一层的神经元个数和输入图像种类数量相同。

    对于传统的标定机器人,机器人本身位置的变动对智能识别正确率有很大影响,而且识别正确率需要进一步提高。AlexNet深度学习神经网络对被分拣物体进行识别,不仅可以提高识别正确率和训练速度,对自身位置的变动也具有鲁棒性。该网络初始学习率较低会降低转移层上的学习速度,本研究将完全连接层的学习速率因子设置为更高,以加快所设计的新的最终层的学习,这种组合能更快地对新的分拣物体进行识别,同时保持卷积层的架构不变。AlexNet深度神经网络模型具有如图2所示的8层结构:包括5个卷积层和3个全连接层,其中每一层又具有不同功能的子层。

jsj1-t2.gif

2 基于深度学习的复杂分拣图像快速识别方法

    基于深度学习的复杂分拣图像快速识别方法的流程如图3所示。

jsj1-t3.gif

2.1 复杂分拣图像快速识别方法

    为了针对物流分拣仓库环境复杂、照明度不高以及噪声影响大的特点,对采集到的训练图片数据进行了一系列图像预处理,包括了用对偶树复小波变换对其进行降噪处理、平滑、灰度化图像、滤波和锐化等预处理。

    对于要构建一个卷积神经网络来识别图片,前期大量的训练数据是必不可少的,然后是构建CNN网络。CNN网络包含以下图层:

    (1)imageInputLayer:图像输入层;

    (2)convolutional2dLayer:CNN的2D卷积层;

    (3)reluLayer:整流线性单元(ReLU)层;

    (4)maxPooling2dLayer:最大池化层;

    (5)fullyConnectedLayer:全连接层;

    (6)softmaxLayer:Softmax层;

    (7)classificationLayer:CNN的分类输出层。

    其中图像输入层的大小与训练集的大小相同,随后定义网络的中间层,中间层由重复的卷积、ReLU(整流线性单位)和池化层组成。这3层构成了卷积神经网络的核心构建模块,卷积层定义了滤波器的权重集合,在被训练期间是会随着训练不断更新的。

    对卷积层参数进行设定,第一个卷积层有32个5×5×3的滤镜,添加2个像素的对称填充,以确保处理中包含图像边框,这对于避免在卷积层上过早消除边界信息非常重要。其最终设计的卷积网络如图4所示。

jsj1-t4.gif

    使用标准偏差为0.000 1的正态分布随机数初始化第一个卷积层权重,然后对设计的卷积神经网络进行训练,训练结束后可以得到第一层的权重可视化。通过数据集来对设计好的卷积神经网络进行训练,再对测试数据集进行识别,得到的识别准确率为74.56%。当改变卷积核的大小时可以发现其对最终的识别准确率存在影响,如表1所示。由表可以看出,在测试数据集上分类准确率随卷积核的增大而提高而后降低,原因可能是卷积核较大可能引起过拟合,对于池化区域,池化区域越大,采样过程损失的信息就越多。

jsj1-b1.gif

    对于物流仓库的特定环境以及需要识别的指定物体,对AlexNet做了修改。对于一个新的分类问题,AlexNet最后3层net配置为1 000个类,最后3层是全连接层、Softmax层和输出分类层。这3层进行调整,从预培训的网络中提取出最后3个之外的所有层。根据新的数据指定新的完全连接的层的参数。将完全连接的层的输出个数设置为与新数据中的类别数量相同。深度学习在进行训练时,可能会导致过拟合状态的出现。因此增大训练集,同时在最后的全连接层添加dropout层,以0.5的概率将每个隐藏层神经元的输出设置为零。以这种“dropped out”方式的神经元既不参与前向传播,也不参与反向传播。对该网络每提出一个输入,就对应一个不同的结构,而所有这些结构之间又共享权重,神经元又相对独立,使得这种技术降低了神经元复杂的互相适应关系,从而避免过拟合状态的出现。

2.2 实验结果与分析

    利用训练好的卷积神经网络来适应新的网络分类任务,当面对不同仓库或者不同的分拣任务时,需要大量的数据重新进行学习,在针对新的数据训练时可以使用少量的数据训练就能达到理想的效果。利用原有图片训练好的网络来检测新的分类任务,检测被测试图片是何种物体。图5是用来训练神经网络的新添加的训练图片。

jsj1-t5.gif

    利用训练的图片程序在运行的过程中,不断地学习分类图片中的图片信息特征。然后利用卷积神经网络进行学习,并且改变卷积神经网络的最后分类输出层,使其只能识别其输入图片类别。

    经过学习之后,利用测试集图片来测试训练后的卷积神经网络的识别效果,并且在图片中标记识别区域。利用MATLAB进行仿真,结果如图6所示。

jsj1-t6.gif

    由图6结果可以看出,此深度学习的卷积神经网络能够有效准确识别所规定的图片,其识别准确率较高,能够满足物流中心机器人识别分拣物体的效率,达到了预期效果。并且在训练数据足够的情况下,准确率还能再一步提高。本文中由于训练样本和测试样本均较少,只有数十张图片,因此本文的测试结果均达到了100%的识别率。

3 结论

    对于物流仓库的特定环境以及需要识别的指定物体,本文先用对偶树复小波变换对其进行降噪等预处理;然后在基于AlexNet神经网络的基础上,设计了一个适用于物流图像识别的卷积神经网络,对于卷积神经网络的卷积层、ReLU层和池化层参数重新进行定义来加快神经网络的学习速度;最后针对于新的图像分类任务,对神经网络的最后3层全连接层、Softmax层和分类输出层进行定义来适应新的图像识别。该网络在面对较为复杂的分拣图像识别时,有较高的训练速度和识别准确率。

参考文献

[1] 张娟.三维多媒体视觉图像人工智能识别方法仿真[J].计算机仿真,2018,35(9):435-438.

[2] HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[3] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[C].NIPS.Curran Associates Inc.,2012.

[4] 白帆,曹昭睿.基于深度学习的白光-热成像双通道图像识别系统设计[J].科学技术与工程,2018,18(21):264-267.

[5] 孙平安,祁俊,谭秋月.利用卷积神经网络改进迭代深度学习算法的图像识别方法研究[J].计算机应用研究,2019,36(7):2223-2227.

[6] 戴鹏,王胜春,杜馨瑜,等.基于半监督深度学习的无砟轨道扣件缺陷图像识别方法[J].中国铁道科学,2018,39(4):43-49.

[7] 王贵槐,谢朔,初秀民,等.基于深度学习的水面无人船前方船只图像识别方法[J].船舶工程,2018,40(4):19-22.

[8] 黄宏伟,李庆桐.基于深度学习的盾构隧道渗漏水病害图像识别[J].岩石力学与工程学报,2017,36(12):2861-2871.

[9] 杨天祺,黄双喜.改进卷积神经网络在分类与推荐中的实例应用[J].计算机应用研究,2018,35(4):974-977.

[10] 张慧娜,李裕梅,傅莺莺.基于Haar-CNN模型的自然场景图像分类的研究[J].四川师范大学学报(自然科学版),2017,40(1):119-126.

[11] 许少尉,陈思宇.基于深度学习的图像分类方法[J].电子技术应用,2018,44(6):116-119.

[12] 蒋兆军,成孝刚,彭雅琴,等.基于深度学习的无人机识别算法研究[J].电子技术应用,2017,43(7):84-87.

[13] 周建凯,许盛之,赵二刚,等.基于深度学习的电池片缺陷识别研究[J].电子技术应用,2019,45(5):66-69,77.



作者信息:

陈志新,董瑞雪,刘  鑫,王毅斌,梁世晓

(北京物资学院,北京101149)

此内容为AET网站原创,未经授权禁止转载。