一种深度神经网络的分布式训练方法-AET-电子技术应用

一种深度神经网络的分布式训练方法

电子技术应用 2023年3期

原野1，田园1，蒋七兵2，3

（1.云南电网有限责任公司信息中心，云南昆明 650214；2.云南云电同方科技有限公司云南昆明 650214； 3.西南林业大学大数据与智能工程学院，云南昆明 650224）

摘要： 深度神经网络在高维数据的分类和预测中取得了巨大成功。训练深度神经网络是数据密集型的任务，需从多个数据源收集大规模的数据。这些数据中通常包含敏感信息时，使得深度神经网络的训练过程容易泄露数据隐私。针对训练过程中的数据隐私和通信代价问题，提出了一种深度神经网络的分布式训练方法，允许基于多个数据源共同训练深度神经网络。首先，提出了分布式训练架构，由1个计算中心和多个代理组成。其次，提出了基于多代理的分布式训练算法，允许代理在数据不出本地和减少通信代价的情况下，通过切割深度神经网络，实现分布式地共同训练模型。然后，分析了算法的正确性。最后，实验结果表明该方法是有效的。

关键词： 深度神经网络分布式训练监督学习隐私保护

中图分类号：TP311 文献标志码：A DOI: 10.16157/j.issn.0258-7998.223244
中文引用格式： 原野，田园，蒋七兵. 一种深度神经网络的分布式训练方法[J]. 电子技术应用，2023，49(3)：48-53.
英文引用格式： Yuan Ye，Tian Yuan，Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique，2023，49(3)：48-53.

Distributed training method for deep neural networks

Yuan Ye1，Tian Yuan1，Jiang Qibing2，3

(1.Information Center， Yunnan Power Grid Co.， Ltd.， Kunming 650214， China； 2.Yunnan Yundian Tongfang Technology Co.， Ltd.， Kunming 650214， China； 3.School of Big Data and Intelligent Engineering， Southwest Forestry University， Kunming 650224， China)

Abstract： Abstract： Deep neural networks have achieved great success in classification and prediction of high-dimensional data. Training deep neural networks is a data-intensive task, which needs to collect large-scale data from multiple data sources. These data usually contain sensitive information, which makes the training process of convolutional neural networks easy to leak data privacy. Aiming at the problems of data privacy and communication cost in the training process, this paper proposes a distributed training method for deep neural networks, which allows to jointly learn deep neural networks based on multiple data sources. Firstly, a distributed training architecture is proposed, which is composed of one computing center and multiple agents. Secondly, a distributed training algorithm based on multiple data sources is proposed, which allows to distributed jointly train models through the splitting of convolutional neural networks under the constraints that raw data are not shared directly and the communication cost is reduced. Thirdly, the correctness of the algorithm is analyzed. Finally, the experimental results show that our method is effective.

Key words : deep neural network；distributed training；supervised learning；privacy guarantee

0　引言

深度神经网络在高维数据的分类和预测中取得了巨大成功，例如图像、视频和音频。但是，训练深度神经网络是数据密集型的任务，往往需要从多个数据源收集大规模的数据。一个深度神经网络模型通常包含百万级参数，需要大量数据和算力来训练这些参数。

当训练数据包含敏感信息时，深度神经网络的训练过程往往会泄露隐私。如果训练数据中包含用户信息、管理信息等高度敏感的信息，数据所有者通常不希望公开这些敏感数据。因此，深度神经网络因数据隐私而在现实应用中受到限制。

为了控制深度神经网络训练过程中数据的隐私泄露，一种可行的解决方案是使用集中式的隐私保护深度学习方法。该方法依赖于一个可信的集中式计算环境，训练过程使用全局差分隐私算法扰乱训练数据，从而实现数据的隐私保护。在这种方式下，多个数据源需要信任云服务器，并将拥有的数据上传到云服务器，而云服务器将使用各数据源上传的数据集中训练深度神经网络。但是，这种方法因要求各代理共享数据而在实际使用中受到限制。

相比集中式的隐私保护深度学习方法，分布式的学习方法更适合实际应用，因为分布式的学习方法并不需要各数据源（代理）共享上传数据，也不需要集中式的可信计算环境。联邦学习是一种分布式的学习方法。在联邦学习中，各数据源在不共享数据的情况下，通过参数聚合机制共同训练卷积神经网络。但是，该方法在训练过程中将面临巨大的通信开销。

针对上述问题，本文提出了一种深度神经网络的分布式训练方法。该方法允许多个数据源在不共享数据的情况下，通过网络切割，共同训练深度神经网络，并减少训练过程中的通信开销。具体地，本文主要贡献包括以下几点：

(1) 提出了一种深度神经网络的分布式训练方法，允许代理在数据不出本地的情况下，通过网络切割，实现模型的分布式共同训练；

(2) 分析了该方法的正确性；

(3) 通过实验，验证了该方法的有效性。

本文详细内容请下载：https://www.chinaaet.com/resource/share/2000005228

作者信息：

原野1，田园1，蒋七兵2，3

（1.云南电网有限责任公司信息中心，云南昆明 650214；2.云南云电同方科技有限公司云南昆明 650214；

3.西南林业大学大数据与智能工程学院，云南昆明 650224）

微信图片_20210517164139.jpg