基于小波神经网络的数据中心KPI预测-AET-电子技术应用

基于小波神经网络的数据中心KPI预测

2019年电子技术应用第6期

姚荣欢1，2

1.华北计算机系统工程研究所，北京100083；2.中软信息系统工程有限公司，北京100081

摘要： 时间序列预测是数据中心关键性能指标异常检测的重要环节。针对时间序列，利用小波基函数作为隐含层节点传递函数来构造小波神经网络进行预测；同时选取动量梯度下降法提高神经网络学习效率；再根据粒子群算法训练得到最优解作为神经网络参数初始值；最后使用MATLAB进行仿真，以较高准确性对关键性能指标时间序列进行了预测。

关键词： 时间序列小波神经网络动量梯度下降粒子群算法

中图分类号： TP312
文献标识码： A
DOI：10.16157/j.issn.0258-7998.190146
中文引用格式： 姚荣欢. 基于小波神经网络的数据中心KPI预测[J].电子技术应用，2019，45(6)：46-49，53.
英文引用格式： Yao Ronghuan. Data center KPI prediction based on wavelet neural network[J]. Application of Electronic Technique，2019，45(6)：46-49，53.

Data center KPI prediction based on wavelet neural network

Yao Ronghuan1，2

1.National Computer System Engineering Research Institute of China，Beijing 100083，China； 2.China Software Information System Engineering Co.，Ltd.，Beijing 100081，China

Abstract： Time series prediction is an important part of abnormal detection of key performance indicators in data centers. For the time series, the wavelet basis function is used as the implicit layer node transfer function to construct the wavelet neural network for prediction. At the same time, the momentum gradient descent method is adopted to improve the learning efficiency of the neural network. Then the optimal solution is trained according to the particle swarm algorithm as the initial neural network parameters. The value is finally simulated using MATLAB, and the time series of key performance indicators are predicted with higher accuracy.

Key words : time series；wavelet neural network；momentum gradient descent；particle swarm optimization

0 引言

随着软件和微服务的发展，智能运维越来越受到人们的重视。在大量的运维数据里，最不可忽视的就是各种关键性能指标数据(Key Performance Indicators，KPI)，它们在数学上都可以被表达为时间序列的形式。在一个大型软件系统里，往往每分钟能产生百万数量级的时间序列，如何从这些海量数据里发现规律，指导运维并将其智能化，成为了下一代运维中最重要的环节之一。智能运维的一个主要挑战是根据具体需求评判应用哪些机器学习算法，并适配或改造。智能数据中心关键性能指标数据异常检测是智能运维的重要环节，可以作为运维人员的可靠助手，从而大大减少人力投入并增加运维安全性。而时间序列预测是时间序列异常检测的重要组成部分。本文利用小波神经网络对时间序列进行预测，并采用动量梯度下降算法和粒子群优化算法对小波神经网络进行了优化，在一定程度上提高了时间序列预测的准确性。

1 KPI概述

1.1 时间序列特点

(1)长期趋势（Trend）：现象在较长时期内受某种根本性因素作用而形成的总的变动趋势；

(2)循环变动\周期性（Cyclic）：现象以若干年为周期所呈现出的波浪起伏形态的有规律的变动；

(3)季节性变化（Seasonal variation）：现象随着季节的变化而发生的有规律的周期性变动；

(4)不规则变化（Irregular movement）：是一种无规律可循的变动，包括严格的随机变动和不规则的突发性影响很大的变动两种类型^[1]。

1.2 KPI特点

KPI是一种特殊的时序数据，与普通时序数据相比，存在更多的形状变化。常见的形状变化主要包括以下几种：

(1)噪声和异常：曲线上与正常值不符的波动。

(2)振幅差异：KPI曲线可能具有不同量级的振幅，例如同一服务的两个相关但不同模块的每秒查询率曲线。

(3)相位偏差：两条KPI曲线之间的整体相位偏移。例如，同一系统调用链上的一组KPI可能具有相似的形状，但存在一定的时延，从而产生相位偏差。

2 小波神经网络

2.1 小波神经网络原理

小波变换针对傅里叶变换的不足发展而来。傅里叶变换把信号按三角正、余弦基展开，能较好地刻画信号的频率特性,但在时域或空域上却无任何分辨,不能做局部分析。而小波变换有一个灵活可变的时间-频率窗，在时域和频域同时具有良好的局部化特性。

小波神经网络是基于小波变换以及小波构造理论所搭建的多分辨率、多层的神经网络，即用小波基来取代常用的Logistic传递函数^[2]。

2.2 小波神经网络的优点

(1)小波变换通过平移和伸缩变换对信号进行多尺度分析，能有效提取信号的多尺度信息；

(2)神经网络具有容错性、自学习、自适应等特点，是一类通用的函数逼近器；

(3)小波神经网络的基元和整个结构由小波分析理论确定，可避免BP神经网络等在结构设计上的盲目性；

(4)小波神经网络精度更高，学习性更强；

(5)小波神经网络结构简单，收敛速度更快。

2.3 小波神经网络类型

(1)松散型：小波分析对神经网络的输入进行初步处理，使得输入信号更利于神经网络处理；

(2)融合型：神经网络与小波直接融合，用小波元代替神经元，输入层到隐含层的权值及隐含层阈值分别由小波函数的尺度和平移参数确定^[3-4]。

2.4 拓扑结构

本文构造的三层小波神经网络拓扑结构如图1所示。图中，X为输入，Y为输出，Ψ_a，b(t)为隐藏层。

2.5 神经元节点数确定

小波神经网络输入层神经元个数由输入数据特征向量的维数决定，输出层神经元个数由网络预测值个数决定。隐藏层节点数没有具体确定的计算方法。隐藏层节点数太少则可能出现欠拟合，隐藏层节点个数太多则容易过拟合，并且训练时间增加。假设输入层有L个节点，输出层有N个节点。则隐藏层节点个数选择可参考公式有：

式中，M为隐藏层节点个数，a为0～10之间的常数。

实际应用时可根据参考公式确定隐藏节点数的大概范围，然后使用误差率调整节点个数。本文选择式(2)。

2.6 传递函数

2.6.1 隐藏层传递函数

本文构造的神经网络隐含层采用的小波基函数为Morlet母小波基函数，数学公式为：

函数图形如图2所示。

因此隐含层输出计算公式为：

式中，h_j为隐含层第j个节点输出值，w_ij为输入层到隐含层的连接权值，b_j为小波基函数的时移因子，a_j为小波基函数的频率因子。

2.6.2 输出层传输函数

本文构造的神经网络输出层采用线性函数，数学公式为：

函数图形如图3所示。

因此输出层计算公式为：

式中，O_k为输出层第k个节点输出值，w_jk为隐含层到输出层的连接权值，h_j为隐藏层输出^[5-7]。

2.7 附加动量梯度修正法

梯度学习优化算法因其学习速率的不变性致使神经网络收敛速率很慢并且容易陷入局部最优，可以通过附加动量法提高网络学习效率。

即k+1次迭代动量项为上k次和k-1次参数取值之差。

3 粒子群算法优化小波神经网络

3.1 粒子群算法简介

粒子群(PSO)算法从鸟类种群捕食行为特征得到启发，算法每个粒子代表一个潜在解，粒子速度代表了粒子移动方向和距离，速度根据自身及其他粒子的经验动态调整。

具有D个参数的优化问题构成D维搜索空间，初始化N个粒子组成种群X=(X₁，X₂，…，X_N)，第i个粒子X_i=(x_i1，x_i2，…，x_iD)。根据优化目标计算粒子适应度，第i个粒子的速度V_i=(v_i1，v_i2，…，v_iD)，每次迭代记录个体极值P_i=(p_i1，p_i2，…，p_iD)(从开始迭代到本次迭代个体粒子使用度最佳位置)，以及种群群体极值P_g=(p_g1，p_g2，…，p_gD)。粒子根据个体极值和群体极值的启发式信息更新位置，公式如下：

3.2 粒子群算法优化过程

3.2.1 基本思想

基于粒子群优化算法优化小波神经网络的基本思想：将各连接权值和小波伸缩以及时移参数作为粒子群算法的微粒向量，每一个微粒向量经过解码到各个系数。网络将训练样本输入，计算输出和误差，将误差的倒数作为适应度函数(误差越小，适应度越大)。然后将粒子群算法的最优值赋给小波神经网络以代替小波神经网络初始随机赋值，最后小波神经网络根据反向传播算法训练直至收敛^[8-9]。

3.2.2 算法步骤及流程

算法主要分为3个阶段：

(1)构建小波神经网络；

(2)使用粒子群算法训练网络；

(3)将粒子群算法训练得到的最优解作为网络参数初始值，使用反向传播算法训练网络。

算法流程如图4所示。

3.2.3 粒子解码

假设网络的拓扑结构为输入层L个节点，隐藏层M个节点，输出层N个节点。则网络输入层到隐藏层L×M个权值参数,隐藏层到输出层有M×N个权值，隐藏层每个节点还有一个时移参数和一个频率参数共2×N个参数，因此共L×M+2×N+M×N个参数。粒子向量编码顺序为前L×M个参数为输入层到隐藏层L×M个权值，然后N个参数为频率参数，其次N个参数为时移参数，其余参数为隐藏层到输出层的M×N个权值^[10-13]。

4 实验结果与分析

4.1 实验环境

本实验操作系统为Linux-3.13.0-57-generic-x86_64-with-Ubuntu-14.04-trusty，开发语言为MATLAB 7.9.0（R2009b），在Vim开发环境下进行。

4.2 数据集描述

为验证本文算法的有效性，选取某数据中心KPI指标1 210个。其中，905个作为小波神经网络训练数据，305个作为预测数据。数据集部分示例如表1所示。