《电子技术应用》
您所在的位置:首页 > 人工智能 > 设计应用 > 面向神经网络的可迭代近似对数乘法器设计
面向神经网络的可迭代近似对数乘法器设计
电子技术应用
尹培培
南京航空航天大学 信息化处(信息化技术中心)
摘要: 神经网络作为机器学习领域的重要分支,计算场景广泛,但复杂的模型算法和庞大的数据集使得系统硬件面临巨大挑战。由于神经网络应用对误差的固有弹性,近似计算技术成为了一种合理高效的策略。结合Mitchell算法,通过操作数近似、错误补偿和迭代处理设计了一种多精度近似对数乘法器。在误差相近的情况下,与传统非迭代和迭代对数乘法器相比,该乘法器可将硬件PDP分别降低54.07%和39.49%;将近似计算应用于神经网络中的卷积层和全连接层,实验结果显示近似乘法器DR-IALM-7、DR-IALM-6、DR-IALM-5分类精度与精确乘法器相近。实验表明选择合适近似精度的近似计算应用于神经网络,可在保持网络准确度的同时有效降低系统硬件功耗。
中图分类号:TP332.2 文献标志码:A DOI: 10.16157/j.issn.0258-7998.257386
中文引用格式: 尹培培. 面向神经网络的可迭代近似对数乘法器设计[J]. 电子技术应用,2026,52(8):143-147.
英文引用格式: Yin Peipei. Design of an iterative approximate logarithmic multiplier for neural networks[J]. Application of Electronic Technique,2026,52(8):143-147.
Design of an iterative approximate logarithmic multiplier for neural networks
Yin Peipei
Department of Information Technology, Nanjing University of Aeronautics and Astronautics
Abstract: As an important branch of machine learning, neural networks have a wide range of computing scenarios. However, the complex model algorithms and large datasets pose significant challenges to system hardware. Due to the inherent tolerance of neural networks to errors, approximate computing technology has become a reasonable and efficient strategy. In this paper, by combining the Mitchell algorithm, a multi-precision approximate logarithmic multiplier is designed through operand approximation, error compensation, and iterative processing. Under similar error conditions, compared with traditional non-iterative and iterative logarithmic multipliers, it can reduce the PDP by 54.07% and 39.49%, respectively. By applying approximate computing to the convolution layer and fully connected layer in neural networks, the experimental results show that the approximate multipliers DR-IALM-7, DR-IALM-6, and DR-IALM-5 have classification accuracies similar to the exact multiplier when used in LeNet-5. The experiments demonstrate that applying approximate computing with appropriate precision to neural networks can effectively reduce system hardware power consumption while maintaining network accuracy.
Key words : neural network;approximate computing;approximate logarithmic multiplier;network accuracy;hardware power consumption

引言

在大数据的强劲推动下,机器学习应用迅速崛起,成为当前技术领域的焦点与热门的计算场景。而在机器学习领域,模型算法较为复杂且与数据集庞大,系统硬件面临着巨大挑战。由于机器学习和人类感知系统类似,往往不追求唯一或精确结果,而通常只要满足于用户认可且质量较优的输出结果,这为系统应用的实际需求提供了足够的容错度。在该类应用中,近似计算技术成为了一种合理高效的策略,通过近似计算能够在可承受的误差内获得较低的硬件资源开销,这满足了众多实际应用的迫切需求。研究人员能够在满足应用需求的前提下,有效地平衡计算精度与资源消耗,从而实现更高效能的系统设计与优化[1-2]。通过适当放宽对精确执行的严苛要求,近似计算在处理识别、挖掘和合成等应用中展现出了巨大的潜力。

在机器学习应用领域中,如数据挖掘、深度学习和图像处理等,乘法和乘法累加运算构成了整个系统的核心计算,但同时也是功耗大且耗时长的环节。研究发现平均约有83%的计算时间用于可容错的计算任务,而超过74%的执行时间则专门用于点乘、距离计算或矩阵乘法等计算操作[3]。在点乘、距离运算和矩阵向量乘法中,核心计算均离不开乘法和加法,作为机器学习应用的基础算术运算单元,这些运算均有一定的容错性。因此,将近似乘法器、近似加法器引入机器学习应用领域,可显著减小硬件功耗和计算时间,为高效、低功耗的机器学习计算提供新的解决方案。

目前研究者对近似计算在计算系统的各个层面都进行了深入探索,包括硬件层、软件层和架构层。硬件层的近似计算技术主要通过对算术运算单元和模块的逻辑功能进行近似精简设计[4],对于电路级的逻辑近似,通过较少的门电路实现了简化的逻辑输出,国内外进行了大量的研究,提出了各种近似算术运算单元,包括近似加法器、近似乘法器、近似除法器、近似乘累加以及近似浮点运算[5-7]等。在软件层面,主要通过对源代码或编译器进行计算简化,包括省略对最终结果不太重要的计算或存储,采用的主要技术包括精度缩放、代码穿孔、浮点定点转换、同步省略[8-9]等。在架构层面,主要对加速器、内存、存储、指令集架构等计算机系统中的关键硬件单元进行近似,包括近似处理器架构、近似内存和存储[10]等。

本文提出一种可迭代的动态截断近似对数乘法器,将其应用于深度神经网络算法中,验证了该近似乘法器在神经网络中的的适用性。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000007224


作者信息:

尹培培

(南京航空航天大学 信息化处(信息化技术中心),江苏 南京 211106)

2.jpg

此内容为AET网站原创,未经授权禁止转载。