矩阵分层对称奇异值分解及门控神经单元并联压缩与加速方法

何聪聪; 张静; 齐萌萌; 姚满

doi:10.12404/j.issn.1671-1815.2503830

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (19) :8262-8274 DOI: 10.12404/j.issn.1671-1815.2503830

自动化技术、计算机技术

矩阵分层对称奇异值分解及门控神经单元并联压缩与加速方法

何聪聪 ¹ ,
张静 ¹^,^* ,
齐萌萌 ² ,
姚满 ³

作者信息 +

Hierarchical Symmetric Singular Value Decomposition of Matrices and Parallel Compression and Acceleration Method for Gated Neural Units

HE Cong-cong ¹ ,
ZHANG Jing ¹^,^* ,
QI Meng-meng ² ,
YAO Man ³

Author information +

文章历史 +

摘要

针对现代人工神经网络中大量存在的门控神经单元未能充分压缩权重参数导致推理计算效率不高的问题,提出一种矩阵的分层对称奇异值分解(hierarchical symmetric singular value decomposition, HSSVD)方法,并面向循环神经网络(recurrent neural network, RNN)和Transformer提出门控神经单元并联压缩与加速方法。首先,对大规模权重矩阵的常规奇异值分解(singular value decomposition, SVD)所得到的两个因子矩阵,分别将其线性无关列向量和行向量折叠后再作SVD,得到该矩阵的HSSVD形式,进而提出绝对误差约束下的HSSVD秩选择算法;其次,提出一般性门控神经单元并联压缩方法,面向RNN和Transformer的具体门控神经单元给出相应的加速算法;最后,针对金融类软件工程中常见的自然语言转换结构化查询语言(structured query language, SQL)语句的需求,给出所提方法在实际工程应用中的效果。实验结果表明:与现有典型张量分解方法相比,HSSVD面向RNN和Transformer可同时获取良好的权重参数压缩与推理计算加速效果;在典型视频识别数据集UCF11和YCF上,HSSVD可在RNN总参数量维持在8 400的前提下,分别达到88.1%和88.9%的识别准确率,推理用时分别仅为13.9 ms和14.1 ms;在标准图像识别数据集ImageNet上,HSSVD可在视觉Transformer总参数量维持在11.9×10⁶的前提下,取得最高82.9%的识别准确率,推理效率达每秒3 195.9幅图像;面向自然语言转SQL语句的工程应用,HSSVD在无损轻量化前提下可带来89.3%的存储节约和41.6%的生成效率优化。

Abstract

To address the issue of inefficient inference computation of modern artificial neural networks caused by abundant gated neural units within, where the weight parameters are not adequately compressed, a method termed as hierarchical symmetric singular value decomposition (HSSVD) of matrices was proposed. Further, parallel compression and acceleration method for gated neural units was proposed for recurrent neural network (RNN) and Transformer. Firstly, based on the two factor matrices achieved by the normal singular value decomposition (SVD) for large-scale weight matrix, their linearly independent column vectors and row vectors were separately folded and split again by SVD to construct the HSSVD format of the weight matrix, then the optimal rank selection algorithm of HSSVD under the constraint of absolute error was proposed. Secondly, the parallel compression method for general gated neural units was proposed, and the corresponding acceleration algorithms orienting to the specialized gated neural units in RNN and Transformer were also proposed. Lastly, to deal with the requirement of translating natural sentences to structured query language (SQL) language, which was familiar in financial software engineering, the effect of the proposed method in practical engineering application was given. The experimental results demonstrate that, compared with existing typical tensor decomposition methods, HSSVD can achieve satisfactory effects of weight parameters compression and inference computation acceleration for both RNN and Transformer at the same time. On the typical video recognition datasets UCF11 and YCF, under the precondition of the total number of parameters of RNN is about 8 400, HSSVD can gain 88.1% and 88.9% recognition accuracy, and the time consumptions of inference are just 13.9 ms and 14.1 ms, respectively. On the benchmark image recognition dataset ImageNet, under the precondition of the total number of parameters of Transformer is about 11.9×10⁶, HSSVD can obtain the highest 82.9% recognition accuracy, and the inference efficiency can reach 3 195.9 images per second. For the engineering application of translating natural sentences to SQL language, HSSVD can bring 89.3% memory economy and 41.6% generating efficiency optimization under the condition of lossless lightweight.

Graphical abstract

关键词

分层对称奇异值分解 / 最佳秩选择 / 门控神经单元 / 并联压缩与加速 / 结构化查询语言生成

Key words

hierarchical symmetric singular value decomposition / optimal rank selection / gated neural unit / parallel compression and acceleration / structured query language generation

引用本文

引用格式 ▾

何聪聪, 张静, 齐萌萌, 姚满. 矩阵分层对称奇异值分解及门控神经单元并联压缩与加速方法[J]. 科学技术与工程, 2026, 26(19): 8262-8274 DOI:10.12404/j.issn.1671-1815.2503830

HE Cong-cong, ZHANG Jing, QI Meng-meng, YAO Man. Hierarchical Symmetric Singular Value Decomposition of Matrices and Parallel Compression and Acceleration Method for Gated Neural Units[J]. Science Technology and Engineering, 2026, 26(19): 8262-8274 DOI:10.12404/j.issn.1671-1815.2503830

登录浏览全文

4963

注册一个新账户忘记密码

门控神经单元是现代人工神经网络中常用的一类架构,通常令同一个特征输入与多个并联的权重及激活函数进行计算,从而得到多路特征,并对这些特征互相组合以获取各种高级特征^[1]。例如,循环神经网络(recurrent neural network,RNN)中的长短时记忆(long short term memory,LSTM)模型采用4路门控神经单元输出的特征数据互相组合,实现长期与短期记忆的博弈^[2],Transformer中的自注意力机制实际上由3路门控神经单元输出的特征数据组合而得^[3]。美中不足的是,门控神经单元显然存在权重参数量大、计算负担高的短板,导致大量具有可观性能的神经网络模型难以在工程实践中充分应用。为此,大量学者致力于面向门控神经单元开展压缩、加速等轻量化改造方面的研究^[4]。其中,张量分解方法在多维矩阵运算角度与门控神经单元的数据结构具有一定相关性,权重压缩效果突出,近年受到越来越多的关注^[5]。

Yang等^[6]首次成功将张量串分解(tensor train decomposition,TTD)用于RNN的压缩,对LSTM和门控循环单元(gated recurrent unit,GRU)的各路权重矩阵取得了上万倍压缩比,且准确率能够得到提升。随后,Ye等^[7]和Pan等^[8]分别使用块项分解(block term decomposition,BTD)和张量环分解(tensor ring decomposition,TRD)进一步提升了RNN各路权重矩阵的压缩比与理论推理计算效率。Wang等^[9]引入具有细粒度特点的克罗内克规范多项式分解(Kronecker canonical polyadic decomposition,KCPD)对LSTM、GRU等RNN变体的权重进行压缩,并与其他张量分解方法横向对比,在理论和实践两方面证实了KCPD兼顾高效压缩与加速的能力。Lü等^[10]进一步挖掘了KCPD拓扑结构的灵活性,提出了避免大量存储交换的免转置推理算法,结合硬件验证了实际计算效率。Yin等^[11]首次将LSTM的4路门控神经单元的权重全部并联起来视作一个大型权重矩阵,并使用分层Tucker分解(hierarchical Tucker decomposition,HTD)进行压缩,取得了6万余倍的权重参数压缩比。王鼎衡等^[12]提出了一种新的KCPD因子矩阵合并方式,使其在2阶张量(矩阵)的视角即可取得比其他4阶张量分解更优的推理效率;王志航等^[13]将其推广至点云匹配网络中存在的大量1×1卷积,有效提升了点云配准效率;Qi等^[14]采用了改进的微调训练方法实现了无损的卷积网络轻量化;但这些工作均未考虑奇异值向因子矩阵均匀分配的问题,导致压缩率较高时容易出现精度损失。

相比之下,对Transformer中的门控结构进行轻量化改造的实践较少。Ma等^[15]将BTD建模为新型注意力机制,但并未对门控的各路权重进行处理。李天阳等^[16]利用现场可编程门阵列(field programmable gate array,FPGA)对Transformer进行加速处理,但未对自注意力中的门控结构本身作相关优化。蔡青竹等^[17]使用网络剪枝方法对整个Transformer网络进行轻量化,自注意力中的门控结构未得到有效改进。

通过上述分析,可得三方面研究现状相关结论:①张量分解方法对门控神经单元的压缩效果十分可观,将多路门控的权重并联统一压缩可进一步优化参数与计算效率^[11];②细粒度张量分解的因子张量尺寸小、拓扑灵活,具有兼顾压缩与加速的潜力^[9-10];③针对Transformer门控神经单元及其自注意力机制的轻量化优化方法较少。然而,目前仍未有将细粒度张量分解用于一般性门控神经单元多路权重并联压缩并推广至RNN和Transformer的有效工作。

为解决这些问题,并考虑到文献[12]的2阶KCPD因子矩阵合并方式对神经网络权重计算的友好性,提出一种矩阵的分层对称奇异值分解(hierarchical symmetric singular value decomposition, HSSVD)方法;具体将常规奇异值分解(singular value decomposition, SVD)所得因子矩阵中的线性无关列向量和行向量折叠后再作SVD,得到该矩阵的HSSVD形式;在给定绝对误差约束下,提出HSSVD秩选择与求解算法,并验证该算法对预训练神经网络进行压缩的无损效果;面向一般性门控神经单元,提出HSSVD对多路权重的并联压缩方法,再推广至具体的RNN和Transformer并提出各自的加速算法,通过视频和图像识别实验进行综合验证;最后,针对金融类软件工程中常见的自然语言转换结构化查询语言(structured query language, SQL)语句的需求,给出HSSVD在实际工程应用中的存储节省与处理提效的效果。

1 分层对称奇异值分解

矩阵的分层对称奇异值分解HSSVD方法受2阶KCPD^[12]启发,旨在面向已预训练的神经网络权重给出正向分解并权重替换的压缩方法,避免按照张量分解拓扑结构预设神经网络架构导致的从头训练精度误差问题。本节首先给出HSSVD的定义,解释其分层对称特点;其次对其估计误差进行理论分析,进而给出HSSVD的最佳秩选择与求解算法;最后与2阶KCPD进行横向对比以验证所提方法对神经网络的无损压缩能力。

1.1 HSSVD定义

根据文献[12]给出的数据结构,设任意权重矩阵W∈R^M^×^N的模长可各自分解为M=M₁M₂和N=N₁N₂,则W存在分解形式,即

(1)

$\left\{\begin{array}{l}\mathit{W}=\mathit{A}\mathit{B}\\ \mathit{A}={\left[\begin{array}{l}\mathrm{v}\mathrm{e}\mathrm{c}\left[{\mathit{A}}_{1}^{\left(1\right)}{\mathit{A}}_{2}^{\left(1\right)}\right]\\ \mathrm{v}\mathrm{e}\mathrm{c}\left[{\mathit{A}}_{1}^{\left(2\right)}{\mathit{A}}_{2}^{\left(2\right)}\right]\\ \mathit{︙}\\ \mathrm{v}\mathrm{e}\mathrm{c}\left[{\mathit{A}}_{1}^{\left(\mathrm{R}\right)}{\mathit{A}}_{2}^{\left(\mathrm{R}\right)}\right]\end{array}\right]}^{\mathrm{T}},\mathit{B}=\left[\begin{array}{l}\mathrm{v}\mathrm{e}\mathrm{c}\left[{\mathit{B}}_{1}^{\left(1\right)}{\mathit{B}}_{2}^{\left(1\right)}\right]\\ \mathrm{v}\mathrm{e}\mathrm{c}\left[{\mathit{B}}_{1}^{\left(2\right)}{\mathit{B}}_{2}^{\left(2\right)}\right]\\ \mathit{︙}\\ \mathrm{v}\mathrm{e}\mathrm{c}\left[{\mathit{B}}_{1}^{\left(\mathrm{R}\right)}{\mathit{B}}_{2}^{\left(\mathrm{R}\right)}\right]\end{array}\right]\end{array}\right.$

式(1)中:A∈R^M^×^R和B∈R^R^×^N可由W求秩为R的SVD得到;vec[

${\mathit{A}}_{1}^{\left(\mathrm{r}\right)}{\mathit{A}}_{2}^{\left(\mathrm{r}\right)}$

]为A的列向量,vec[

${\mathit{B}}_{1}^{\left(\mathrm{r}\right)}{\mathit{B}}_{2}^{\left(\mathrm{r}\right)}$

]为B的行向量,r∈{1,2,…,R};

${\mathit{A}}_{1}^{\left(\mathrm{r}\right)}$

∈

${\mathrm{R}}^{{\mathrm{M}}_{1}\times \mathit{R}{}_{\mathit{A}}^{\left(\mathrm{r}\right)}}$

和

${\mathit{A}}_{2}^{\left(\mathrm{r}\right)}$

∈

${\mathrm{R}}^{\mathit{R}{}_{\mathit{A}}^{\left(\mathrm{r}\right)}\times {\mathrm{M}}_{2}}$

由秩为

${\mathit{R}}_{\mathit{A}}^{\left(\mathrm{r}\right)}$

的SVD得到;

${\mathit{B}}_{1}^{\left(\mathrm{r}\right)}$

∈

${\mathrm{R}}^{{\mathrm{N}}_{1}\times \mathit{R}{}_{\mathit{B}}^{\left(\mathrm{r}\right)}}$

和

${\mathit{B}}_{2}^{\left(\mathrm{r}\right)}$

∈

${\mathrm{R}}^{\mathit{R}{}_{\mathit{B}}^{\left(\mathrm{r}\right)}\times {\mathrm{N}}_{2}}$

由秩为

${\mathit{R}}_{\mathit{B}}^{\left(\mathrm{r}\right)}$

的SVD得到。若记a⁽^r⁾=vec[

${\mathit{A}}_{1}^{\left(\mathrm{r}\right)}{\mathit{A}}_{2}^{\left(\mathrm{r}\right)}$

],b⁽^r⁾=vec[

${\mathit{B}}_{1}^{\left(\mathrm{r}\right)}{\mathit{B}}_{2}^{\left(\mathrm{r}\right)}$

],权重矩阵W在给定秩约束下实施HSSVD的过程以及该过程的对称性如图1所示。

算法1为HSSVD过程的精确描述。

其中,为确保HSSVD用于神经网络压缩时的精度,采用了两处特殊设计。首先,第一层SVD所得的A和B是满秩矩阵,所有的a⁽^r⁾和b⁽^r⁾分别是A和B之中的线性无关向量组,选择线性无关向量各自执行第二层SVD,能够尽量降低信息丢失的可能性;其次,将SVD的奇异值方阵S融入其他因子矩阵时,采用了将奇异值开平方并对称性分配的方式,而非直接将S与前侧因子U左乘或与后侧因子V右乘。

这种对称性一方面能够使原权重矩阵的信息均匀地分布至各因子矩阵,尽量减少低秩估计误差积累;另一方面符合张量分解拓扑结构设计的均衡性原则,有利于权重微调训练^[18]。

如图2所示为奇异值方阵S的融合方式对HSSVD因子矩阵的Frobenius范数的影响,表明了所提奇异值开平方并对称性分配的合理性。图2中以一个256×144的矩阵为待分解对象,并设M₁=M₂=16,N₁=N₂=12,第一层矩阵秩R=64,第二层矩阵秩分别为

${\mathit{R}}_{\mathit{A}}^{\left(\mathit{r}\right)}$

=8,

${\mathit{R}}_{\mathit{B}}^{\left(\mathit{r}\right)}$

=6;共可得HSSVD因子矩阵256个。明显可见,无论采用S左乘还是右乘融合,因子矩阵的Frobenius范数分布将出现很大差异,在权重微调训练过程中容易造成部分因子矩阵训练失衡问题,进而造成整个神经网络压缩精度的损失;相反,所提奇异值开平方对称分配方式,将使所有因子矩阵在微调训练前具有较好的初值,有利于整个神经网络压缩的精度保持。

1.2 误差分析与最佳秩选择

式(1)理论上在所有SVD满秩无损的条件下成立,显然失去了神经网络权重压缩的意义。若按照前文所述在给定矩阵秩约束的情况下采用截断SVD求解,则必然存在低秩估计误差。另外,考虑到神经网络权重压缩的工程应用过程中,给定误差比给定秩约束更有实际意义。因此,有必要以权重矩阵压缩误差为既定前提条件引导具体的HSSVD误差分析和多层矩阵秩的选择。在此以引理、定理及证明的方式逐渐给出HSSVD误差分析结论。

引理1 设任意矩阵W的无损矩阵秩为R₀,若W以R为截断秩进行SVD,所产生误差矩阵E的Frobenius范数为

(2)$\|\boldsymbol{E}\|_{\mathrm{F}}=\sqrt{\sum_{r=R+1}^{R_{0}} \lambda_{r}^{2}}$

式(2)中:λ_r为以R₀进行无损SVD的奇异值。

证明设W以R为截断秩进行SVD的低秩估计矩阵为

$\stackrel{\wedge }{\mathit{W}}$

,那么,根据SVD的性质,显然有

(3)$\begin{aligned}\|\boldsymbol{W}\|_{\mathrm{F}}^{2}= & \sum_{r=1}^{R_{0}} \lambda_{r}^{2},\|\hat{\boldsymbol{W}}\|_{\mathrm{F}}^{2}=\sum_{r=1}^{R} \lambda_{r}^{2}, \\& \lambda_{1}>\lambda_{2}>\cdots>\lambda_{R}>\cdots>\lambda_{R_{0}}\end{aligned}$

再考虑到原矩阵W、低秩估计矩阵

$\stackrel{\wedge }{\mathit{W}}$

和误差矩阵E的Frobenius范数存在如下关系:

(4)$\|\boldsymbol{W}\|_{\mathrm{F}}^{2}=\|\hat{\boldsymbol{W}}+\boldsymbol{E}\|_{\mathrm{F}}^{2}=\|\hat{\boldsymbol{W}}\|_{\mathrm{F}}^{2}+\|\boldsymbol{E}\|_{\mathrm{F}}^{2}$

联立式(3)和式(4)可得

(5)$\begin{aligned}\|\boldsymbol{E}\|_{\mathrm{F}} & =\sqrt{\|\boldsymbol{W}\|_{\mathrm{F}}^{2}-\|\hat{\boldsymbol{W}}\|_{\mathrm{F}}^{2}}=\sqrt{\sum_{r=1}^{R_{0}} \lambda_{r}^{2}-\sum_{r=1}^{R} \lambda_{r}^{2}} \\& =\sqrt{\sum_{r=R+1}^{R_{0}} \lambda_{r}^{2}}\end{aligned}$

证毕。

引理2 任意两个向量a和b外积的Frobenius范数与各自的Frobenius范数存在如下关系。

(6)$ \left\|\boldsymbol{a}^{\circ} \boldsymbol{b}\right\|_{\mathrm{F}}^{2}=\|\boldsymbol{a}\|_{\mathrm{F}}^{2}\|\boldsymbol{b}\|_{\mathrm{F}}^{2} $

式(6)中:°表示外积运算。

证明设a和b的长度分别为M和N,a_m和b_n分别是a和b的第m和第n个元素,根据外积的定义可得

(7)$ \begin{aligned}\left\|\boldsymbol{a}^{\circ} \boldsymbol{b}\right\|_{\mathrm{F}}^{2} & =\sum_{m=1}^{M} \sum_{n=1}^{N}\left(a_{m} b_{n}\right)^{2} \\& =\left(\sum_{m=1}^{M} a_{m}^{2}\right)\left(\sum_{n=1}^{N} b_{n}^{2}\right)=\|\boldsymbol{a}\|_{\mathrm{F}}^{2}\|\boldsymbol{b}\|_{\mathrm{F}}^{2}\end{aligned} $

证毕。

基于上述两个引理,以下定理给出HSSVD误差分析结果。

定理1 设式(1)中的所有SVD均存在误差,即

(8)W=${\left[\begin{array}{l}{\mathit{a}}^{\left(1\right)}+{\mathit{e}}_{\mathit{A}}^{\left(1\right)}\\ {\mathit{a}}^{\left(2\right)}+{\mathit{e}}_{\mathit{A}}^{\left(2\right)}\\ \mathit{︙}\\ {\mathit{a}}^{\left(\mathrm{R}\right)}+{\mathit{e}}_{\mathit{A}}^{\left(\mathrm{R}\right)}\end{array}\right]}^{\mathrm{T}}\left[\begin{array}{l}{\mathit{b}}^{\left(1\right)}+{\mathit{e}}_{\mathit{B}}^{\left(1\right)}\\ {\mathit{b}}^{\left(2\right)}+{\mathit{e}}_{\mathit{B}}^{\left(2\right)}\\ \mathit{︙}\\ {\mathit{b}}^{\left(\mathrm{R}\right)}+{\mathit{e}}_{\mathit{B}}^{\left(\mathit{R}\right)}\end{array}\right]$+E_W

式(8)中:a⁽^r⁾=vec[

${\mathit{A}}_{1}^{\left(\mathrm{r}\right)}{\mathit{A}}_{2}^{\left(\mathrm{r}\right)}$

],b⁽^r⁾=vec[

${\mathit{B}}_{1}^{\left(\mathrm{r}\right)}{\mathit{B}}_{2}^{\left(\mathrm{r}\right)}$

];矩阵E_W为AB的分解误差;向量

${\mathit{e}}_{\mathit{A}}^{\left(\mathit{r}\right)}$

和

${\mathit{e}}_{\mathit{B}}^{\left(\mathit{r}\right)}$

分别为vec[

${\mathit{A}}_{1}^{\left(\mathrm{r}\right)}{\mathit{A}}_{2}^{\left(\mathrm{r}\right)}$

]和vec[

${\mathit{B}}_{1}^{\left(\mathrm{r}\right)}{\mathit{B}}_{2}^{\left(\mathrm{r}\right)}$

]的分解误差。则W完成HSSVD后的总误差能够以Frobenius范数的形式表示为

(9)$ \|\boldsymbol{W}\|_{\mathrm{F}}^{2}-\sum_{r}\left\|\boldsymbol{a}^{(r)}\right\|_{\mathrm{F}}^{2}\left\|\boldsymbol{b}^{(r)}\right\|_{\mathrm{F}}^{2}=E_{\boldsymbol{A} \boldsymbol{B}}+\sum_{r=R+1}^{\min \{M, N\}} \lambda_{r}^{2} $

式(9)中:λ_r为第一层SVD的奇异值;E_AB由第二层SVD产生,表示为

(10)$ \begin{aligned}E_{\boldsymbol{A} \boldsymbol{B}}= & \sum_{r}\left\{\left\|\boldsymbol{a}^{(r)}\right\|_{\mathrm{F}}^{2}\left[\sum_{v=R_{B}^{(r)}+1}^{\min \left\{N_{1}, N_{2}\right\}}\left(\beta_{v}^{(r)}\right)^{2}\right]+\right. \\& \left\|\boldsymbol{b}^{(r)}\right\|_{\mathrm{F}}^{2}\left[\sum_{s=R_{A}^{(r)}+1}^{\min \left\{M_{1}, M_{2}\right\}}\left(\alpha_{s}^{(r)}\right)^{2}\right]+ \\& {\left.\left[\sum_{s=R_{A}^{(r)}+1}^{\min \left\{M_{1}, M_{2}\right\}}\left(\alpha_{s}^{(r)}\right)^{2}\right]\left[\sum_{v=R_{B}^{(r)}+1}^{\min \left\{N_{1}, N_{2}\right\}}\left(\beta_{v}^{(r)}\right)^{2}\right]\right\} }\end{aligned} $

式(10)中:

${\mathit{\alpha }}_{\mathit{s}}^{\left(\mathit{r}\right)}$

和

${\mathit{\beta }}_{\mathit{v}}^{\left(\mathit{r}\right)}$

分别是第二层SVD即a⁽^r⁾=vec[

${\mathit{A}}_{1}^{\left(\mathrm{r}\right)}{\mathit{A}}_{2}^{\left(\mathrm{r}\right)}$

]和b⁽^r⁾=vec[

${\mathit{B}}_{1}^{\left(\mathrm{r}\right)}{\mathit{B}}_{2}^{\left(\mathrm{r}\right)}$

]的奇异值。

证明根据式(8)可得

(11)$ \|\boldsymbol{W}\|_{\mathrm{F}}^{2}=\|\boldsymbol{A} \boldsymbol{B}\|_{\mathrm{F}}^{2}+\left\|\boldsymbol{E}_{W}\right\|_{\mathrm{F}}^{2} $

式中:A和B与式(1)不同,此时分别包含了第二层SVD的误差

${\mathit{e}}_{\mathit{A}}^{\left(\mathit{r}\right)}$

和

${\mathit{e}}_{\mathit{B}}^{\left(\mathit{r}\right)}$

,于是有

(12)$D_{\mathrm{H}}(\boldsymbol{x}, \boldsymbol{y})=\sum_{i=1}^n\left(\boldsymbol{x}_i \oplus \boldsymbol{y}_i\right)$

根据引理2,式(12)“=”右侧第一项可变为

(13)$\boldsymbol{x} \oplus \boldsymbol{y}=\sum_{i=1}^n\left(\boldsymbol{x}_i+\boldsymbol{y}_i-2 \boldsymbol{x}_i \boldsymbol{y}_i\right)$

根据引理1,将SVD误差的Frobenius范数项替换为奇异值表示,则式(13)即变为式(10)的E_AB。再将E_AB代回式(12),同时令$ \left\|\boldsymbol{E}_{W}\right\|_{\mathrm{F}}^{2} $也按照引理1替换为奇异值表示,即可得式(9)。

证毕。

通过定理1,可以在给定总估计误差E的前提下,对任意权重矩阵寻求最佳的HSSVD秩选择。首先,对给定的E,先进行第一层SVD,以

$\stackrel{\mathrm{m}\mathrm{i}\mathrm{n}\{\mathit{M},\mathit{N}\}}{\sum _{\mathit{r}=\mathit{R}+1}}{\mathit{\lambda }}_{\mathit{r}}^{2}$

<E为条件确定第一层SVD的最小截断秩R;其次,令第二层SVD的秩皆取满秩,即

${\mathit{R}}_{\mathit{A}}^{\left(\mathit{r}\right)}$

=min{M₁,M₂}和

${\mathit{R}}_{\mathit{B}}^{\left(\mathit{r}\right)}$

=min{N₁,N₂},此时E_AB=0,HSSVD的总误差必然满足E_AB+

$\stackrel{\mathrm{m}\mathrm{i}\mathrm{n}\{\mathit{M},\mathit{N}\}}{\sum _{\mathit{r}=\mathit{R}+1}}{\mathit{\lambda }}_{\mathit{r}}^{2}$

<E;然后,依次降低第二层SVD的秩,E_AB逐渐升高,直至E_AB+

$\stackrel{\mathrm{m}\mathrm{i}\mathrm{n}\{\mathit{M},\mathit{N}\}}{\sum _{\mathit{r}=\mathit{R}+1}}{\mathit{\lambda }}_{\mathit{r}}^{2}$

>E;那么第二层SVD的秩为满足E_AB+

$\stackrel{\mathrm{m}\mathrm{i}\mathrm{n}\{\mathit{M},\mathit{N}\}}{\sum _{\mathit{r}=\mathit{R}+1}}{\mathit{\lambda }}_{\mathit{r}}^{2}$

<E的最后一批

${\mathit{R}}_{\mathit{A}}^{\left(\mathit{r}\right)}$

和

${\mathit{R}}_{\mathit{B}}^{\left(\mathit{r}\right)}$

。

下面为更详细的以最佳秩选择为引导的HSSVD算法。

其中,为应用简便起见,算法2采用了两条假设以放松相关约束条件:一是设不同的r对应相同的

${\mathit{R}}_{\mathit{A}}^{\left(\mathit{r}\right)}$

和

${\mathit{R}}_{\mathit{B}}^{\left(\mathit{r}\right)}$

(R_A=

${\mathit{R}}_{\mathit{A}}^{\left(\mathit{r}\right)}$

,R_B=

${\mathit{R}}_{\mathit{B}}^{\left(\mathit{r}\right)}$

),二是令式(9)以Frobenius范数表示的总误差由均方误差(mean squared error, MSE)乘以W的元素个数换算得来。需注意,给定MSE约束的HSSVD算法虽对第二层SVD的秩采用了搜索策略,但每次确定是否满足误差条件时直接使用当前秩截取满秩SVD的结果即可,因此总的SVD执行次数与算法1相同,算法整体效率并未受到明显影响。

1.3 深度神经网络无损压缩能力

张量分解秩选择对其低秩估计能力有很大影响^[19-21],本文所提的给定MSE约束的HSSVD算法可以对任意权重矩阵求解出相对最优的秩和因子矩阵,从而达到无损压缩效果。仿照文献[7-8],对数值规律分布的960×960尺寸的大规模矩阵进行低秩估计仿真分析,结果如图3所示。具体以HSSVD后的因子矩阵总参数量不变为对比基准,明显可知第一层SVD秩为R=4且第二层SVD秩为R_A=R_B=16时的低秩估计精度最佳,此时的MSE仅有3.38×10^-9;相比之下,R=32,R_A=R_B=2的情况精度最低,MSE比最佳情况高了1.9×10⁹倍。重要的是,如若使用算法2,实际上可直接从原矩阵得出最佳秩组合,即R=4,R_A=R_B=16。

对于完整的神经网络模型,HSSVD在最佳秩选择的帮助下能够通过分解微调过程对原模型实现精度保持,从而实现无损压缩效果;相比之下,与HSSVD十分类似的2阶KCPD主要通过设计完整轻量化模型并直接训练得到结果,往往存在精度损失^[12]。在此采用类似文献[12]的im2col方法,将表示为4阶张量的卷积核

$\underset{\_}{\mathit{C}}$

∈R^T^×^S^×^h^×^w在输入通道S=S₁S₂和输出通道T=T₁T₂约束下重构为C∈R^{(S₁S₂hw)×(T₁T₂)}(h、w分别为卷积核的高度和宽度),并按式(1)设M₁=S₁,M₂=S₂hw,N₁=T₁以及N₂=T₂;具体针对ResNet-18和ResNet-50中除第一层卷积之外的所有3×3卷积核分别按照文献[12]的KCPD和本文所提HSSVD进行压缩,并令KCPD的秩与HSSVD最佳秩选择的结果相同以保证对比公平;ResNet-18和ResNet-50分别基于CIFAR-10和ImageNet这两个标准图像分类数据集进行验证。实验结果如表1、图4所示,可以看出HSSVD方法采取分解微调过程,使最终结果的分类准确率与基线模型相当,而KCPD从头训练的策略使之难以逼近基线模型的最优分类准确率。

如图3和图4所示实验分别从单个权重矩阵以及整个神经网络的视角说明了HSSVD的无损压缩能力,表明了所提误差约束下最佳秩选择为引导的HSSVD算法的有效性。

2 门控神经单元并联压缩与加速

本节在HSSVD求解方法的基础上,首先讨论一般性的门控神经单元并联压缩方法,然后分别面向RNN和Transformer给出各自的具体压缩方法并讨论相应的加速情况,最后结合实验与其他典型的RNN和Transformer轻量化方法进行横向对比分析。

2.1 门控神经单元的HSSVD并联压缩

一般性的门控神经单元指特征输入X与多路不同权重矩阵W_i相乘并在后续执行各自的非线性变换,即

(14){f₁(XW₁),f₂(XW₂),…,f_n(XW_n)}

式(14)若为LSTM,则有n=4;若为GRU,则有n=3;若为多头注意力,同样有n=3。现有方法大多仍将这些权重视为单独个体进行压缩^[6-10],导致{W₁,W₂,…,W_n}中共同存在的冗余信息并未被剔除,限制了压缩与加速潜力的充分挖掘。文献[11]将多路权重矩阵视为一体进行压缩,在不影响RNN整体精度的情况下将压缩与加速效率进一步提升。

受文献[11]启发,提出一般性的门控神经单元HSSVD并联压缩方法。具体的,设W_i∈R^M^×^L,i∈{1,2,…,n},定义并联矩阵为

(15)W=[$\begin{array}{llll}{\mathit{W}}_{1}& {\mathit{W}}_{2}& \dots & {\mathit{W}}_{\mathit{n}}\end{array}$]∈R^M^×^nL

再设nL=N,并将W按照HSSVD压缩,那么原第i路的门控输出可表示为

(16)f_i(XW_i)=f_i[(XA)B_i]

式(16)中:A∈R^M^×^R与式(1)定义相同;B_i∈R^R^×^L为式(1)B∈R^R^×^N的第i个等距列分块;f_i(·)为激活函数。对于每一路门控输出Y_i,XA实际上按图5所示只计算一次即可,后续与B_i相乘等价于集体与B相乘之后截取第i个分块。

2.2 RNN的并联压缩与加速

现代RNN普遍采取多路门控神经单元结构,如LSTM、GRU等^[9],以最经典的LSTM为例说明RNN的并联压缩与加速方法。一般的LSTM神经单元表达式为

(17)

$\left\{\begin{array}{l}{\mathit{y}}_{\mathit{f}}=\mathit{\sigma }\left[\mathit{x}\right(\mathit{t}){\mathit{W}}_{\mathit{f}}+\mathit{h}(\mathit{t}-1){\mathit{R}}_{\mathit{f}}+{\mathit{b}}_{\mathit{f}}]\\ {\mathit{y}}_{\mathit{i}}=\mathit{\sigma }\left[\mathit{x}\right(\mathit{t}){\mathit{W}}_{\mathit{i}}+\mathit{h}(\mathit{t}-1){\mathit{R}}_{\mathit{i}}+{\mathit{b}}_{\mathit{i}}]\\ {\mathit{y}}_{\mathit{z}}=\mathit{\tau }\left[\mathit{x}\right(\mathit{t}){\mathit{W}}_{\mathit{z}}+\mathit{h}(\mathit{t}-1){\mathit{R}}_{\mathit{z}}+{\mathit{b}}_{\mathit{z}}]\\ {\mathit{y}}_{\mathit{o}}=\mathit{\sigma }\left[\mathit{x}\right(\mathit{t}){\mathit{W}}_{\mathit{o}}+\mathit{h}(\mathit{t}-1){\mathit{R}}_{\mathit{o}}+{\mathit{b}}_{\mathit{o}}]\\ \mathit{c}\left(\mathit{t}\right)={\mathit{y}}_{\mathit{f}}\mathit{☉}\mathit{c}(\mathit{t}-1)+{\mathit{y}}_{\mathit{i}}\mathit{☉}{\mathit{y}}_{\mathit{z}}\\ \mathit{h}\left(\mathit{t}\right)={\mathit{y}}_{\mathit{o}}\mathit{☉}\mathit{\tau }\left[\mathit{c}\right(\mathit{t}\left)\right]\end{array}\right.$

式(17)中:f、i、z、o分别代表遗忘门、输入门、状态门和输出门;W_θ(θ∈{f,i,z,o})表示输入权重矩阵;R_θ为循环权重矩阵;b_θ为偏置项;σ(·)和τ(·)分别为sigmoid和tanh激活函数;☉为哈达玛积;x(t)、c(t)和h(t)分别为当前t时刻的输入、记忆和状态。

式(17)共4路门控连接,输入权重W_θ和循环权重R_θ各自具有相同的输入数据,因此可以采用并联压缩的策略。

具体可设

(18)

$\left\{\begin{array}{l}\mathit{W}=\left[\begin{array}{l}\begin{array}{llll}{\mathit{W}}_{\mathit{f}}& {\mathit{W}}_{\mathit{i}}& {\mathit{W}}_{\mathit{z}}& {\mathit{W}}_{\mathit{o}}\end{array}\\ \begin{array}{llll}{\mathit{R}}_{\mathit{f}}& {\mathit{R}}_{\mathit{i}}& {\mathit{R}}_{\mathit{z}}& {\mathit{R}}_{\mathit{o}}\end{array}\end{array}\right]\\ \mathit{I}\left(\mathit{t}\right)=\left[\begin{array}{ll}\mathrm{x}\left(\mathrm{t}\right)& \mathrm{h}(\mathrm{t}-1)\end{array}\right]\end{array}\right.$

将式(18)的W按照HSSVD压缩得到式(1)的A和B,则式(17)的LSTM神经单元可改写为

(19)

$\left\{\begin{array}{l}\mathit{J}\left(\mathit{t}\right)=\left[\mathit{I}\right(\mathit{t}\left)\mathit{A}\right]\mathit{B}\\ {\mathit{y}}_{\mathit{f}}=\mathit{\sigma }[\mathit{J}{\left(\mathrm{t}\right)}_{1}+{\mathit{b}}_{\mathit{f}}]\\ {\mathit{y}}_{\mathit{i}}=\mathit{\sigma }[\mathit{J}{\left(\mathrm{t}\right)}_{2}+{\mathit{b}}_{\mathit{i}}]\\ {\mathit{y}}_{\mathit{z}}=\mathit{\tau }[\mathit{J}{\left(\mathrm{t}\right)}_{3}+{\mathit{b}}_{\mathit{z}}]\\ {\mathit{y}}_{\mathit{o}}=\mathit{\sigma }[\mathit{J}{\left(\mathrm{t}\right)}_{4}+{\mathit{b}}_{\mathit{o}}]\\ \mathit{c}\left(\mathit{t}\right)={\mathit{y}}_{\mathit{f}}\mathit{☉}\mathit{c}(\mathit{t}-1)+{\mathit{y}}_{\mathit{i}}\mathit{☉}{\mathit{y}}_{\mathit{z}}\\ \mathit{h}\left(\mathit{t}\right)={\mathit{y}}_{\mathit{o}}\mathit{☉}\mathit{\tau }\left[\mathit{c}\right(\mathit{t}\left)\right]\end{array}\right.$

式(19)中:J(t)_j(j=1,2,3,4)为J(t)的第j个等距列分块。如图6所示为HSSVD压缩的LSTM神经单元结构,可见式(17)中8项矩阵乘法在应用HSSVD之后仅余2项。

若设原W_θ尺寸为M×N,那么式(23)按HSSVD压缩后,对应的式(19)相对于式(17)计算所有y_θ的加速比为

(20)Φ=$\frac{4\mathit{N}(\mathit{M}+\mathit{N})}{\mathit{R}(\mathit{M}+5\mathit{N})}$

式(20)中:分母可写为R[4N+(M+N)],一般显然有4N+(M+N)<4N(M+N),因此第一层SVD的秩R决定了加速程度。由于LSTM的各路门控权重内容多有相似性^[11],故式(18)的W十分稀疏,秩R相对于M和N均较小,式(20)的加速比将十分可观。

2.3 Transformer的并联压缩与加速

Transformer中的门控神经单元即自注意力模块Attn(·),一般可表示为

(21)Attn(X)=softmax$\left[\frac{\mathit{X}{\mathrm{W}}_{\mathrm{Q}}(\mathit{X}{\mathrm{W}}_{\mathrm{K}}{)}^{\mathrm{T}}}{\sqrt{\mathrm{N}}}\right]$XW_V

式(21)中:输入特征数据X∈R^B^×^M为批量为B的输入嵌入向量;W_Q、W_K、W_V分别为查询矩阵Q、键矩阵K和值矩阵V的权重,均为尺寸M×N的矩阵。式(21)含有3路门控连接,各权重的输入均为X,因此可以采用并联压缩的策略。

具体与式(15)类似,即定义

(22)W=[$\begin{array}{lll}{\mathit{W}}_{\mathit{Q}}& {\mathit{W}}_{\mathit{K}}& {\mathit{W}}_{\mathit{V}}\end{array}$]∈R^M^×3^N

将其按照HSSVD压缩,得式(1)的A和B,则式(21)的自注意力模块可改写为

(23)

$\left\{\begin{array}{l}{\mathit{X}}_{\mathit{I}}=\mathit{X}\mathit{A}\\ \mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathit{X}\right)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left[\frac{{\mathit{X}}_{\mathit{I}}{\mathit{B}}_{\mathit{Q}}({\mathit{X}}_{\mathit{I}}{\mathit{B}}_{\mathit{K}}{)}^{\mathrm{T}}}{\sqrt{\mathrm{R}}}\right]{\mathit{X}}_{\mathit{I}}{\mathit{B}}_{\mathit{V}}\end{array}\right.$

式(23)中:B_Q、B_K、B_V为B的分块,即

(24)B=[$\begin{array}{lll}{\mathit{B}}_{\mathit{Q}}& {\mathit{B}}_{\mathit{K}}& {\mathit{B}}_{\mathit{V}}\end{array}$]

且相似性缩放系数由1/

$\sqrt{\mathit{N}}$

变为1/

$\sqrt{\mathit{R}}$

。注意式(23)还可将B_Q与B_K提前相乘,则自注意力模块可进一步改为

(25)

$\left\{\begin{array}{l}{\mathit{X}}_{\mathit{I}}=\mathit{X}\mathit{A}\\ \mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathit{X}\right)=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{{\mathit{X}}_{\mathit{I}}{\mathit{B}}_{\mathit{Q}\mathit{K}}{{\mathit{X}}^{\mathrm{T}}}_{\mathit{I}}}{\sqrt{\mathrm{R}}}\right){\mathit{X}}_{\mathit{I}}{\mathit{B}}_{\mathit{V}}\end{array}\right.$

式(25)中:B_QK=B_QB^T_K。

原版自注意力模块的3个权重含有3MN个参数,如图7所示为HSSVD压缩的自注意力模块,虽仍有3个权重,但第一层SVD的秩R通常较小,权重参数量可降为(M+N)R+R²。相应的,式(25)相对于式(21)计算自注意力Attn(X)的加速比为

(26)Φ=$\frac{3\mathit{B}\mathit{M}\mathit{N}+2{\mathit{B}}^{2}\mathit{N}}{\mathit{B}(\mathit{M}+\mathit{N}+\mathit{R})\mathit{R}+{\mathit{B}}^{2}(\mathit{N}+\mathit{R})}$

式(26)中:由于第一层SVD的秩R一般小于M和N,因此分母的两项各自明显小于分子对应位置的两项,加速比Φ的大小视R值的程度可达到十分可观的水平。

3 面向典型视觉识别的仿真验证

选择基于LSTM的视频识别、和基于视觉Transformer的图像识别这两类典型视觉识别任务对所提方法进行仿真验证,以便与相关既有研究开展横向对比,验证本文方法的有效性。所有实验在含有4块英伟达RTX3090 GPU的算力平台上执行。

3.1 基于LSTM的视频识别

如前文国内外相关研究现状分析所述,使用纯粹的LSTM进行视频识别已经成为验证张量分解压缩与加速方法的评价标准之一^[6-11]。为公平对比,参照文献[6 -11]设置相关神经网络模型设计与训练超参数。视频识别数据集一般选择UCF11和YCF,预处理时将每帧数据缩减为160×120×3,训练时随机提取6帧连续数据作为LSTM的输入,即LSTM网络结构在时间长度上循环6次,如图8所示。在空间上,LSTM的神经单元以图6的设计为准,输入向量由每帧数据尺寸决定为57 600,单隐层输出为256。训练采用Adam优化器,初始学习率设为0.001,总训练世代为400。

为方便对LSTM神经单元的权重进行HSSVD压缩,也就是为式(18)选取更均衡的模分解参数,具体参照文献[11],将输入权重W_θ的尺寸由57 600×256通过补0方式扩展为61 184×256,如此式(18)中W的行数变为61 184+256=61 440,列数为256×4=1 024。对于这两个值可设模分解参数分别为

(27)

$\left\{\begin{array}{l}61440=256\times 240={\mathit{M}}_{1}\times {\mathit{M}}_{2}\\ 1024=32\times 32={\mathit{N}}_{1}\times {\mathit{N}}_{2}\end{array}\right.$

在秩选择方面,为便于对比直接采用算法1给定秩约束的HSSVD算法,经有限次尝试,确定HSSVD的第一层秩为R=5,第二层秩为

${\mathit{R}}_{\mathit{A}}^{\left(\mathrm{r}\right)}$

${\mathit{R}}_{\mathit{B}}^{\left(\mathrm{r}\right)}$

=3。

经训练和微调,所提HSSVD算法在UCF11和YCF数据集上的实验效果以及与其他张量分解方法的对比如表2所示。相比其他方法,HSSVD虽未取得最高的识别准确率,但与最佳的KCPD方法差距不大,而且这种差距的主要原因在于文献[10]采用的KCPD方法保留了更多权重参数;HSSVD更有意义的优势在于其推理用时明显优于其他方法,这是因为其推理过程采用了文献[12]的优化途径,避免了过多的中间特征数据存储占用和转置操作。

3.2 基于视觉Transformer的图像识别

当前视觉Transformer已产生众多有效基本模型可作为轻量化方法的验证基准^[22-24],选取最新揭示视觉Transformer有效性机理的MetaFormer框架^[24]作为验证HSSVD压缩与加速的参考,图像识别任务选择已经成为图像领域性能评判标准的大规模数据集ImageNet。在MetaFormer框架中,选择体量适中的CAFormer-S18作为基线模型,因为该模型通过消融验证方式提出了面向视觉任务相对最优的模型结构,即在浅层大尺寸特征图阶段使用卷积模块强化局部特征描绘能力,在深层小尺寸特征图阶段使用视觉Transformer模块获取对全图特征的理解,如表3所示。

如表3所示为针对CAFormer-S18的HSSVD压缩设置,此处仅考虑对阶段3和阶段4的Transformer模块进行压缩;由于阶段1和阶段2的卷积模块对ImageNet图像识别任务起到局部特征提取的关键作用^[25],且其参数量在整个模型中占比较低,故未予压缩。阶段3的门控连接权重320×(3×320)

按照320=(16×20)和(3×320)= (24×40)进行分解,阶段4的门控连接权重512×(3×512)按照512=(16×32)和(3×512)= (32×48)进行分解。对于阶段3和阶段4之中体量较大的全连接权重320×1 280及512×2 048,同样使用HSSVD进行分解,模的分解依次设置为320=(16×20),1 280=(40×32),512=(16×32),以及2 048=(32×64)。秩的选择由表2给定MSE约束的HSSVD算法所决定,MSE的阈值取为1×10^-6。压缩之后,CAFormer-S18的总参数量仅为11.9×10⁶,下降了53.5%。

如表4所示为HSSVD压缩后的CAFormer-S18在ImageNet上经微调所达到的图像识别准确率,同时列举了所提方法得到的轻量化模型与其他典型轻量化视觉Transformer方法在参数量和推理速率等方面的对比。一方面由于CAFormer-S18作为基线模型本身具有卓越的综合性能,另一方面在于HSSVD具有较好的压缩精度保持和推理加速效果,使得本文所提方法相比其他典型模型具有最佳的综合性能,即CAFormer (HSSVD)在取得最佳识别准确率的前提下,模型参数量最低且推理速度也相对较快。另外,注意到CMT-XS模型实测的每秒推理图像数量最高,原因在于该模型擅于处理小尺寸图像从而减少了实际计算量,其采用的ImageNet图像输入尺寸为192×192^[27];相比之下,EfficientViT-M5为了取得较好识别准确率,所采用的模型对应的图像输入尺寸为512×512^[28];本文中所采用的CAFormer模型及其他方法均使用常规的224×224作为图像输入尺寸。

4 面向SQL语句生成的应用验证

结合SQL语句生成这一典型工程应用场景,对所提方法进行综合验证。SQL语句生成是金融类软件工程中的常用功能之一,可将自然语言转换为数据库SQL语句,实现不同层次工程开发人员或客户对数据的柔性便捷访问。本节所涉场景主要集中在工程开发领域,便于数据管理和软件研发人员更快地获取相关SQL语句,改善了传统上围绕数据库表格式仔细编写SQL语句的低效与枯燥。

具体的自然语言转SQL语句的智能模型参考了文献[30],采用Transformer特征提取[具体选择BERT(bidirectional encoder representations from Transformers)模型]和双向LSTM梳理词序相结合的架构,如图9所示。图9中,右下角表格为自然语言对应的数据库表结构(表名cus_table);对每个输入的自然语言Q,按照预先定义的关系型数据库模式S=<T,C>,分割数据库表名T和字段名C,并分别在T和C之前加特殊标记字符[T]和[C],同时在S之前加特殊标记字符[SEP],最后将Q、S、T和C拼接为正式输入X;将X输入BERT模型进行编码,随后经过一层双向LSTM获得序列的初始编码表示h_X。h_X中的问题片段(来自Q)继续通过一层额外的双向LSTM获得Q的最终编码h_Q;h_X中的其他片段经过一个额外的全连接网络获得字段特征(含主键f_primary,外键f_foreign,类型f_type),问题编码和字段特征编码拼接组合后即为自然语言Q对应的SQL语句输出。

该模型的核心是BERT语义特征提取,此处使用了常规大型语料库预训练的BERT,然后针对工程应用所涉数据库具体概念设计内容,仿照Spider数据集的格式构建专用数据集,最后将图9的整个模型使用专用数据集微调,即可得到可用的基线模型。经实测,该基线模型的SQL语句生成精度为61.7%。

为在实际使用中获得更好的体验并节省存储与算力资源,将本文所提门控神经单元并联压缩与加速方法用于图9所示模型。具体对BERT中的多头注意力模块以式(25)进行压缩,对与BERT相衔接的第一层双向LSTM中的式(19)进行压缩,在权重分解替换后再次以自行构建的专用数据集微调。结果显示,模型推理运行时的内存占用减小89.3%,时间消耗降低41.6%。

5 结论

受2阶KCPD启发,提出HSSVD及其最佳秩选择方法,并针对神经网络轻量化需求提出基于预训练模型先分解再微调的无损压缩方式,进而将其推广至一般化的门控神经单元,提出形式统一的HSSVD并联压缩方法,给出所提方法在RNN和Transformer两类神经单元中的表现形式,并分别讨论RNN和Transformer的理论推理加速比。仿真验证表明,相对其他典型张量分解方法,HSSVD对LSTM的视频识别任务可同时获取最低权重参数量和推理时间,连续6帧160×120×3大小的视频数据平均推理用时约为14ms,视频识别准确率超过88%;HSSVD对视觉Transformer的图像识别任务同时获取了最低的权重参数量和最高识别准确率,仅用11.9×10⁶的参数量在ImageNet数据集上达到82.9%的识别准确率,图像处理效率最高约为3 196张/s。应用验证表明,针对自然语言生成SQL语句的工程任务,对模型中的LSTM和Transformer模块同时压缩,可在不减少语句生成精度的前提下,节约89.3%的内存占用和41.6%的生成时间。

HSSVD方法展示了灵活运用常规SVD对大型权重矩阵进行压缩与加速的途径,体现了其无损压缩与有效推理加速的优势,如何将该方法应用于复杂复合式深度学习模型和智能大模型,是值得进一步推广研究的方向。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	郭朝鹏, 王馨昕, 仲昭晋, 等. 能耗优化的神经网络轻量化方法研究进展[J]. 计算机学报, 2023, 46(1): 85-102.

[2]	Guo Chaopeng, Wang Xinxin, Zhong Zhaojin, et al. Research advance on neural network lightweight for energy optimization[J]. Chinese Journal of Computers, 2023, 46(1): 85-102.

[3]	Greff K, Srivastava R K, Koutnik J, et al. LSTM: a search space odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(10): 2222-2232.

[4]	Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]// International Conference on Neural Information Processing Systems (NIPS). Long Beach: MIT Press, 2017: 5999-6009.

[5]	Wu Y, Wang D H, Lu X T, et al. Efficient visual recognition: a survey on recent advances and brain-inspired methodologies[J]. Machine Intelligence Research, 2022, 19(5): 366-411.

[6]	Wang M L, Pan Y, Yang X L, et al. Tensor networks meet neural networks: a survey[EB/OL]. (2023-01-22) [2023-07-01]. https://arxiv.org/abs/2302.09019.

[7]	Yang Y C, Krompass D, Tresp V. Tensor-train recurrent neural networks for video classification[C]// International Conference on Machine Learning (ICML). Sydney: ACM, 2017: 5929-5938.

[8]	Ye J M, Wang L N, Li Guang X, et al. Learning compact recurrent neural networks with block-term tensor decomposition[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: IEEE, 2018: 9378-9387.

[9]	Pan Y, Xu J, Wang M L, et al. Compressing recurrent neural networks with tensor ring for action recognition[C]// AAAI Conference on Artificial Intelligence. Honolulu: AAAI, 2019: 4683-4690.

[10]	Wang D H, Wu B J, Zhao G S, et al. Kronecker CP decomposition with fast multiplication for compressing RNNs[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(5): 2205-2219.

[11]	Lü R, Wang D H, Zheng J B, et al. Realistic acceleration of neural networks with fine-grained tensor decomposition[J]. Neurocomputing, 2022, 512: 52-68.

[12]	Yin M, Liao S Y, Liu X Y, et al. Towards extremely compact RNNs for video recognition with fully decomposed hierarchical tucker structure[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville: IEEE, 2021: 12080-12089.

[13]	王鼎衡, 刘保荣, 杨维, 等. KCPStack: 张量分解的卷积核分层矩阵压缩方法[J]. 西安交通大学学报, 2024, 58(3): 137-148.

[14]	Wang Dingheng, Liu Baorong, Yang Wei, et al. KCPStack: tensor decomposed compression method with layered matrices for convolutional kernels[J]. Journal of Xi’an Jiaotong University, 2024, 58(3): 137-148.

[15]	王志航, 杨华实, 杨维, 等. HKRNet: 高实时性点云配准轻量化框架[J]. 科学技术与工程, 2025, 25(11): 4629-4637.

[16]	Wang Zhihang, Yang Huashi, Yang Wei, et al. HKRNet: lightweight framework for high-realtime point cloud registration[J]. Science Technology and Engineering, 2025, 25(11): 4629-4637.

[17]	Qi M M, Wang D H, Yang W, et al. Fine-grained hierarchical singular value decomposition for convolutional neural networks compression and acceleration[J]. Neurocomputing, 2025, 636: 129966.

[18]	Ma X D, Zhang P, Zhang S, et al. A tensorized transformer for language modeling[C]// International Conference on Neural Information Processing Systems (NIPS). Vancouver: MIT Press, 2019: 2232-2242.

[19]	李天阳, 张帆, 王松, 等. 基于FPGA的卷积神经网络和视觉Transformer通用加速器[J]. 电子与信息学报, 2024, 46(6): 2663-2672.

[20]	Li Tianyang, Zhang Fan, Wang Song, et al. FPGA-based unified accelerator for convolutional neural network and vision transformer[J]. Journal of Electronics & Information Technology, 2024, 46(6): 2663-2672.

[21]	蔡青竹, 刘强. 一种高效Swin Transformer加速器设计[J]. (2024-06-04)[2025-05-22].https://doi.org/10.13700/j.bh.1001-5965.2024.0222.

[22]	Cai Qingzhu, Liu Qiang. An efficient Swin Transformer accelerator design[J]. (2024-06-04)[2025-05-22].https://doi.org/10.13700/j.bh.1001-5965.2024.0222.

[23]	Wu B J, Wang D H, Zhao G S, et al. Hybrid tensor decomposition in neural network compression[J]. Neural Networks, 2020, 132: 309-320.

[24]	Yin M, Phan H, Zang X, et al. BATUDE: budgetaware neural network compression based on tucker decomposition[C]// AAAI Conference on Artificial Intelligence. Vancouver: AAAI, 2022: 8874-8882.

[25]	Gabor M, Zdunek R. Compressing convolutional neural networks with hierarchical tucker-2 decomposition[J]. Applied Soft Computing, 2023, 132: 109856.

[26]	刘微容, 张志强, 张宁, 等. 基于TT-Tucker分解的无预训练LC卷积神经网络压缩方法[J]. 华南理工大学学报(自然科学版), 2024, 52(7): 29-38.

[27]	Liu Weirong, Zhang Zhiqiang, Zhang Ning, et al. A TT-Tucker decomposition-based LC convolutional neural network compression method without pre-training[J]. Journal of South China University of Technology (Natural Science Edition), 2024, 52(7): 29-38.

[28]	Liu Z, Lin Y T, Cao Y, et al. Swin Transformer: hierarchical vision Transformer using shifted windows[C]// IEEE International Conference on Computer Vision (ICCV). Montreal: IEEE, 2021: 10012-10022.

[29]	Yuan L, Chen Y P, Wang T, et al. Tokens-to-Token ViT: training vision Transformers from scratch on ImageNet[C]// IEEE International Conference on Computer Vision (ICCV). Montreal: IEEE, 2021: 558-567.

[30]	Yu W H, Si C Y, Zhou P, et al. MetaFormer baselines for vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024, 46(2): 896-912.

[31]	Xiao T T, Singh M, Mintun E, et al. Early convolutions help transformers see better[C]// International Conference on Neural Information Processing Systems (NIPS). Sydney: MIT Press, 2021: 30392-30400.

[32]	Zhang Z Z, Zhang H, Zhao L, et al. Nested hierarchical Transformer: towards accurate, data-efficient and interpretable visual understanding[C]// AAAI Conference on Artificial Intelligence. Vancouve: AAAI, 2022: 3417-3425.

[33]	Guo J Y, Han K, Wu H, et al. CMT: convolutional neural networks meet vision Transformers[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans: IEEE, 2022: 12165-12175.

[34]	Liu X Y, Peng H W, Zheng N X, et al. EfficientViT: memory efficient vision Transformer with cascaded group attention[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver: IEEE, 2023: 14420-14430.

[35]	Hatamizadeh A, Kautz J. MambaVision: a hybrid mamba-Transformer vision backbone[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville: IEEE, 2025: 25261-25270.

[36]	Lin X, Socher R, Xiong C. Bridging textual and tabular data for cross-domain text-to-SQL semantic parsing[C]// Conference on Empirical Methods in Natural Language Processing (EMNLP). Online: ACL, 2020: 4870-4888.