时序数据分类的迁移随机神经网络及其学习方法

王士同; 杨子伦

doi:10.12404/j.issn.1671-1815.2505857

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (23) :10050-10061 DOI: 10.12404/j.issn.1671-1815.2505857

自动化技术、计算机技术

时序数据分类的迁移随机神经网络及其学习方法

王士同 ,
杨子伦

作者信息 +

Transfer Learning of Random Neural Networks for Time Series Data Classification

Author information +

文章历史 +

摘要

周期性时序数据的高效分类在医疗、气象和工业生产等领域具有重要意义,然而复杂的现实环境(如传感器失灵)可能导致训练数据不足。为了开发一种高效的迁移学习方法,以提高随机向量函数链网络(random vector functional-link net,RVFL)在周期性时序数据不足情形下的分类性能,提出了基于输出迁移的随机向量函数链网络(output-based transfer learning for RVFL,OTL-RVFL)。其基本思想是利用随机向量函数链网络架构简洁、训练高效和性能出色的优势;首先以时间序列的周期为单位构建基础的RVFL分类模型,接着为其中数据不足的周期段建立OTL-RVFL模型;OTL-RVFL通过迁移前序周期的RVFL输出,并直接以解析解求得模型参数,增强对当前周期段时序数据的分类性能。依托公开数据集的实验结果表明,该方法将RVFL与迁移学习结合,有效提升了面对周期性时序数据不足时完成分类任务的性能,且具备显著的训练效率优势。

Abstract

Efficient classification of periodic time-series data has very important significance for various application fields like healthcare, meteorology and industrial production. However, the training data for such tasks may become insufficient due to complex circumstances like sensor failures. An output-based transfer learning for RVFL model (OTL-RVFL) was developed to improve random vector functional-link networks (RVFL) so as to achieve enhanced classification performance from insufficient periodic time-series data. The basic idea was to leverage RVFL as the base classification model, characterized by its simple architecture, efficient training and strong classification performance. Firstly, the basic RVFL classification model was built along each period for periodic time-series data. Secondly, for each period with insufficient data, an OTL-RVFL model was built to transfer the outputs of the corresponding basic RVFL models trained on one or more previous periods and learn the model parameters analytically in closed-form solution, thereby enhancing the classification performance on the current period’s time-series data. Experimental results on public datasets demonstrate that the proposed method effectively combines RVFL with transfer learning, significantly improving the classification performance for insufficient periodic time-series data classification while retaining RVFL’s remarkable advantages in training efficiency.

Graphical abstract

关键词

时间序列分类 / 随机神经网络 / 随机向量函数链神经网络 / 迁移学习

Key words

time series classification / random neural networks / random vector functional-link neural networks / transfer learning

引用本文

引用格式 ▾

王士同, 杨子伦. 时序数据分类的迁移随机神经网络及其学习方法[J]. 科学技术与工程, 2026, 26(23): 10050-10061 DOI:10.12404/j.issn.1671-1815.2505857

WANG Shi-tong, YANG Zi-lun. Transfer Learning of Random Neural Networks for Time Series Data Classification[J]. Science Technology and Engineering, 2026, 26(23): 10050-10061 DOI:10.12404/j.issn.1671-1815.2505857

登录浏览全文

4963

注册一个新账户忘记密码

随着大数据与智能技术的迅猛发展,时间序列数据(time series data)的规模不断扩大,通过分析一段时序数据的特征并将它分配到已知类别中被称为时间序列分类(time series classification, TSC)^[1]。时间序列数据(又称“时序数据”)广泛存在于医疗^[2]、环保^[3]和工业生产^[4]等领域,其中相当一部分还呈现出明显的周期性特征。时间序列的周期性是指数据在特定时间间隔后会重复呈现相似的波动模式或规律性变化^[5]。受制于复杂的现实环境(如传感器故障),周期性时序数据往往出现片段缺失,导致部分周期的有效数据不足。

现有的时间序列分类算法种类繁多^[6],基于动态时间规整距离度量的经典方法^[7-8]能够有效处理时序数据的非线性变形,但因计算复杂度过高,难以应用于大型数据集^[9]。Corduas等^[10]将统计学理论与时序分类方法相结合,提出了一种基于自回归度量的时间序列分类方法,该方法在捕捉时序数据动态特征和计算效率方面表现出色,但其性能受到平稳性假设理论的约束。基于Shapelet的分类方法^[11-13]在提供可解释性的同时提高了计算效率,然而其关键的Shapelet发现过程仍然面临计算复杂度高的挑战。集成学习方法^[14-15]通过融合多种基分类器与时序特征可获得极高的分类准确率,但对大量基学习器的依赖也使其时间复杂度和内存开销迅速攀升。近年涌现的一系列代表性深度学习方法也推动着时间序列分类的发展,李克文等^[16]设计的时序自注意分类架构在自注意力计算中引入混合距离信息,结合多尺度卷积获取多尺度局部前向信息,从而加快模型收敛,有效提升时间序列分类性能。刘颖等^[17]将残差网络与概率随机森林结合,设置全局目标函数实现两类参数的联合优化,提高模型在小规模数据集上的泛化能力。基于对时间序列多周期性的观察,Wu等^[5]提出的TimesNet模型同时建模周期内和跨周期特征,将一维时间序列动态转换为二维表示以捕捉多尺度周期性变化,从而构建通用时间序列建模框架。Mu等^[18]通过傅里叶变换将序列重构为多尺度周期片段,结合周期模块和振幅加权机制实现多尺度周期联合建模,使模型在分类准确率、轻量化和可解释性方面均得到提升。上述方法深入挖掘时间序列的局部模式、周期结构和全局依赖,显著提升了分类精度和泛化能力,但也因普遍依赖复杂结构和大规模参数,导致计算与内存开销较高。

随机向量函数链网络(random vector functional-link net,RVFL)^[19-20]作为最经典的随机神经网络变体^[21-22],凭借其简洁的架构、通用函数逼近能力^[23-24]以及可解析解的模型训练方式,不仅拥有较好的时序数据分类性能,而且网络优化成本较低;直链的应用有效增强了RVFL的时序数据分析能力^[25],得益于它的计算效率与性能优势,RVFL被广泛应用于分类^[26]、回归^[27]、聚类^[28]以及高实时性要求^[29-30]的诸多任务中^[31]。毛琦等^[32]提出了一种由非线性自回归结构与极限学习机组成的预测器和RVFL分类器构成的混合数据驱动诊断框架,引入故障特征叠加的诊断策略,在无需新增硬件的条件下显著提升了故障诊断的精度、效率和工程实用性。Malik等^[33]提出基于线性回归的监督式扩展特征构建方法efRVFL(extended features RVFL),在输入空间中生成更具判别性的扩展特征,并集成多个在不同扩展特征空间上训练的efRVFL形成集成efRVFL框架,在未明显增加模型复杂度和训练成本的前提下,有效提升多分类准确率与鲁棒性。Cheng等^[34]采用残差神经网络作为深层特征提取器,并结合edRVFL(ensemble deep RVFL)生成的浅层随机特征,通过集成多样化的edRVFL和两阶段超参数搜索,相比端到端深度网络显著降低了模型训练的计算开销。虽然RVFL在时间序列分类领域已经取得了长足发展,但在数据不足条件下如何有效训练RVFL、减轻性能退化,仍是一个待研究的问题。Wang等^[35]通过联合域适应将标记与未标记数据映射到共享子空间,再由RVFL结合图正则化实现半监督训练,显著降低了模型训练对标记数据的依赖。叶璇等^[36]基于贝叶斯理论和属性加权矩阵构建更优加权子空间,并在该子空间上训练集成RVFL模型,在高维小样本场景中表现出更好的泛化能力。Peng等^[37]提出一种半监督联合优化框架,通过交替更新输出权重和未标记样本的标签矩阵,使RVFL和极限学习机能端到端协同利用标注与未标注数据,提升在标注数据稀缺场景下的分类性能。现有的研究围绕RVFL引入正则化、半监督学习和结构扩展等方法,在标注数据稀缺场景下取得了较好的分类性能。然而,这些方法大多从“整体数据集”的角度出发构建通用时间序列分类模型,在样本层面近似地将各条序列视为独立同分布的个体,未能充分利用同一周期性时间序列内部各周期间的紧密联系。

迁移学习(transfer learning,TL)是解决模型训练数据不足问题的主流方法^[38],其中基于输出的迁移学习^[39]认为虽然源域与目标域的数据分布可能存在差异,但两者存在某些共性特征,因此其预测模型的输出应遵循一定的相似性约束;依靠特定的输出加权机制,可使目标域的模型在训练过程中获取源模型输出的信息,从而提升目标域模型的分类性能。对于具有周期性特征的时间序列数据而言,其相邻周期段通常表现出较高的相似性,为有效实施迁移学习提供了理想条件^[40]。相较于寻找外部源域,直接利用同一条序列内部的历史周期作为知识来源,不仅简化了源域选择过程,且由于目标周期段与源周期段属于同一时间序列,在分布形态上更具统计一致性,并在时间维度上呈现出更紧密的内部依赖关系。

基于上述分析,为解决周期性时序数据中局部数据不足的问题,提出基于输出迁移的随机向量函数链网络(output-based transfer learning for random vector functional-link net,OTL-RVFL)。其基本思想是以周期为单位对原始时间序列进行划分,首先在数据充足的周期段上训练标准RVFL分类器并获得其未归一化的输出层预测值;当后续周期出现样本不足时,沿用与前序RVFL相同的隐藏层构建OTL-RVFL,将同一序列历史周期的RVFL预测输出与当前周期的真实标签进行加权融合,从而形成包含历史知识与当前监督信息的联合优化目标,使基于输出的迁移学习能够在序列级实现更有针对性的知识传递;最后,OTL-RVFL对该新目标仍采用RVFL的解析解求解方式计算输出层权重。基于输出的迁移方式使所提出的模型在完全保留RVFL简洁结构和解析解求解优势的基础上,能显著提升泛化能力,有效缓解数据不足所导致的分类性能下降;相较其他时序数据分类模型,OTL-RVFL依托可解析解计算输出层权重的优化机制,在训练效率和计算成本方面具有明显优势,更适合部署于对响应速度要求较高的实时应用场景。提出的模型面向周期性时序的周期段开展迁移学习,对于任意目标样本,其迁移源域一方面受整体源域集合的影响,另一方面还叠加了来自同一时间序列内部周期间的一致性约束,从而使迁移更契合目标样本的特征分布。为验证OTL-RVFL在资源受限场景中的适用性和有效性,将该模型在5个公开数据集上进行数据不足的模拟实验,并期望在保持与标准RVFL近似计算成本的前提下,提升该模型的分类准确率。

1 预备知识

1.1 周期性时间序列分类

时间序列数据是一种按照时间顺序排列的数据序列,它的每个数值点都与一个特定的时间戳相关联,数据的各个数值点以及多个数值点组成的时间段都有着较高的时空关联性。当数据序列在时间维度上表现出规律性重复模式时,称为周期性时序数据。

定义1 周期性时间序列。设包含n个完整周期的时间序列t由n×p个实值观测点组成,记为

(1)$ \boldsymbol{t}=\left\{x_{1}, x_{2}, \cdots, x_{i}, \cdots, x_{n \times p}\right\}$

式(1)中:x_i∈R为第i个时刻的观测值。若存在正整数p使得对于所有有效的i,都满足

(2)$ \left|x_{i+p}-x_{i}\right| \leqslant \epsilon, \quad i=1,2, \cdots,(n-1) p$

式(2)中:∊为预设的误差容忍度,若∊>0则称该序列具有周期性;p为其周期长度。

定义2 周期段。时间序列t的第k个周期段定义为

(3)$ \begin{aligned}\boldsymbol{x}^{(k)} & =\left\{x_{(k-1) p+1}, x_{(k-1) p+2}, \cdots, x_{k p}\right\} \in \mathbf{R}^{p}, \\& k=1,2, \cdots, n\end{aligned}$

定义3 周期性时序数据分类问题。给定包含m条周期性时间序列的数据集:

(4)$ \begin{aligned}\mathcal{D}= & \left\{\left(\boldsymbol{t}_{1}, c_{1}\right),\left(\boldsymbol{t}_{2}, c_{2}\right), \cdots,\left(\boldsymbol{t}_{i}, c_{i}\right), \cdots,\right. \\& \left.\left(\boldsymbol{t}_{m}, c_{m}\right)\right\}\end{aligned}$

式(4)中:t_i为第i条时间序列;c_i∈{1,2,…,C}为对应的类别标签。每条时间序列t_i可分解为n个周期段,即

(5)$ \boldsymbol{t}_{i}=\left\{x_{i}^{(1)}, x_{i}^{(2)}, \cdots, x_{i}^{(n)}\right\}$

式(5)中:${x}_{i}^{\left(j\right)}$∈R^p为第i条时间序列的第j个周期段。

周期性时序数据分类的目标是对每个周期位置j∈{1,2,…,n},学习一个分类函数,表示为

(6)$ f_{j}: \mathbf{R}^{p} \rightarrow\{1,2, \cdots, C\}$

使得f_j(${x}_{i}^{\left(j\right)}$)=c_i对所有i∈{1,2,…,m}成立,通过学习第j个周期段的特征预测该段序列的类别。

1.2 随机向量函数链网络

随机向量函数链网络(RVFL)是随机神经网络的经典变体,具备通用逼近能力^[23],其结构如图1所示。RVFL除继承随机神经网络的三层结构和隐藏层随机权重外,还引入直链机制^[20];直链将输入层与输出层直接相连,提高原始特征利用效率,使模型在多种任务中获得性能提升^[41]。输入层到隐藏层的权重在训练前即随机固定,训练阶段仅需优化输入层与隐藏层到输出层的权重,节约大量计算资源。输出层权重通过解析解确定,相比反向传播网络优化开销更低,不易陷入局部最优。固定随机权重与非线性激活使RVFL具备非线性拟合能力,同时输出层仍能采用解析解求得权重。

给定特征空间X⊆R^d和对应的类别集合Y={1,2,…,C},以及对应的样本矩阵X∈R^N^×^d与标签矩阵y∈R^N^×^C;再设RVFL的随机权重为W_r∈R^d^×^S和偏置项为b∈R^1×^S,其中N和d分别为输入样本数和特征维度,S为隐藏层神经元数,C为类别数。

由于隐藏层的权重是随机生成的,在训练阶段仅确定输出层神经元的权重为β∈R⁽^d⁺^S^)×^C。对于RVFL的训练,首先计算它的隐藏层输出H,H计算公式为H=g(XW_r+b),其中激活函数g(·)可选用Sigmoid、Gaussian等。接着,将隐藏层输出H和原特征空间X组合得到输出层的输入E=[H,X],λ为正则化参数,此时根据岭回归的闭式解形式,可得目标函数[式(1)]的最优解$ \hat{\boldsymbol{\beta}}$。表达式为

(7)$ \mathcal{L}_{\mathrm{RVFL}}(\boldsymbol{E}, \boldsymbol{\beta} ; \boldsymbol{y})=\frac{1}{2}\|\boldsymbol{E} \boldsymbol{\beta}-\boldsymbol{y}\|_{2}^{2}+\frac{\lambda}{2}\|\boldsymbol{\beta}\|_{2}^{2}, \quad \lambda>0$

由于求解过程涉及矩阵求逆,同时为了提高求解效率,根据样本数和隐藏层神经元数的不同,这里给出两种求解的方案。当训练样本数大于隐藏神经元数与样本特征数之和时,优先考虑解1;否则,使用解2,解的公式为

(8)$ \left\{\begin{array}{l}\text { 解 } 1: \hat{\boldsymbol{\beta}}=\left(\boldsymbol{E}^{\mathrm{T}} \boldsymbol{E}+\lambda \boldsymbol{I}\right)^{-1} \boldsymbol{E}^{\mathrm{T}} \boldsymbol{y} \\\text { 解 } 2: \hat{\boldsymbol{\beta}}=\boldsymbol{E}^{\mathrm{T}}\left(\boldsymbol{E} \boldsymbol{E}^{\mathrm{T}}+\lambda \boldsymbol{I}\right)^{-1} \boldsymbol{y}\end{array}\right.$

式(8)中:I为单位矩阵;矩阵EE^T为实对称半正定,可正交对角化;当加入正则项λI后,上述矩阵严格正定。RVFL的最终预测输出是$ \hat{\boldsymbol{y}}=\boldsymbol{E} \hat{\boldsymbol{\beta}}$。

2 模型架构

针对周期性时间序列的分类问题,提出时序数据分类的迁移随机神经网络(OTL-RVFL)模型。对于包含n个周期的时间序列,OTL-RVFL采用逐周期训练策略,每次训练仅使用单个周期内的数据X⁽^k⁾(k=1,2,…,n)。当特定周期出现数据不足时,传统的基于参数共享的异构迁移学习方法因模型的解析解优化特性而难以直接应用。相比之下,基于输出的迁移学习策略能够在保持模型主体结构不变的前提下有效提升性能。由于各周期输入数据序列长度一致且数据分布具有相似性,通过共享隐藏层权重,各周期模型将获得高度相似的隐藏层表示,进而使得模型输出在不同周期间保持一定的一致性。即使当前周期存在数据不足,其数据分布仍与前序周期保持一致性,因此模型输出应与前序周期的输出具有相似性。这一特性为利用前序周期的模型输出来辅助当前周期的模型训练提供了理论基础。

如图2所示,OTL-RVFL的训练流程可从纵向和横向两个维度进行分析。

纵向结构:底层为按周期分割的输入数据序列(图2中底部每个实线框为一个周期),中间层为对应周期的隐藏层,顶层为各周期的输出层。

横向结构:虚线框内展示了OTL-RVFL的核心架构,包含橙色多边形内的基于输出的迁移学习实现,以及针对新目标优化的RVFL框架。左侧为数个已完成训练的前序周期RVFL模型,预测输出为$ \left\{\hat{\boldsymbol{y}}^{(k-1)}, \hat{\boldsymbol{y}}^{(k-2)}, \hat{\boldsymbol{y}}^{(k-3)}, \cdots\right\}$;右侧为待处理的未来周期数据。

虚线框左侧的数个RVFL模型,除输入为各自对应周期的数据外,其训练方法与前文所述无异。虚线框内的OTL-RVFL模型是由RVFL网络拓展而来,包含输入层、隐藏层和输出层,以及从输入层到输出层的直链向量。图2中黑色实箭线表示输出层权重,绿色虚箭线表示随机初始化的隐藏层权重。隐藏层通过激活函数g(XW_r+b)进行非线性变换,其中权重W_r和偏置b在初始化后保持固定,g(x)的表示为

(9)$ g(x)=\frac{1}{1+\mathrm{e}^{-x}}$

OTL-RVFL与传统RVFL的核心区别在于输出层权重的优化策略(图2中橙色多边形框和椭圆虚线框部分)。椭圆虚线部分代表待优化的输出层权重,橙色框内的蓝色神经元来自前序输出,而黄色神经元是原始目标值。当周期k出现训练数据不足的情况时,图中的“迁移输出”模块通过基于输出的迁移学习,将前序周期k-1和k-2的RVFL输出与原始目标融合,产生供当前周期训练的新目标(图2中的橙色圆形)。最后,根据新的目标值计算可解析解,得到椭圆虚线框内的输出层权重。

迁移学习的应用使模型能够利用历史周期的输出信息,在保持计算效率的同时显著提升了对周期性时序数据的分类能力。需要说明的是,为简化对模型结构的描述,只以两个前序周期作为迁移源域,但在实际应用中可根据数据特征和性能需求选择更多的历史周期作为源域。

3 迁移随机神经网络的优化目标

给定一条含n个周期的时间序列,其任意周期k=1,2,…,n的子序列段X⁽^k⁾∈R^N^×^d,周期k对应目标为y⁽^k⁾∈R^N^×^C。设随机权重W_r∈R^d^×^S、偏置项b∈R^1×^S和模型映射表达X→y,N、d和S分别为输入数据的样本数、周期k样本的特征数和隐藏层节点数。当k为1或2时,可供OTL-RVFL迁移的前序模型输出不足,其训练自然也无从讨论。相对的,当训练任意周期k>2的OTL-RVFL模型时,应已存在经充分训练的RVFL前序周期输出$ \hat{\boldsymbol{y}}^{(k-1)}$和$ \hat{\boldsymbol{y}}^{(k-2)}$。下面的OTL-RVFL学习方法均针对周期k>2的情形。

首先,计算隐藏H⁽^k⁾,令g(·)为激活函数,使输入数据X⁽^k⁾与隐藏层随机权重相乘,再经过激活函数g(·)得到H⁽^k⁾=g(X⁽^k⁾W_r+b)。再将隐藏层输出H⁽^k⁾联合原始特征得到输出层的输入E⁽^k⁾=[H⁽^k⁾,X⁽^k⁾]∈R^N^×(^S⁺^d⁾。

接着,优化输出层参数,其损失函数由原始目标和迁移学习目标两部分组成[式(10)],分别为式(14)的原始目标和式(12)的迁移学习目标。表达式为

(10)$ \begin{array}{l}\mathcal{L}\left(\boldsymbol{E}, \boldsymbol{\beta}, \boldsymbol{y}, \hat{\boldsymbol{y}}_{1}, \hat{\boldsymbol{y}}_{2}\right)=\frac{\alpha}{2}\|\boldsymbol{E} \boldsymbol{\beta}-\boldsymbol{y}\|_{2}^{2}+\frac{\lambda}{2}\|\boldsymbol{\beta}\|_{2}^{2}+ \\\quad \frac{1-\alpha}{2}\left[\alpha_{1}\left\|\boldsymbol{E} \boldsymbol{\beta}-\hat{\boldsymbol{y}}_{1}\right\|_{2}^{2}+\alpha_{2}\left\|\boldsymbol{E} \boldsymbol{\beta}-\hat{\boldsymbol{y}}_{2}\right\|_{2}^{2}\right]= \\\quad \frac{1}{2}\left\|\boldsymbol{E} \boldsymbol{\beta}-\left[\alpha \boldsymbol{y}+(1-\alpha)\left(\alpha_{1} \hat{\boldsymbol{y}}_{1}+\alpha_{2} \hat{\boldsymbol{y}}_{2}\right)\right]\right\|_{2}^{2}+ \\\quad \frac{\lambda}{2}\|\boldsymbol{\beta}\|_{2}^{2}, \quad \alpha_{1}+\alpha_{2}=1,0 \leqslant \alpha \leqslant 1,0<\lambda\end{array}$

(11)$\|\boldsymbol E \boldsymbol \beta-\boldsymbol y\|_{2}^{2} $

(12)$\alpha_{1}\left\|\boldsymbol{E} \boldsymbol{\beta}-\hat{\boldsymbol{y}}_{1}\right\|_{2}^{2}+\alpha_{2}\left\|\boldsymbol{E} \boldsymbol{\beta}-\hat{\boldsymbol{y}}_{2}\right\|_{2}^{2} $

记$\hat{\boldsymbol{y}}_{1}=\hat{\boldsymbol{y}}^{(k-1)} $、$\hat{\boldsymbol{y}}_{2}=\hat{\boldsymbol{y}}^{(k-2)} $,模型通过迁移学习参数α、α₁和α₂实现对不同目标的侧重。在式(10)中,采用迁移学习参数α构建联合双目标优化框架,以α控制原始目标y=y⁽^k⁾所占权重,而1-α表达迁移信息的重要程度。通过α₁和α₂分别调控$\hat{\boldsymbol{y}}_{1} $和$\hat{\boldsymbol{y}}_{2} $在历史信息中所占的比重,它们的和为1。

当损失函数达到最小值时,OTL-RVFL可直接利用解析解形式计算得到最优权重,此求解策略有严格的数学理论基础,其可靠性亦在大量研究中被证实。与传统的梯度下降神经网络优化方法相比,这种方法不仅显著降低了计算复杂度,而且所得解不易陷入局部最优。由于解的计算涉及矩阵的求逆运算,为确保矩阵的可逆性并提高计算效率,对于矩阵E∈R^N^×(^S⁺^d⁾,采用以下两种求解形式。若样本数N小于输入特征和神经元数之和,则求解公式为

(13)$\begin{aligned}\hat{\boldsymbol{\beta}}= & \min _{\beta} \mathcal{L}\left(\boldsymbol{E}, \boldsymbol{\beta}, \boldsymbol{y}, \hat{\boldsymbol{y}}_{1}, \hat{\boldsymbol{y}}_{2}\right)=\boldsymbol{E}^{\mathrm{T}}\left(\boldsymbol{E} \boldsymbol{E}^{\mathrm{T}}+\lambda \boldsymbol{I}\right)^{-1} \times \\& {\left[\alpha \boldsymbol{y}+(1-\alpha)\left(\alpha_{1} \hat{\boldsymbol{y}}_{1}+\alpha_{2} \hat{\boldsymbol{y}}_{2}\right)\right] }\end{aligned} $

反之,则用式(14)求解,以减少矩阵维度,提高计算效率。

(14)$\begin{aligned}\hat{\boldsymbol{\beta}}= & \left(\boldsymbol{E}^{\mathrm{T}} \boldsymbol{E}+\lambda \boldsymbol{I}\right)^{-1} \boldsymbol{E}^{\mathrm{T}}[\alpha \boldsymbol{y}+(1-\alpha) \times \\& \left.\left(\alpha_{1} \hat{\boldsymbol{y}}_{1}+\alpha_{2} \hat{\boldsymbol{y}}_{2}\right)\right]\end{aligned} $

周期k的输出层权重$\hat{\boldsymbol{\beta}}^{(k)} $由式(15)给出,计算可得其对应的预测输出$\hat{\boldsymbol{y}}^{(k)}=\boldsymbol{E}^{(k)} \hat{\boldsymbol{\beta}}^{(k)} $,并据此得到最终分类结果$\hat{\boldsymbol{c}}^{(k)}=\operatorname{argmax} \hat{\boldsymbol{y}}^{(k)} $,其中argmax默认在类别索引集合{1,2,…,C}上取最大;对任意向量v∈R^C,记argmaxv:=argmax_j_∈_{₁_,₂_,_…_,_C_}v_j。

(15)$\begin{aligned}\hat{\boldsymbol{\beta}}^{(k)} & =\min _{\beta} \mathcal{L}\left(\boldsymbol{E}^{(k)}, \boldsymbol{\beta}, \boldsymbol{y}, \hat{\boldsymbol{y}}_{1}, \hat{\boldsymbol{y}}_{2}\right) \\& =\left\{\begin{array}{c}\boldsymbol{E}^{(k) \mathrm{T}}\left(\boldsymbol{E}^{(k)} \boldsymbol{E}^{(k) \mathrm{T}}+\lambda \boldsymbol{I}\right)^{-1}[\alpha \boldsymbol{y}+(1-\alpha) \times \\\left.\left(\alpha_{1} \hat{\boldsymbol{y}}_{1}+\alpha_{2} \hat{\boldsymbol{y}}_{2}\right)\right] \\N＜S+d \\\left(\boldsymbol{E}^{(k) \mathrm{T}} \boldsymbol{E}^{(k)}+\lambda \boldsymbol{I}\right)^{-1} \boldsymbol{E}^{(k) \mathrm{T}}[\alpha \boldsymbol{y}+(1-\alpha) \times \\\left.\left(\alpha_{1} \hat{\boldsymbol{y}}_{1}+\alpha_{2} \hat{\boldsymbol{y}}_{2}\right)\right] \\N \geqslant S+d\end{array}\right.\end{aligned}$

4 算法流程

提出的OTL-RVFL模型面向周期性时序数据分类任务设计,在训练开始前需明确数据的周期性,每次训练仅处理单个周期范围内的数据。考虑到迁移学习的源域和目标域均来源于同一时间序列的不同周期,为确保迁移学习的有效性,对于任意周期k的训练,必须保证其前序周期存在足以充分训练RVFL的数据量。为简化算法描述,此处只以两个前序周期作为迁移源域。

接下来,详细说明包含三个周期的时序数据如何进行建模和分类,其中前两个周期无数据缺失,而第三个周期存在一定数据缺失。模型的算法流程主要由以下三个步骤组成。

(1)训练前序两个周期的RVFL模型,为后续迁移提供源域输出。确定当前时序数据包含三个连续的周期段,其y⁽¹⁾,y⁽²⁾,y⁽³⁾∈R^N^×^C而周期1和周期2的数据分别是X⁽¹⁾∈R^N^×^d和X⁽²⁾∈R^N^×^d,最终需进行分类的周期序列段为X⁽³⁾∈R^N^×^d。在OTL-RVFL模型的起始阶段,对周期1的数据构建标准RVFL网络。

将输入数据通过随机权重矩阵,再由式(9)激活后得到隐藏层H⁽¹⁾=g(X⁽¹⁾W_r+b),隐藏层联合原始输入后可得到E⁽¹⁾=[H⁽¹⁾,X⁽¹⁾],接着定义损失函数优化输出层权重β⁽¹⁾为

(16)$\hat{\boldsymbol{\beta}}^{(1)}=\min _{\beta} \mathcal{L}\left(\boldsymbol{E}^{(1)}, \boldsymbol{\beta}, \boldsymbol{y}^{(1)}\right) $

得到经优化的权重$\hat{\boldsymbol{\beta}}^{(1)} $后,使其与E⁽¹⁾相乘得当前周期的预测值$\hat{\boldsymbol{y}}^{(1)}=\boldsymbol{E}^{(1)} \hat{\boldsymbol{\beta}}^{(1)} $。采用相同的网络结构和随机权重参数,对周期2进行RVFL训练,可得相应的输出层权重$\hat{\boldsymbol{\beta}}^{(2)} $和输出$\hat{\boldsymbol{y}}^{(2)}=\boldsymbol{E}^{(2)} \hat{\boldsymbol{\beta}}^{(2)}$。

(2)应用基于输出的迁移学习,建立OTL-RVFL模型处理出现数据缺失的周期3。将输入数据通过随机权重的映射并由式(9)激活后,联合输入特征得到E⁽³⁾=[H⁽³⁾,X⁽³⁾]。随后,迁移前序两个周期的模型输出$\hat{\boldsymbol{y}}^{(1)}$和$\hat{\boldsymbol{y}}^{(2)}$,以式(10)作为模型损失函数,解得当前周期的输出层权重$\hat{\boldsymbol{\beta}}^{(3)}$为

(17)$\hat{\boldsymbol{\beta}}^{(3)}=\min _{\boldsymbol{\beta}} \mathcal{L}\left(\boldsymbol{E}^{(3)}, \boldsymbol{\beta}, \boldsymbol{y}^{(3)}, \hat{\boldsymbol{y}}^{(1)}, \hat{\boldsymbol{y}}^{(2)}\right)$

(3)将得到预测结果进行分类决策。由OTL-RVFL的输出层权重$\hat{\boldsymbol{\beta}}^{(3)}$与E⁽³⁾得到当前周期的预测输出$\hat{\boldsymbol{y}}^{(3)}=\boldsymbol{E}^{(3)} \hat{\boldsymbol{\beta}}^{(3)}$,并将$\hat{\boldsymbol{y}}^{(3)}$输入argmax(·)函数,得到最终分类结果$\hat{\boldsymbol{c}}^{(3)}$为

(18)$\hat{\boldsymbol{c}}^{(3)}=\operatorname{argmax} \hat{\boldsymbol{y}}^{(3)}$

下面,给出OTL-RVFL的算法学习过程如下。

5 计算复杂度

OTL-RVFL模型由RVFL改进而来,因此继承了RVFL计算复杂度低的特点。RVFL的计算主要由算法1中的步骤2和步骤4组成。步骤2可分为矩阵乘法和激活函数计算,其对应的时间复杂度分别为O(N×d×S)和O(N×S)。步骤4计算输出层权重,其复杂度主要由E∈R^N^×(^S⁺^d⁾的逆矩阵求解决定,这里分两种情形讨论。根据矩阵维度关系,当N<S+d时,矩阵$\left(\boldsymbol{E} \boldsymbol{E}^{\mathrm{T}}+\lambda \boldsymbol{I}\right)^{-1}$求逆,复杂度为O(N³);而当N≥S+d时,$ \left(\boldsymbol{E}^{\mathrm{T}} \boldsymbol{E}+\lambda \boldsymbol{I}\right)^{-1}$求逆,复杂度为O[(S+d)³]。因此,单个周期的RVFL训练复杂度为

(19)$\begin{aligned}O_{\mathrm{RVFL}}= & O(N \times d \times S)+ \\& O\left\{\max \left[N^{3},(S+d)^{3}\right]\right\}\end{aligned}$

相比标准RVFL,OTL-RVFL需要额外的迁移学习计算。迁移学习目标的构建公式为

(20)$\tilde{\boldsymbol{y}}=\alpha \boldsymbol{y}+(1-\alpha)\left(\alpha_{1} \hat{\boldsymbol{y}}_{1}+\alpha_{2} \hat{\boldsymbol{y}}_{2}\right)$

该步骤的时间复杂度为O(N×C)。因此,OTL-RVFL训练的总体时间复杂度为

(21)$\begin{array}{l}O_{\text {OTL-RVFL }}=O(N \times C)+O(N \times d \times S)+ \\\quad O\left\{\max \left[N^{3},(S+d)^{3}\right]\right\}\end{array}$

不难发现,OTL-RVFL的计算复杂度主导项是max[N³,(S+d)³],则算法1的整体时间复杂度为O{3max[N³,(S+d)³]}。

综合以上分析可知,相比标准RVFL,所提出的OTL-RVFL模型仅增加了O(N×C)的线性计算开销,有效保持了RVFL计算效率高的优势特性。

6 实验及结果分析

6.1 实验设置

实验在配备Intel i7-12700处理器,Windows 10操作系统以及Python3.12.2编程环境的平台上进行。OTL-RVFL算法在7个公开数据集上,采用10折交叉验证,分别与RVFL、Shapelet和基于ARIMA的时序数据分类方法^[10]进行对照实验,并给出算法精度的平均值。选用的数据集涵盖了多种数据类型、应用类型以及分类类别。如表1所示为实验所使用7个具备良好周期性的数据集,各数据集的预处理详情如下。

ETT(electricity transformer temperature)^[42]源自中国电力系统的ETT数据集,涵盖2016年7月—2018年7月期间的变压器油温(oil tempera ture,OT)及6个不同类型的外部负载特征,本实验采用子集ETTh1和ETTm1,它们分别以1 h和15 min间隔采样。本实验以各特征作为分类标签,将ETTh1和ETTm1分别以每连续21 d(504 min)和每连续3 d的数据序列进行分割取样,构成具有三个周期的时间序列。

Solar^[43]为美国可再生能源实验室(NREL)提供的真实光伏发电数据,其原始数据的采样时间步长为5 min,包含2006年的连续观测数据。本实验使用来自Alabama州的Actual数据,按时间顺序对每21 d(6 048个时间点)的数据点进行取样,最后形成用于区分集中式光伏(urban photovoltaic,UPV)和分布式光伏(distributed photovoltaic,DPV)系统的二分类时序数据集。

Weather^[42]来自Beutenberg的气象时序数据,涵盖2020年全年以10 min为间隔记录的21项气象指标。本实验从中筛选出6个具有显著周期性的指标作为分类标签,包括PAR、SWDR、VPdef、max.PAR、max.wv以及rh。构建数据集时,对原始数据集做了去重、排序和异常值清洗,以每3 d(432个数据点)为区间进行取样,最终的数据集还去掉了前2 d缺失率超5%的样本。

AirQuality^[42]数据集来源于2004年3月—2005年2月期间部署在意大利某城市的空气质量监测传感器,传感器以每小时为间隔进行数据采集,涵盖13个环境检测指标,每个指标包含9 358个观测实例。考虑到数据集中NMHC(GT)指标存在严重的缺失值问题,该指标在实验中被排除。实验对剩余的有效数据重新构建数据集,具体方法是以传感器类型作为分类标签,并按时间顺序将每个传感器连续3 d(72 h)采集的数据组成一个完整的时间序列样本。

PM_2.5DFCC(PM_2.5 data of five Chinese cities)^[44]来自UCI 机器学习库,原始数据涵盖了北京、成都、广州、上海和沈阳五座城市于2010—2015年间每小时的空气质量与气象监测记录。实验取PM_2.5、露点、湿度、气压和温度五个具备周期性的指标构建实验数据集。首先,按城市和时间将数据重新分组和排序;随后,以144 h为单元将连续观测值切分为独立样本。在样本构建过程中,剔除了异常值和缺失率超过30%的样本。最终数据集以5种指标为分类类别,每类筛选出256个样本。

BMSAQ(Beijing multi-site air quality)^[45]原始数据来自UCI机器学习数据库,包含北京多个空气质量监测站点的监测数据。实验数据剔除了稀疏性较高的降雨量以及非数值型风向,保留其余10个监测指标作为研究对象;接着,采用长度为 144 的非重叠时间窗口对数据进行切分,并剔除缺失率超过 30%的样本。最后,从每个指标中各筛选出256 个样本,构建了一个以指标类型为类别标签的单变量时间序列分类数据集。

为了实验的公平性,所有的实验数据都进行了Min-Max归一化,如图3和图4所示为7个数据集的自相关系数图。实验所选用的各数据集均展现出显著的重复模式与周期性特征。ETTh1和ETTm1显示强烈的短期自相关性;Solar展现典型的日周期模式;Weather、AirQuality以及PM_2.5DFCC和BMSAQ数据集表现出稳定的周期性波动,它们的自相关曲线随滞后阶数呈有规律的衰减。时间序列的周期性能有效缓解源域选择对模型性能的潜在影响。

实验将数据集按6∶4比例划分为训练集和测试集。训练时将每个序列三等分:前两个周期用于RVFL预训练,最后一个周期用于OTL-RVFL和对照模型训练。为模拟数据不足场景,对第三周期中50%训练样本和20%测试样本进行随机缺失处理,即随机选择0~30%数据点赋值为0。在此基础上,还将随机丢弃20%的训练样本,最终形成第三周期的训练和测试数据。

如表2所示为各模型的超参数配置,RVFL与OTL-RVFL采用相同的隐藏层神经元数和正则化参数。两者均使用式(9)为激活函数。

在模型训练中,正则化参数为λ,隐藏层神经元数为S,权重在[-w,w]范围内随机初始化。OTL-RVFL的知识迁移由因子α调控,历史知识间的权衡由α₁和α₂控制,满足α₁+α₂=1。

对照模型实验中,ARIMA自回归阶数为order,Shapelet算法的采样数为nShapelet,使用100棵决策树的随机森林分类器。

6.2 分类准确率

实验对比了在隐藏层神经元数为1 024的情形下,ARIMA、Shapelet、RVFL和OTL-RVFL的分类性能,它们的最高准确率如表3所示,表中粗体数值表示在各数据集上达到的最高分类精度。

所提出的OTL-RVFL模型在7个数据集中的4个获得了最高分类精度,并且在所有数据集上均表现出比传统RVFL更优的性能。OTL-RVFL在ETTh1和Weather数据集上取得了较高的性能提升,相比RVFL分别提升了0.73和1.29个百分点。但在Weather、Solar和BMSAQ数据集上的精度略低于Shapelet。平均准确率的对比显示,OTL-RVFL有最佳的分类性能,且多数场景下能有效提升RVFL的性能。

缺失值的存在严重干扰了ARIMA模型的参数估计过程,导致其在所有实验数据集上的分类性能均处于劣势。在Solar数据集上,由于约半数时间点对应夜间时段(数值标记为0),其实际有效缺失率显著低于预设水平,从而所有模型在该数据集上均取得了较好的分类结果。这一现象侧面印证了数据质量对时序分类性能的影响显著,而基于输出迁移的OTL-RVFL在此条件下仍能有效提升RVFL的分类精度。

6.3 迁移学习因子的影响

模型的迁移学习过程主要受迁移学习平衡因子,即权重α的影响。如图5所示为7个数据集分类精度随迁移学习平衡因子变化的趋势。为了将迁移平衡因子的影响展示在同一张图中,对坐标横轴做出特殊定义:横轴的小数点后第一位表示α,小数点后第二位为0.00、0.02、0.04、0.06和0.08时分别代表式(10)中α₁取0、0.25、0.5、0.75和1,而α₂=1-α₁。

从图5可以观察到,当α取1时,模型退化为标准RVFL,仅保留原始目标项进行训练;当α取0时,模型完全依赖迁移的历史输出进行训练,由于过度依赖先前学习到的表征,可能出现性能下降的情况。

在Solar和Weather数据集上,OTL-RVFL倾向于较小的α值,说明模型训练能从前序周期的RVFL输出中获益;而在ETT和PM_2.5DFCC数据集上,当α偏大时模型性能更优,反映出此时模型的优化更侧重于利用当前周期的数据。受制于RVFL本身的性能,在BMSAQ和AirQuality数据集上,模型分类精度的提升相对有限。

综合所有数据集的平均表现,迁移学习因子在0.4~0.9范围内能够获得相对稳定的高性能。

6.4 计算效率

如表4、表5所示,分别为RVFL、OTL-RVFL、ARIMA和Shapelet在训练和测试阶段的耗时对比。从计算效率角度分析,OTL-RVFL展现出显著优势。实验数据表明,OTL-RVFL在训练和测试阶段的平均耗时均在毫秒级别,而ARIMA和Shapelet几乎需要数秒。OTL-RVFL的平均训练耗时(约50 ms)不足ARIMA(约13 s)和Shapelet(约10 s)的百分之一;在测试阶段,OTL-RVFL的优势更为明显,其毫秒级的推理速度相比ARIMA和Shapelet提升了2~3个数量级。此外,随着数据规模的扩大,OTL-RVFL的耗时增长相对平缓。

计算效率的巨大差异主要源于算法实现,ARIMA模型需要进行复杂的参数估计和模型拟合过程,其最大似然估计的计算开销随数据量急剧增长;Shapelet方法需要遍历海量的候选子序列并计算距离矩阵,在大规模长序列场景下的计算负荷极重。

相比之下,OTL-RVFL基于解析解的优化框架,能快速求得网络最优参数。值得注意的是,尽管引入了迁移学习机制,OTL-RVFL的平均训练耗时与标准RVFL几乎持平,甚至在数值上略低。OTL-RVFL在理论上仅增加了一个线性复杂度的迁移项计算,实验数据微小的差异主要归因于计算机系统运行时的随机波动。这一现象也证明OTL-RVFL的额外计算开销相对于RVFL的参数求解运算是微不足道的,两者在计算效率上处于同一水平。OTL-RVFL在维持RVFL网络原有计算效率优势的基础上进一步提升了分类性能。

7 结论

针对周期性时序数据分类中的数据不足问题,提出了基于输出迁移的随机向量函数链网络(OTL-RVFL)。该方法引入基于输出的迁移学习,提高了RVFL完成时序分类任务时的性能。提出的模型构建由原始分类目标和迁移学习目标共同组成联合双目标优化任务开展参数学习,使模型在兼顾当前周期序列的同时,有效整合前序周期的历史知识,从而在数据不足场景下提升分类性能。

就7个公开数据集进行实验,从分类准确率、计算效率以及迁移学习因子的影响三个维度对模型进行了综合评估,得出以下结论。

(1)在模拟数据不足的场景下,OTL-RVFL展现出显著的泛化能力。OTL-RVFL通过迁移学习机制有效利用历史周期的知识,补偿当前周期数据不足造成的性能损失,较RVFL实现更高的分类精度。

(2)OTL-RVFL提供多样化的迁移平衡因子选项,在实际应用中有较强的适应性。

(3)相比ARIMA和Shapelet方法,OTL-RVFL的训练和测试耗时分别减少两个数量级以上,同时相对传统RVFL仅增加微量计算开销。

聚焦于周期性时序数据,虽然保证了源域选择的有效性,但限制了方法的普适性。在未来工作中,将拓展其应用范围到一般时序数据,研究自适应的源域选择策略,并探索多源域知识融合机制,进一步提升模型的通用性和实用价值。此外,OTL-RVFL基于输出的迁移范式独立于RVFL模型的核心架构,这赋予了该方法向其他随机神经网络快速移植的潜力。本文中主要探讨其在RVFL中的应用成效,未来工作将进一步探索该框架在其他随机神经网络模型中的应用。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	王威娜, 李明莉. 基于Shapelets的多元时间序列分类方法[J]. 科学技术与工程, 2025, 25(1): 252-261.

[2]	Wang Weina, Li Mingli. Multivariate time series classification method based on Shapelets[J]. Science Technology and Engineering, 2025, 25(1): 252-261.

[3]	Miltiadous A, Gionanidis E, Tzimourta K D, et al. DICE-Net: a novel convolution-transformer architecture for Alzheimer detection in EEG signals[J]. IEEE Access, 2023, 11: 71840-71858.

[4]	Lines J, Bagnall A, Caiger-Smith P, et al. Classification of household devices by electricity usage profiles[C]// Intelligent Data Engineering and Automated Learning-IDEAL 2011. Berlin: Springer, 2011: 403-412.

[5]	Liu C, Wang X, Tan J, et al. Discharge voltage time series classification of lithium-ion cells based on deep neural networks[C]// 2018 IEEE 4th International Conference on Computer and Communications (ICCC). Chengdu: IEEE, 2018: 2128-2132.

[6]	Wu H, Hu T, Liu Y, et al. TimesNet: temporal 2D-variation modeling for general time series analysis[C]// The Eleventh International Conference on Learning Representations. Kigali: ICLR, 2023: 2210.

[7]	Bagnall A, Lines J, Bostrom A, et al. The great time series classification bake off: a review and experimental evaluation of recent algorithmic advances[J]. Data Mining and Knowledge Discovery, 2017, 31(3): 606-660.

[8]	Sakoe H, Chiba S. Dynamic programming algorithm optimization for spoken word recognition[J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1978, 26(1): 43-49.

[9]	Berndt D J, Clifford J. Using dynamic time warping to find patterns in time series[C]// Proceedings of the 3rd International Conference on Knowledge Discovery and Data Mining. Seattle: AAAI Press, 1994: 359-370.

[10]	张晔, 侯毅, 欧阳克威, 等. 单变量序列数据分类方法综述[J]. 系统工程与电子技术, 2023, 45(2): 313-335.

[11]	Zhang Ye, Hou Yi, Ouyang Kewei, et al. Survey of univariate sequence data classification methods[J]. Systems Engineering and Electronics, 2023, 45(2): 313-335.

[12]	Corduas M, Piccolo D. Time series clustering and classification by the autoregressive metric[J]. Computational Statistics & Data Analysis, 2008, 52(4): 1860-1872.

[13]	王威娜, 胡佳利, 任艳. 基于优化Shapelet的时间序列分类方法[J]. 科学技术与工程, 2023, 23(8): 3345-3353.

[14]	Wang Weina, Hu Jiali, Ren Yan. Time series classification based on the optimized Shapelet[J]. Science Technology and Engineering, 2023, 23(8): 3345-3353.

[15]	李晨, 万源. 基于优化和两阶段筛选的时间序列Shapelets提取研究[J]. 计算机科学, 2023, 50(2): 146-157.

[16]	Li Chen, Wan Yuan. Study on time series shapelets extraction based on optimization and two-phase filtering[J]. Computer Science, 2023, 50(2): 146-157.

[17]	Le X M, Tran M T, Huynh V N. Learning perceptual position-aware shapelets for time series classification[C]// Machine Learning and Knowledge Discovery in Databases. Cham: Springer Nature Switzerland, 2023: 53-69.

[18]	Lines J, Taylor S, Bagnall A. Time series classification with HIVE-COTE: the hierarchical vote collective of transformation-based ensembles[J]. ACM Transactions on Knowledge Discovery from Data, 2018, 12(5): 52.

[19]	Middlehurst M, Large J, Flynn M, et al. HIVE-COTE 2. 0: a new meta ensemble for time series classification[J]. Machine Learning, 2021, 110(11/12): 3211-3243.

[20]	李克文, 柯翠虹, 张敏, 等. 增强局部注意力的时间序列分类方法[J]. 计算机工程与应用, 2024, 60(1): 189-197.

[21]	Li Kewen, Ke Cuihong, Zhang Min, et al. Time series classification method with local attention enhancement[J]. Computer Engineering and Applications, 2024, 60(1): 189-197.

[22]	刘颖, 李旭, 吕政, 等. 基于深度残差概率随机森林的时间序列分类方法[J]. 控制与决策, 2024, 39(7): 2315-2324.

[23]	Liu Ying, Li Xu, Lü Zheng, et al. Time series classification using deep residual probability random forests[J]. Control and Decision, 2024, 39(7): 2315-2324.

[24]	Mu Y, Shahzad M, Zhu X X. MPTSNet: integrating multiscale periodic local patterns and global dependencies for multivariate time series classification[C]// Proceedings of the 39th Annual AAAI Conference on Artificial Intelligence. Washington: AAAI Press, 2025: 19572-19580.

[25]	Pao Y H, Takefuji Y. Functional-link net computing: theory, system architecture, and functionalities[J]. Computer, 1992, 25(5): 76-79.

[26]	Pao Y H, Park G H, Sobajic D J. Learning and generalization characteristics of the random vector functional-link net[J]. Neurocomputing, 1994, 6(2): 163-180.

[27]	Suganthan P N, Katuwal R. On the origins of randomization-based feedforward neural networks[J]. Applied Soft Computing, 2021, 105: 107239.

[28]	Schmidt W F, Kraaijveld M A, Duin R P W. Feedforward neural networks with random weights[C]// Proceedings of 11th IAPR International Conference on Pattern Recognition. Conference B:Pattern Recognition Methodology and Systems. Hague: IEEE, 1992: 1-4.

[29]	Igelnik B, Pao Y H. Stochastic choice of basis functions in adaptive function approximation and the functional-link net[J]. IEEE Transactions on Neural Networks, 1995, 6(6): 1320-1329.

[30]	Huang G B, Chen L, Siew C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes[J]. IEEE Transactions on Neural Networks, 2006, 17(4): 879-892.

[31]	Ren Y, Suganthan P N, Srikanth N, et al. Random vector functional link network for short-term electricity load demand forecasting[J]. Information Sciences, 2016, 367/368: 1078-1093.

[32]	Hu M, Gao R, Suganthan P N, et al. Automated layer-wise solution for ensemble deep randomized feed-forward neural network[J]. Neurocomputing, 2022, 514: 137-147.

[33]	Hu M, Herng C J, Suganthan P N, et al. Ensemble deep random vector functional link neural network for regression[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2023, 53(5): 2604-2615.

[34]	Hu M, Suganthan P N. Representation learning using deep random vector functional link networks for clustering[J]. Pattern Recognition, 2022, 129: 108744.

[35]	Peng T, Song S, Suo L, et al. Research and application of a novel graph convolutional RVFL and evolutionary equilibrium optimizer algorithm considering spatial factors in ultra-short-term solar power prediction[J]. Energy, 2024, 308: 132928.

[36]	Hazarika B B, Gupta D. Modelling and forecasting of COVID-19 spread using wavelet-coupled random vector functional link networks[J]. Applied Soft Computing, 2020, 96: 106626.

[37]	Malik A K, Gao R, Ganaie M A, et al. Random vector functional link network: Recent developments, applications, and future directions[J]. Applied Soft Computing, 2023, 143: 110377.

[38]	毛琦, 汪一龙, 王为介, 等. 基于混合数据驱动的牵引整流器故障诊断方法[J]. 铁道科学与工程学报, 2025, 22(8): 3795-3808.

[39]	Mao Qi, Wang Yilong, Wang Weijie, et al. A hybrid data-driven fault diagnosis method for traction rectifier[J]. Journal of Railway Science and Engineering, 2025, 22(8): 3795-3808.

[40]	Malik A K, Ganaie M A, Tanveer M, et al. Extended features based random vector functional link network for classification problem[J]. IEEE Transactions on Computational Social Systems, 2024, 11(4): 4744-4753.

[41]	Cheng W X, Suganthan P N, Katuwal R. Time series classification using diversified ensemble deep random vector functional link and resnet features[J]. Applied Soft Computing, 2021, 112: 107826.

[42]	Wang W, Peng Y, Kong W. EEG-based emotion recognition via joint domain adaptation and semi-supervised RVFL network[C]// Advances in Intelligent Automation and Soft Computing. Cham: Springer, 2022: 413-422.

[43]	叶璇, 何玉林, 张曼静, 等. 加权子空间的随机向量函数链接网络集成方法[J]. 西南师范大学学报(自然科学版), 2022, 47(12): 1-10.

[44]	Ye Xuan, He Yulin, Zhang Manjing, et al. Random vector function link network ensemble learning method for weighted subspaces[J]. Journal of Southwest China Normal University (Natural Science Edition), 2022, 47(12): 1-10.

[45]	Peng Y, Li Q, Kong W, et al. A joint optimization framework to semi-supervised RVFL and ELM networks for efficient data classification[J]. Applied Soft Computing, 2020, 97: 106756.

[46]	Weiss K, Khoshgoftaar T M, Wang D. A survey of transfer learning[J]. Journal of Big Data, 2016, 3(1): 9.

[47]	Wang G, Zhang G, Choi K S, et al. An output-based knowledge transfer approach and its application in bladder cancer prediction[C]// 2017 International Joint Conference on Neural Networks (IJCNN). Anchorage: IEEE, 2017: 356-363.

[48]	孙俏, 凌卫新. 基于域间相似度序数的迁移学习源领域的选择[J]. 科学技术与工程, 2020, 20(20): 8245-8251.

[49]	Sun Qiao, Ling Weixin. Source domain selection in transfer learning based on domain similarity rank[J]. Science Technology and Engineering, 2020, 20(20): 8245-8251.

[50]	龙茂森, 王士同. 特征扩展的随机向量函数链神经网络[J]. 软件学报, 2024, 35(6): 2903-2922.

[51]	Long Maosen, Wang Shitong. Feature-augmented random vector functional-link neural network[J]. Journal of Software, 2024, 35(6): 2903-2922.

[52]	Zhou H, Zhang S, Peng J, et al. Informer: beyond efficient transformer for long sequence time-series forecasting[C]// The Thirty-Fifth AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2021: 11106-11115.

[53]	Lai G, Chang W C, Yang Y, et al. Modeling long-and short-term temporal patterns with deep neural networks[C]// Proceedings of ACM Conference (SIGIR’18). New York: ACM, 2018: 95-104.

[54]	Liang X, Li S, Zhang S, et al. PM_2.5 data reliability, consistency, and air quality assessment in five Chinese cities[J]. Journal of Geophysical Research: Atmospheres, 2016, 121(17): 220-236.

[55]	Zhang S, Guo B, Dong A, et al. Cautionary tales on air-quality improvement in Beijing[J]. Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences, 2017, 473(2205): 20170457.