基于特征选取和新型注意力网络的声音事件定位与检测

苏瑞轩; 章林柯; 余永升; 葛动元

doi:10.12404/j.issn.1671-1815.2502557

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (10) :4288-4298 DOI: 10.12404/j.issn.1671-1815.2502557

自动化技术、计算机技术

基于特征选取和新型注意力网络的声音事件定位与检测

苏瑞轩 ¹ ,
章林柯 ¹ ,
余永升 ²^,^* ,
葛动元 ³

作者信息 +

Sound Event Localization and Detection Based on Feature Selection and Novel Attention Network

Author information +

文章历史 +

摘要

为在声源重叠和噪音干扰等复杂环境下获得更准确的事件检测和位置估计,通过对提取多组声音特征作为深度学习网络模型输入的实验结果分析而选取对数伽马谱(logarithmic Gamma spectrum,LGAM)声学特征作为模型输入,其可以更丰富地表征声音高低频信息。同时针对声音特征具有时序特点,提出了一个新型注意力网络模型,即非对称卷积注意力网络ACANet(asymmetric convolutional attention network),采用非对称卷积核来提高模型对时序信息的学习能力,并结合坐标注意力构建坐标通道注意力模块(coordinate channel attention module, CCAM),提升模型对声音特征通道空间信息的学习。实验采用TAU-NIGENS Spatial Sound Events 2020数据集,结果表明:相较于基线有着整体的提升,其错误率(error rate,ER)下降了5%,定位误差(localization error,LE)降低了1.9°,F₁分数提高了3.1%,召回率(frame recall,FR)提高了1.4%。研究结果验证了所提方法在复杂环境中提升声音事件定位与检测(sound event localization and detection,SELD)性能的有效性与应用潜力。

Abstract

To achieve more accurate sound event detection and localization in complex environments characterized by source overlap and strong noise interference, this study first conducts comparative experiments using multiple acoustic features as inputs to a deep learning network. The results indicate that LGAM (logarithmic Gamma spectrum) provides a richer representation of both high- and low-frequency information, and is therefore adopted as the input feature. Furthermore, considering the inherent temporal characteristics of acoustic signals, a novel attention-based architecture, termed ACANet (asymmetric convolutional attention network), was proposed. ACANet employs asymmetric convolution kernels to enhance the learning of temporal dependencies and integrates CCAM (coordinate channel attention module) to improve the modeling of channel and spatial information. Experiments conducted on the TAU-NIGENS Spatial Sound Events 2020 dataset demonstrate that, compared with the baseline, the proposed method achieves overall performance gains, reducing ER (error rate) by 5%, decreasing LE (localization error) by 1.9°, and improving F₁ score and FR (frame recall) by 3.1% and 1.4%, respectively. These findings confirm the effectiveness and application potential of the proposed approach for enhancing SELD(sound event localization and detection) performance in complex acoustic environments.

Graphical abstract

关键词

声音事件检测与定位 / 特征选取 / 对数伽马谱 / 非对称卷积核 / 坐标注意力

Key words

sound event detection and localization / feature selection / logarithmic Gamma spectrum / asymmetric convolution kernal / coordinate attention

引用本文

引用格式 ▾

苏瑞轩, 章林柯, 余永升, 葛动元. 基于特征选取和新型注意力网络的声音事件定位与检测[J]. 科学技术与工程, 2026, 26(10): 4288-4298 DOI:10.12404/j.issn.1671-1815.2502557

SU Rui-xuan, ZHANG Lin-ke, YU Yong-sheng, GE Dong-yuan. Sound Event Localization and Detection Based on Feature Selection and Novel Attention Network[J]. Science Technology and Engineering, 2026, 26(10): 4288-4298 DOI:10.12404/j.issn.1671-1815.2502557

登录浏览全文

4963

注册一个新账户忘记密码

声音事件定位与检测(sound event localization and detection,SELD)是指对复杂环境下的声音事件进行识别检测,并进一步估计声音事件相对于麦克风位置的空间方位,即把声音事件检测(sound event localization,SED)和波到达方向(direction of arrival,DOA)这两个独立任务联系起来,实现对声音事件时空场景的描述。SELD技术凭借其空间感知能力,已形成跨领域应用生态:在安防领域支撑智能声学监控系统的多目标追踪;赋能智能机器人的动态环境感知与避障决策;实现工业设备故障声源的精准定位与早期预警等。

SED作为多标签分类任务,旨在检测不同声音事件在时间轴上的开始与偏移。随着深度学习在图像任务上取得成功,卷积神经网络(convolutional neural network, CNN),卷积递归神经网络(convolutional recurrent neural network, CRNN)等深度学习网络结构被应用于声音相关任务,其相较于支撑向量机(support vector machine, SVM)、高斯混合模型(gaussian mixture model, GMM)和随机森林等传统机器学习方法,能够获取声音特征深层丰富有效的信息,且在噪声混响环境下有着更好的鲁棒性,因此深度神经网络目前已经成为SED的主流方法。不同声音事件在时域和频域信息上具有差异,而网络模型可以学习声音事件与独特的时频信息之间的映射关系而实现SED预测,同时为模仿人耳的听觉特性,大部分研究选择声音在时频域上的梅尔倒谱系数(mel frequency cepstral coefficients, MFCC)或对数梅尔谱(Log-Mel spectrograms, Log-Mel)作为该任务网络模型的输入。同时部分研究者选取模仿耳蜗基底膜对频率分解的Gammatone滤波器组的伽马频率倒谱系数(Gammatone frequency cepstral coefficients,GFCC),其同样表现出优越性能。但分析不同特征在特定SED任务上的信息表征能力是有必要的。

DOA为估计声音事件发生所在的空间方位,相关方法大致可分为基于参数和学习两种方法。基于参数的方法主要包括最大输出功率波束形成、高分辨谱估计和基于到达时间差(time difference of arrival, TDOA)方法。TDOA因其结构简单,计算量小,因而在实时声源定位任务中得到广泛应用^[1-2]。TDOA分为时延估计和位置求解两个步骤,不同麦克风接收到声源信号之间的时间延迟是声源位置几何求解的依据,而基于理想信号传输的广义互相关算法(generialized cross-correlation,GCC)求得的时延估计在噪声和混响环境下精度会急剧下降,因此引入相位变换加权函数(phase transform, PHAT)而被称为广义互相关-相位变换方法(generalized cross-correlation with phase transform,GCC-PHAT)或采用二次互相关(quadratic generalized cross-correlation,QGCC)等方法实现对噪声的抑制,提高时延估计精度。但参数方法存在着不易解决多声源问题的局限性。因此部分研究者开始采用基于学习的DOA方法,通过学习具有时差信息的互相关等声音特征与位置标签之间的联系,预测多声源位置,同时研究也表明基于学习的方法在噪声和混响环境下相较于参数方法有着较好的鲁棒性和DOA估计准确率^[3-5]。

独立的声音事件检测或定位可能无法完全满足社会复杂生产活动需求,同时为探究SED与DOA之间的相互影响和潜在联系,部分研究者开始将SED和DOA两个独立任务结合在一起。Butko等^[6]在配备多个麦克风的房间中,使用频率过滤对数滤波器组能量(frequency-filtered log filter-bank energies, FFLFBE)并基于隐马尔可夫模型(HMM)和最大可控响应功率(steered response power-phase transform, SRP-PHAT)方法实现了双源声音事件的检测和定位,其对独立或重叠声音事件检测精度均高于单一声音检测任务。Chakraborty等^[7]提出声学事件检测协同声源定位(steered-beamforming sound-model-based,SBSMB)系统,实验结果表明其可以替代独立的声源定位算法。Hirvonen等^[8]用将声音语谱图作为输入特征的卷积神经网络实现对空间不同位置音频的分类,并表明基于卷积神经网络的声音分类方法优于传统方法。He等^[9]提出使用GCC-PHAT和GCCFB(GCC-PHAT on mel-scale filter bank)特征的多说话人检测与定位的深度神经网络模型,其允许检测任意数量的声源并表明基于神经网络的声源定位方法对环境要求较低。2019年,由坦佩雷大学和萨利大学等国际知名学校共同发起的SED和DOA联合挑战任务吸引了诸多学者参与,并提出卷积循环神经网络模型SELDNet^[10]。Chen等^[11]在挑战任务中提出全局-局部特征交叉融合增强,同时添加自注意力机制来获取输入特征关键有效信息,实验结果表明其有效提高模型性能。Naranjo-Alcazar等^[12]提出通过在基线中添加残差挤压-压缩融合的方式提高了声音事件的检测和定位精度。Cao等^[13]提出了SED和DOA两任务分支参数共享的EINV2模型,其用Transformer编码部分作为循环部分学习声音特征通道间的信息差异以分离重叠声源,其性能得到一定的提升。濮子俊等^[14]将输入特征的局部信息以及时间上下文关系信息进行融合,实现声音事件定位与检测任务所需多特征信息的共享以提升网络的性能。许春冬等^[15]引入坐标注意力模块和高效通道注意力模块提出了基于双重注意力的联合检测模型CECANet,实验表明对声音特征空间和通道信息的关注可以有效提升模型的学习能力。

然而上述文献对关于声音特征对模型声音事件定位与检测性能的影响讨论较少,或仅沿用其基线网络所采用的声学特征而并未关注输入模型的声学特征,以及通常在模型网络主干中引入通道或空间注意力进行串联,使其学习通道或空间特征,较少对两种注意力进行并行思考。

针对以上问题,现提出音频LGAM特征,其通过MFCC、Log-Mel和GFCC特征与GCC-PHAT、QGCC多组特征组合输入实验分析获得。同时提出非对称卷积的注意力网络模型ACANet,其针对二维声音时频特征较于图片存在独特的时序信息,采用非对称卷积提高模型对其信息的学习。为进一步提升模型性能而引入经典的通道注意力压缩-激励模块SE,但针对其压缩部分会造成位置信息丢失的问题,而结合坐标注意力模块(coordinate channel attention, CA)构建坐标通道注意力模块CCAM,其通过将空间位置信息映射到通道中以避免信息损失以实现模型同时对声音特征空间和通道信息的学习,提升SELD性能,增强智能系统在复杂环境中对声音事件(如智能监控、安防、人机交互)的精准识别与源头追踪能力,为构建更安全、高效、智能的环境感知与响应系统提供核心支撑。

1 算法思路及实验设计

本文算法思路如图1所示。

为更全面地表示音频信号的频谱与时序特性,提取多组特征而实验分析选取LGAM特征作为ACANet模型输入。ACANet采用非对称卷积核(如1×3,3×1)来增强模型对音频时频特征信息的建模能力。构建CCAM模块以将特征空间位置信息嵌入通道信息中,实现特征空间信息感知并增强,以及在不牺牲空间信息的情况下,实现更有效的通道注意力建模,共同提升模型对音频特征信息的学习能力。因此提出一个既具表征能力、又具时频、空间和通道信息学习能力的卷积循环神经网络模型ACANet,以提高声音事件定位与检测性能。实验流程设计如图2所示。

首先提取音频多组时频域特征和空间方位信息特征进行两两组合作为基线模型SELDNet的输入,以实验结果进行分析以选取相对较优组合特征。然后将其作为ACANet输出,验证模型性能及非对称卷积和CCAM模块必要性。

2 特征选取

选取常见的Log-Mel、MFCC和GFCC时频域特征与GCC-PHAT和QGCC时差信息特征的任意组合作为特征选取流程任务的输入。

2.1 MFCC特征

其提取过程:①音频预处理(分帧、加窗和归一化);②使用快速傅里叶变换得到音频信号频谱图;③将频谱图通过梅尔尺度的梅尔滤波器组得到梅尔频谱图;④进行对数运算得到数值稳定的对数梅尔频谱图;⑤进行离散余弦变换(discrete cosine transform,DCT)得到梅尔倒谱系数MFCC,其表达式为

(1)

$\begin{array}{l}{M}_{\mathrm{F}\mathrm{C}\mathrm{C}}\left(\mathrm{n}\right)=\sqrt{\frac{2}{N}}\stackrel{N-1}{\sum _{n=0}}s\left(m\right)\mathrm{c}\mathrm{o}\mathrm{s}\frac{n\mathrm{\pi }(m-0.5)}{N},\\ 　　n=\mathrm{0,1},2,\dots,N-1\end{array}$

式(1)中:N为梅尔三角滤波器数量;s(m)为第m个梅尔对数功率频谱能量;n为梅尔倒谱系数的索引。

DCT变换具有能量集中的特点,因此十几个系数即可代表输入序列能量总体。网络模型的输入要求保持相同大小的尺寸,为了保持与Log-Mel等特征尺寸大小相同,选取前22个系数,同时提取MFCC一阶和二阶差分系数进行融合以获得64维动态MFCC特征,一阶、二阶差分计算式为

(2)

$\mathrm{D}\left(\mathrm{n}\right)=\frac{1}{\sqrt{\stackrel{2}{\sum _{i=-2}}{i}^{2}}}\stackrel{2}{\sum _{i=-2}}iM(n+i)$

(3)

${D}_{2}\left(\mathrm{n}\right)=\frac{1}{\sqrt{2\stackrel{2}{\sum _{i=-2}}{i}^{2}}}\stackrel{2}{\sum _{i=-2}}iD(n+i)$

式中:M(n+i)为一帧MFCC系数;D(n)为一阶差分系数;D₂(n)为二阶差分系数。

2.2 Log-Mel特征

在MFCC提取过程中完成对数运算即得到Log-Mel特征,不进行DCT等后续操作。

2.3 GFCC特征

GFCC提取过程与MFCC相似,不同在于GFCC特征采用声学刻度为等效矩形带宽(ERB)的Gammatone滤波器组,与Mel滤波器相比,其为一种基于标准耳蜗结构的滤波器,对高频信息较为敏感,谱峰平坦,具有较高的鲁棒性和抗噪能力^[16]。Gammatone滤波器的阶跃响应函数g(t)为

(4)

$g\left(t\right)=a{t}^{n-1}{\mathrm{e}}^{-2\mathrm{\pi }bt}\mathrm{c}\mathrm{o}\mathrm{s}(2\mathrm{\pi }{f}_{\mathrm{c}}t+\varphi )$

式(4)中:a为滤波器增益常数;n为滤波器阶数;f_c为滤波器中心频率;t为滤波器响应随时间的变化;

$\varphi $

为相位;b为因子,与滤波器带宽有关,其与ERB和f_c关系式为

(5)

$b=1.019\mathrm{E}\mathrm{R}\mathrm{B}\left({f}_{\mathrm{c}}\right)=1.019\left[\frac{f\left(c\right)}{Q}+{B}_{0}\right]$

式(5)中:ERB(f_c)为等效矩形带宽;Q=9.264 49;B₀=24.7 Hz。

经预处理和快速傅里叶变换获得频域能量谱信号然后通过Gammatone滤波器组,取对数压缩后通过DCT变换便得到GFCC特征参数,其表达式如式(6)所示。同样提取一阶、二阶差分系数进行融合。

(6)

$GFCC=\sqrt{\frac{2}{N}}\stackrel{N-1}{\sum _{i=0}}{g}_{\mathrm{m}}\left(i\right)\mathrm{c}\mathrm{o}\mathrm{s}\left[\frac{j\mathrm{\pi }}{2N}(2i+1)\right]$

式(6)中:N为滤波器组滤波器数量;g_m为滤波后谱线能量;j为GFCC特征维度。

三种特征的提取过程如图3所示。

2.4 GCC-PHAT特征

对两麦克风信号提取广义互相关特征获得。互相关最大值即峰值的横坐标为声源到达两麦克风的时间延迟估计,其可表征声源位置信息,可根据时延估计几何求解声源位置。加权函数PHAT则可以锐化峰值,以获得更加准确的时延估计。设两麦克风采集的信号分被为x₁(t)和x₂(t),广义互相关算法公式为

(7)

${R}_{{x}_{1}{x}_{2}}\left(\tau \right)=\frac{1}{2\mathrm{\pi }}{\int }_{-\infty }^{+\infty }{\Psi }_{12}\left(\omega \right){X}_{1}\left(\omega \right){X}_{2}^{\mathrm{*}}\left(\omega \right){\mathrm{e}}^{\mathrm{j}\omega \tau }\mathrm{d}\omega $

式(7)中:τ为时延;ω为频率;

${\Psi }_{12}\left(\omega \right)$

为加权函数;

${X}_{2}^{\mathrm{*}}\left(\omega \right)$

为X₂(ω)的共轭复数;X₁(ω)、X₂(ω)为两麦克风信号x₁(t)和x₂(t)的傅里叶变换结果;R_x₁x₂为两信号的广义互相关函数。

PHAT加权函数为

(8)

${\Psi }_{12}\left(\omega \right)=\frac{1}{\left|{X}_{1}\left(\omega \right){X}_{2}^{\mathrm{*}}\left(\omega \right)\right|}$

2.5 QGCC特征

首先对信号x₁(t)作自相关运算,对信号x₁(t)和x₂(t)作互相关运算,然后再对两者作互相关运算加权。二次广义互相关通过多次相关运算抑制噪声间的弱关联而达到降低噪声对时延估计的影响^[2]。

(9)

${R}_{{x}_{1}{x}_{2}}\left(\tau \right)=\frac{1}{2\mathrm{\pi }}{\int }_{-\infty }^{+\infty }{\Psi }_{12}\left(\omega \right){R}_{{x}_{1}{x}_{1}}\left(\omega \right){R}_{{x}_{1}{x}_{2}}^{\mathrm{*}}\left(\omega \right){\mathrm{e}}^{\mathrm{j}\omega t}\mathrm{d}\omega $

式(9)中:R_x₁x₁(ω)为麦克风信号x₁自相关;R_x₁x₂(ω)为两信号互相关,计算仍采用PHAT加权函数。

其提取过程如图4所示。

3 模型结构

3.1 基线SELDNet网络

基线SELDNet为DCASE2019比赛主办方提出的一个卷积循环神经网络(CRNN)模型,其结构如图4所示。SELDNet网络模型学习音频的Log-Mel时频域特征和GCC-PHAT时差信息特征实现声音事件的检测与定位。CNN部分由4个基本卷积神经网络层组成:①卷积Conv;②批归一化BN;③ReLU激活;④最大池化;如图5虚线框内所示。RNN部分则采用两个双向门控循环单元(bidirectional gated recurrent unit, BiGRU)组成。

3.2 非对称卷积的注意力网络ACANet

为增强模型对声音特征的提取能力,提出了一种基线改进网络,即非对称卷积的注意力网络模型ACANet,其结构如图6所示。ACANet使用1×3和3×1非对称卷积核串联构建非对称卷积结构提取声音时频特征垂直和水平方向信息。并引入有效的压缩-激励模块(squeeze-and-excitation, SE),其增加少量计算来学习特征通道间的相关性帮助模型关注特征具有关键信息的通道层,然而SENet易忽略特征空间位置信息,因此结合坐标注意力模块(coordinate attention, CA)构建CCAM模块,其可以在一定程度上缓解引入SE模块造成的空间信息损失以帮助模型同时学习特征通道和空间信息。为避免随神经网络深度的增加造成特征信息大量丢失和梯度消失而构造残差连接,提升模型的声音事件检测和定位性能。

非对称卷积残差注意力模块如图7所示,其中用1×3和3×1的非对称卷积替换SELDNet中的3×3卷积,并选用ELU激活函数,同时引入所提出的通道坐标注意力模块CCAM,并对输入作 1×1 的卷积和批归一化层作为跳跃连接构造残差结构。

ELU激活函数是一种针对ReLU激活函数的改进型,其在负值范围内引入了一个非线性的平滑函数,以避免丢失负值造成梯度消失,其表达式为

(10)

$\mathrm{E}\mathrm{L}\mathrm{U}\left(x\right)=\left\{\begin{array}{ll}x,& x>0\\ \alpha ({\mathrm{e}}^{x}-1),& x\le 0\end{array}\right.$

式(10)中:α为可调参数,α>0。

3.3 非对称卷积

非对称卷积旨在用低秩矩阵逼近标准的正方形卷积核以实现模型加速。其最初应用于图像任务^[17],将n×n的卷积分解为两个非对称1×n和n×1卷积的串联,保证相同感受野的同时并减少计算量和模型参数量。以3×3的卷积为例,若卷积前后图片尺寸不变,完成一次卷积的计算量为3²×n²,分解为1×3和3×1卷积的串联,感受野同样为3×3,计算量为2×1×3×n²,与3×3卷积相比计算量降低了约33%。

不同于图像,声音是一种随时间而变化的非稳态信号,但其具有特性在短时间范围内(30~50 ms)会保持稳定的特点而使得对声音的研究变得容易,分帧操作则实现沿着时间轴方向将音频剪切成许多短时间声音片段,即一帧。Log-Mel等时频域特征就是对特性不变的短声音片段提取频率信息后按时间序列将其拼接起来的二维矩阵,和GCC-PHAT等空间信息特征相似,其两个维度分别有着不同的物理意义。不同于对称卷积,非对称卷积可以针对声音时频特征的特点,采用1×3的卷积核沿着横轴方向提取时域上的信息,然后用3×1的卷积核沿着纵轴方向提取声音在频域上的信息,以实现对声音特征两个方向分别进行卷积以提取有效信息。部分研究者^[18-19]在对声音的研究中使用非对称卷积,取得了不错的性能,因此设计非对称卷积残差模块并应用于ACANet网络中。非对称卷积残差注意力模块伪代码如表1所示。

3.4 坐标通道注意力模块CCAM

众多研究表明,引入通道注意力压缩激励模块SE^[20]可以有效提升模型性能,该模块通过重新标定特征每个通道权重,增强重要通道的特征响应并抑制无效通道。SE模块的压缩部分在通道维使用全局平均池化操作以获得全局感受野的通道特征均值向量,激励部分对每个通道的重要性进行分配并加权。增加少量计算帮助模型关注学习重要特征通道层,有效提高模型性能。但其压缩部分的全局平均池化操作会将特征空间信息压缩到通道描述符中造成空间信息丢失,而对于SELD任务,空间位置信息是需要被学习到的。而坐标注意力CA^[21]将全局平均池化操作分解为垂直和水平两个方向的对远程依赖关系和位置信息的一维特征编码,然后聚合特征将位置信息映射到通道中,从而可以避免空间信息的损失,并有助于捕获特征在水平和垂直方向上的位置信息,但其仅仅是在水平或垂直一个方向进行操作,而缺乏对特征通道全局感受。因此提出构建由SE和CA组成的坐标通道注意力模块CCAM,其可以以全局和局部视野对特征进行感受并将学习到通道和空间位置信息进行融合,在一定程度弥补SE模块空间位置信息丢失,并增强模型对声音特征的学习能力。CCAM模块如图8所示,其伪代码如表2所示。

4 实验设置

4.1 数据集选择及特征可视化分析

采用TAU-NIGENS 2020空间声音事件麦克风格式数据集^[22],该数据集由坦佩雷大学在演讲厅、大教室、现代体育馆等10多个形状大小不同的空间中使用四面体胶囊排列麦克风矩阵录制获取。数据集有600个通道数为4,采样率为24 kHz,时长约为60 s的wav音频文件,有警报声、婴儿哭泣声、碰撞声、狗吠、女性尖叫、女性演讲、脚步声、敲门声、男性尖叫、男性演讲、电话铃声、钢琴声,共14种声音事件。录制音频的声源为固定声源或3种不同角速度的移动源,且同一时间可能存在至多两种不同声音事件,同时添加真实环境噪声。实验中将数据集中400个音频作为训练集,100个为验证集,100个为测试集。

图9是对音频fold1_room1_mix001_ov1.wav提取不同特征的可视图。Log-Mel、MFCC和GFCC特征以不同相关性大小或声学刻度表征声音信号,三者在高低频细节,能量聚集以及信息量等方面会有不同。其提取过程中滤波器数为64,采样率为24 000,帧移为480采样点,窗长为960采样点,海宁窗,短时傅里叶变换点数为1 024。GCC-PHAT和QGCC特征采用灰度图表示,中轴线附近的条纹则为互相关峰值所在位置,神经网络可以学习峰值与移动声源位置之间的联系,也可以根据峰值的起伏学习到一定声音事件数量信息。

4.2 评价指标

将SED作为分类任务,采用F₁分数和ER作为评价指标,其中F₁为精准率和召回率的加权调和均值,当样本分布不均衡时,可以综合评估模型对正负样本的预测能力,其简化计算公式如式(11)所示。DOA作为回归任务,采用FR和LE作为其评价指标。F₁和FR的值越高表示模型综合性能越好,ER和LE的值越低表示模型估计准确率越高,即分类正确的样本数占样本总数的比例。

(11)

${F}_{1}=\frac{2\stackrel{T}{\sum _{t=1}}\mathrm{T}\mathrm{P}\left(t\right)}{2\stackrel{T}{\sum _{t=1}}\mathrm{T}\mathrm{P}\left(t\right)+\stackrel{T}{\sum _{t=1}}\mathrm{F}\mathrm{P}\left(t\right)+\stackrel{T}{\sum _{t=1}}\mathrm{F}\mathrm{N}\left(t\right)}$

式(11)中:TP为预测声音事件正确的正样本;FP为预测错误的正样本;FN为预测错误的负样本。

评价指标ER为分类错误的样本占样本总数的比例,其计算公式为

(12)

$ER=\frac{\stackrel{T}{\sum _{t=1}}S\left(t\right)+\stackrel{T}{\sum _{t=1}}D\left(t\right)+\stackrel{T}{\sum _{t=1}}I\left(t\right)}{\stackrel{T}{\sum _{t=1}}N\left(t\right)}$

(13)

$\left\{\begin{array}{l}I=\mathrm{m}\mathrm{a}\mathrm{x}(0,\mathrm{F}\mathrm{P}-\mathrm{F}\mathrm{N})\\ D=\mathrm{m}\mathrm{a}\mathrm{x}(0,\mathrm{F}\mathrm{N}-\mathrm{F}\mathrm{P})\\ S=\mathrm{m}\mathrm{i}\mathrm{n}(\mathrm{F}\mathrm{N},\mathrm{F}\mathrm{P})\end{array}\right.$

式中:I为插入错误;D为删除错误;S为替换错误;N为声音事件总数。

LE为定位角度误差,即角度预测值θ_p与标签真实角度θ_R之间的平均角度误差,计算为

(14)

$LE=\frac{1}{D}\stackrel{T}{\sum _{t=1}}H({\theta }_{\mathrm{p}}^{t}={\theta }_{\mathrm{R}}^{t})$

式(14)中:T为帧长(数);D为帧长内预测角度的数量;

${\theta }_{\mathrm{p}}^{t}$

为第t帧的预测角度;

${\theta }_{\mathrm{R}}^{t}$

为第t帧的真实角度;H(·)为预测角度与真实角度的函数。

帧召回率FR是以角度数量来评估DOA性能的另一指标,其计算式为

(14)

$FR=\frac{\stackrel{T}{\sum _{t=1}}1({N}_{\mathrm{p}}^{t}={N}_{\mathrm{R}}^{t})}{T}$

式(14)中:

${N}_{\mathrm{p}}^{t}$

为第t帧的预测角度数量;

${N}_{\mathrm{R}}^{t}$

为第t帧真实角度数量;1(·)意为若

${N}_{\mathrm{p}}^{t}={N}_{\mathrm{R}}^{t}$

,输出1,否则输出0。

在实验分析表中用箭头表征当模型性能提升时各指标变化趋势。

4.3 实验环境选择及参数设置

选择服务器为硬件设施,配备英伟达Tesla P100显卡,Windows10系统,Tensorflow2.2深度学习框架和Python3.7解释器为软件环境进行实验。根据基线模型所给参数,SED任务输出选择Sigmoid激活函数,adam优化函数和BCE损失函数。DOA任务采用tanh激活函数作为输出,adam优化函数和mask_mse^[23]损失函数,其损失函数将SED任务的输出作为掩码,仅对活跃的声音事件计算DOA的MSE损失。实验中将两任务的损失权重比例设置为1∶1 000,学习率为0.001,输入特征通道为10(频谱通道为4,互相关通道为

${C}_{4}^{2}$

=6),训练批次大小为64,迭代次数为100。

5 实验与实验分析

5.1 不同特征输入结果分析

将6种不同组合特征分别输入基线模型^[10],其在测试集的实验结果如表3所示。以GCC-PHAT为不变特征可将实验1、实验2和实验3作对比实验,可见在表征声音时频域信息能力方面,其Log-mel>GFCC>MFCC。以QGCC为不变特征可将实验4、实验5和实验6作对比实验,其仍为Log-mel>GFCC>MFCC。Log-mel与GFCC和MFCC不同在于Log-mel未经过DCT操作。DCT操作是对数据进行压缩通常只保留前2~13个系数(提取MFCC和GFCC时仅取前22个系数),同时其为一种线性变换,会导致提取梅尔谱特征中的非线性信息的损失,而深度神经网络在训练过程中会比机器学习方法学习到更多深层信息如非线性信息,因此不经DCT变换的Log-mel在基线深度神经网络中的表现要优于其他两种特征。更进一步可发现GFCC特征要优于MFCC,分析数据集中的警报声、婴儿哭泣声、狗吠、女性尖叫、女性演讲、男性尖叫多为高频声音,而Mel滤波器从低频到高频逐渐稀疏,在高频信号表现较差,Gammatone滤波器组却相反从低频到高频逐渐密集,对高频信息更加敏感。因此GFCC要比MFCC具有更多的高频信息,而在实验中表现出较好性能。

分别将实验1与实验4,实验2和实验5,实验3与实验6作对比可探究对比GCC-PHAT和QGCC对于空间信息的表征能力,不难发现GCC-PHAT要优于QGCC,可认为深度网络模型对噪音具有较好的鲁棒性, QGCC特征对噪声抑制效果不明显,同时多次的相关运算会导致信息的损失。

5.2 对数伽马谱LGAM性能对比

提出了LGAM,为通过Gammatone滤波器而不进行离散余弦变换,以减少声音特征信息损失同时具有对高频和低频信号表现较好的优势,以提升特征表达能力。将其输入基线实验结果如表4所示。

由表4可见所提LGAM特征组合在ER、F₁和FR指标要优于Log-Mel组合,验证了LGAM对高频和低频信号具有更好的鲁棒性,对声音时频域信息表征能力更强。为进一步验证LGAM特征表征能力,超参数不变情况下,实验将LGAM+GCC-PHAT和Log-Mel+GCC-PHAT组合作为ACANet的输入。进行多次实验取最优实验结果如表5所示。

由表5可见在ACANet上的训练结果,LGAM组合特征的结果仍要优于Log-Mel组合,其进一步验证了所提出的LGAM组合特征更能表征声音事件和空间位置信息,要优于Log-Mel等特征。由表4和表5对比可见,两种特征在ACANet上的训练结果相较于基线模型有着不同程度的提升对于Log-Mel组合,对于Log-Mel组合:ER降低了2%,LE降低了0.8°,F₁提高了2.5%,FR下降了0.2%。对于LGAM组合:ER下降了5%,LE降低了1.9°,F₁提高了3.1%,FR提高了1.4%。同时对于相同的输入特征,在ACANet上的实验结果在估计精度和模型性能上均有不同程度的提升,其表明ACANet能更有效提取声音特征信息并进行学习,其性能优于基线模型。

5.3 消融实验

为了验证ACANet模型中结构和不同模块的性能,选择LGAM和GCC-PHAT的组合特征作为输入进行消融实验,消去其结构或模块,其结果如表6所示。由表6可见,相较于ACANet(序号0),分析消融实验1:其将非对称卷积替换为对称卷积,其ER增加了1%,LE降低了0.1°,FR降低了2.3,虽然F₁增加了1.7,但整体上模型性能仍为下降趋势,可见对声音特征时序信息的学习,非对称卷积较于对称卷积具有一定优势,能在小范围内提高模型性能。分析消融实验2和实验3:两实验将CCAM模块分解,仅使用CA(实验2)或SE(实验3)模块,ER均提高了5%,F₁分别降低了2.2和1.6,FR却分别降低了3.1和6,而LE指标CA增加了1.3°,虽然消去SE模块LE反而降低了0.3°,但其考虑其他3个指标,消融实验2和实验3都导致了模型总体性能的下降,其表明SE与CA模块可以帮助模型学习重要特征通道信息和空间位置信息以提升模型性能。分析消融实验4:其将CCAM模块整个消去,相较于ACANet,其ER增加了4%,F₁降低了2.9,LE增加了1.3°,FR降低了6.3,4个指标均有不同程度的降低,同时与实验2和实验3对比,消去CCAM模块后模型性能下降更多,其均表明CCAM模块的有效性。分析消融实验5:其去除残差连接结构,模型性能整体有了明显的下降,可见在深层网络构造残差连接以缓解梯度消失,提高模型性能是很有必要的。

5.4 声音检测和定位性能可视化分析

对fold1_room1_mix006_ov1.wav提取LGFCC+GCC-PHAT特征作为输入,将其在基线和ACANet模型的训练结果进行可视化,如图10所示。

由图10(a)、图10(b)、图10(c)对比可见基线和ACANet对绿色声音事件预测精度均较差,然而ACANet却预测更少的错误事件。对比图10(d)、图10(e)、图10(f)可发现ACANet对红色声音事件的移动源的方位角预测更加接近真实标签。对比图10(g)、图10(h)、图10(i),可见仍在绿色声音事件发生时间内,ACANet预测更少的仰角错误。

6 结论

在面对多声源等复杂环境中,基于深度学习方法的声音事件的检测和定位的性能较差。从特征提取和模型改进两个方面对检测和定位性能进行提升。首先对不同特征输入的实验结果分析而提出LGAM特征,其对低频和高频声音都具有较好的鲁棒性而可以表征声音更多的时频信息。同时提出非对称卷积注意力网络模型ACANet,该网络模型将一般卷积替换为非对称卷积核,提高声音特征时序和频率信息学习能力,而构建的坐标通道注意力模块CCAM可以有效处理SE模块会损失空间信息问题并提升学习关键特征通道信息和空间位置信息的学习,实验结果相较于基线有着整体性能的提升。在未来研究中,为提升SELD的性能,可首先通过数据增强技术解决训练数据不足的瓶颈,获取大规模高质量数据;其次,面对日益复杂的网络结构,需着力发展便于实际部署的轻量化SELD模型。最终,通过上述技术的突破,将赋能智能家居、工业设备监测等边缘计算场景,实现高鲁棒性的实时环境感知,从而构建环境智能的新范式。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	施玮, 吴坚. 基于DEMATEL和TOPSIS的低空安防系统方案多属性评价方法[J]. 科学技术与工程, 2025, 25(14): 6109-6117.

[2]	Shi Wei, Wu Jian. A multi-attribute evaluation method for low-altitude security system solutions based on DEMATEL and TOPSIS[J]. Scienfice Technology and Engineering, 2025, 25(14): 6109-6117.

[3]	戴敏. 结合正则化求解的机场场面多点定位方法[J]. 计算机工程与设计, 2021, 42(10): 2995-3001.

[4]	Dai Min. Multilateration method for airport surface surveillance based on regularization[J]. Computer Engineering and Design, 2021, 42(10): 2995-3001.

[5]	马国昊, 牛长流, 王阳. 基于神经网络的声源定位算法研究[J]. 数字技术与应用, 2021, 39(7): 106-109.

[6]	Ma Guohao, Niu Changliu, Wang Yang. Research on sound source localization algorithm based on neural Network[J]. Digital Technology and Application, 2021, 39(7): 106-109.

[7]	高春艳, 赖光金, 吕晓玲, 等. 基于卷积神经网络的移动机器人声源定位方法综述[J]. 科学技术与工程, 2024, 24(7): 2617-2624.

[8]	Gao Chunyan, Lai Guangjin, Lu Xiaoling, et al. Review of metho-ds based on CNN for mobile robot sound source localization[J]. Science Technology and Engineering, 2024, 24(7): 2617-2624.

[9]	Adavanne S, Politis A, Virtanen T. Dir-ection of arrival estimation for multiple sound sources using convolutional recurrent neural network[C]// 26th European Signal Processing Conference (EUSIPCO). Piscataway, NJ: IEEE, 2018: 1462-1466.

[10]	Butko T, González F, Segura C, et al. Two-source acoustic event detection and localization: online implementa-tion in a smartroom[C]// 19th European Signal Processing Conference. Piscataway: IEEE, 2011: 1317-1321.

[11]	Chakraborty R, Nadeu C, Sound-model-based acoustic-source localization using distributed microphone arrays[C]// IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Piscataway: IEEE, 2014: 619-623.

[12]	Hirvonen T. Classification of spatial audio location and content using convolutional neural networks[C]// Audio Engineering Society 138th. New York: Audio Engineering Society, 2015: 1857-1861.

[13]	He W P, Motlicek P, Odobez J M. Deep neural networks for multiple speaker detection and localization[C]// IEEE International Conference on Robotics and Automation (ICRA). Piscataway: IEEE, 2018: 74-79.

[14]	Adavanne S, Politis A, Virtanen T. A multi-room re-verberant dataset for sound event localization and detection[J]. arXiv Preprint arXiv: 1905.0854, 2019.

[15]	Chen Z Y, Huang Q H. GLFE: global-local fusion enhancement for sound event localization and detection:DCASE2022[R]. Challenge: Technical Report, 2022.

[16]	Naranjo-Alcazar J, Perez-Castanos S, Ferrandis J, et al. Sound event kocalization and detection using squeeze-excitation residual CNNs[J]. arXiv Preprint arXiv: 2006.14436, 2020.

[17]	Cao Y, Iqbal T, Kong Q Q, et al. An improved event-independent network for polyphonic sound event localization and detection[C]// IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Piscataway: IEEE, 2021: 885-889.

[18]	濮子俊, 张寿明. 基于特征融合与Transformer模型的声音事件定位与检测算法研究[J]. 计算机工程与科学, 2023, 45(6): 1097-1105.

[19]	Pu Zijun, Zhang Shouming. Research on sound event localization and detection algorithm based on feature fusion and transformer model[J]. Computer Engineering and Science, 2023, 45(6): 1097-1105.

[20]	许春冬, 刘昊, 闵源, 等. 基于双重注意力的声音事件定位与检测[J]. 计算机工程与应用, 2023, 59(19): 99-105.

[21]	Xu Chundong, Liu Hao, Min Yuan, et al. Sound event localization and detection based on dual attention[J]. Computer Engineering and Applications, 2023, 59(19): 99-105.

[22]	宋庆军, 焦守悦, 姜海燕, 等. 基于改进EfficientNet的煤矸音频分类方法[J]. 工矿自动化, 2025, 51(1): 138-144.

[23]	Song Qingjun, Jiao Shouyue, Jiang Hanyan, et al. Coal gangue audio classification method based on improved EfficientNet[J]. Journal of Mine Automation, 2025, 51(1): 138-144.

[24]	Liu K, Yu S, Liu S. An improved InceptionV3 network for obscured ship classification in remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 4738-4747.

[25]	云涛, 潘泉, 郝宇航, 等. 基于HRRP时频特征和多尺度非对称卷积神经网络的目标识别算法[J]. 西北工业大学学报, 2023, 41(3): 537-545.

[26]	Yun Tao, Pan Quan, Hao Yuhang, et al. Target recognition algorithm based on HRRP time-spectrogram feature and multi-scale asy-mmetric convolutional neural network[J]. Journal of Northwestern Polytechnical University, 2023, 41(3): 537-545.

[27]	李庆盛, 缪楠, 张鑫, 等. 基于注意力机制非对称残差网络和迁移学习的玉米病害图像识别[J]. 科学技术与工程, 2021, 21(15): 6249-6256.

[28]	Li Qingsheng, Miao Nan, Zhang Xin, et al. Image recognition of maize disease based on asymmetric convolutional attention residual network and transfer learning[J]. Science Technology and Engineering, 2021, 21(15): 6249-6256.

[29]	Hu J, Li S, Sun G, et al. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2018: 7132-7141.

[30]	Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2021: 13713-13722.

[31]	Politis A, Adavanne S, Virtanen T. A dataset of reverbe- rant spatial sound scenes with moving sources for sound localization and detection[J]. arXiv Preprint arXiv: 2006.01919, 2020.

[32]	Cao Y, Kong Q, Iqbal T, et al. Polyphonic sound event detection and localization using a two-stage strategy[J]. arXiv Preprint arXiv: 1905.00268, 2019.

基金资助

湖北省重点研发计划(2022BAA099)

PDF (8799KB)

访问

被引

详细

导航

Received	Published	Revised
2025-04-12	2026-04-08	2025-12-29
Online Date
2026-05-28

摘要