Press "Enter" to skip to content

音频降噪概述(1)一基于AI降噪

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

目录

 

一. AI降噪模型等基础知识:

 

二. 基于频域掩码的AI降噪模型

 

基于频域掩码的AI降噪算法步骤:

 

三. AI降噪模型的工程部署

 

AI降噪模型存储空间与算力限制

 

其他(特征/硬件/IO/部署平台等 ):

 

引言:

 

传统降噪局限性:

 

传统算法通过统计的方法对噪声进行估计,对稳态噪声能进行有效降噪。但对非稳态噪声和瞬态噪声效果不太理想。

 

AI降噪相比于传统降噪,噪声抑制效果得到提升,但部署时受到设备算力、存储体积等条件限制。

 

一. AI降噪模型等基础知识:

 

AI降噪时基于数据驱动的方法,让模型学习数据内隐含信息。 模型输入时带噪的语音信号,模型的输出时纯净的语音信号。

 

1.1 常见的模型结构:

 

DNN

 

DNN计算中每个神经元都是前一层的加权平均。得到一个多层的线性网络对复杂信号处理进行建模。

 

CNN

 

一维卷积(时域)和二维卷积(TF)

 

RNN

 

LSTM, GRU,自回归、时序建模

 

1.2 模型训练方法

 

分为有监督和无监督训练。降噪一般采用有监督训练

 

步骤:

 

 

    1. 通过预处理把带噪信号处理成 输入给NN的输入特征

 

    1. 通过NN预测估计的特征

 

    1. 计算估计的特征和label 特征之间的差距,loss(可以MSE等)

 

    1. Loss反向传播,结合梯度下降更新模型参数

 

    1. 重复至收敛,loss不再下降等

 

 

1.3 设计AI降噪模型:

 

步骤

 

 

    1. NN降噪模型,包括模型的预处理和后处理过程

 

    1. 合适的loss

 

    1. 合适的语音信号和噪声信号的数据库

 

 

时域模型:TasNet等

 

频域模型:RNNoise、CRN等

 

二. 基于频域掩码的AI降噪模型

 

类似传统的维纳滤波通过计算先验信噪比,然后对频域每一个频点乘一个小于1的系数抑制噪声。这些系数称为频域掩码。传统方法是基于统计的方法得到频域掩码,基于NN的方法是通过模型预测出NN。

 

基于频域掩码的AI降噪算法步骤:

 

 

    1. 带噪信号过STFT,时域转频域

 

    1. 频域输入NN,NN预测出干净信号的频域掩码

 

    1. 频域信号 乘 频域掩码,得到降噪的频域信号

 

    1. 降噪后的频域信号做iSTFT 得到纯净语音信号

 

 

幅度谱:对复数域的取模就是幅度谱,代表不同频点的能量分布。

 

相位谱:对复数谱中实部与虚部比值求反正切,得到相位谱。(-pai到pai)

 

上述过程只改变了幅度谱没有改变相位谱。相位谱没有准确描述的物理含义,建模较难且人耳对相位不是很敏感。

 

基于复数域代表:微软的PHASEN和2020DNS降噪比赛夺冠的DCCRN等

 

 

三. AI降噪模型的工程部署

 

首先AI模型在算力和模型参数存储上比传统方法要求更高。

 

因果性:

 

RTC实时音频的应用场景中,降噪处理考虑因果性。  因为未来的信息是拿不到的所以一些双向结构RNN等不能用。  但一点未来信息不用回导致模型的降噪能力下降。

 

因此采用引入一点延迟的方式提升模型的降噪能力。  比如在第I + m帧输出第i帧的信号。  m一般不超过3。 模型可以look ahead 前3帧。

 

AI降噪模型存储空间与算力限制

 

模型部署时,尤其在手机、IOT等移动端部署,设备的算力和存储 空间都会受到限制。

 

不同模型等算力复杂度和参数量分布:

 

 

模型选用:

 

CNN的卷积核能复用所以参数量较小。DNN和RNN本质上是线性设计,参数量较大。因此移动端等存储空间小的设备设计算法时,会尽量选择CNN,或CNN结合别的结构来压缩参数量。

 

参数量化:

 

另一方面对于RNN和DNN等可以通过参数量化等方式对模型进行压缩。比float32 转int8bit量化。  量化会对模型精度造成损伤,CNN等不适合,但RNN和DNN可以做合适量化,没那幺敏感。

 

其他(特征/硬件/IO/部署平台等 ):

 

选用特征:可以在RNNoise 采用BFCC 这种压缩的频谱特征作为输入,减少特征。

 

特定的硬件:特点的计算芯片支持不同精度的计算,量化后计算速度更快。

 

数据读取优化:对模型参数和输入数据,按照内存连续读取最优的方式进行重排,实现IO的加速

 

采用合适部署工具:

 

如下图常用的AI模型部署工具

 

 

参考文献

 

1、Luo Y, Mesgarani N. Tasnet: time-domain audio separation network for real-time, single-channel speech separation[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 696-700.

 

2、Luo Y, Mesgarani N. Conv-tasnet: Surpassing ideal time–frequency magnitude maskingfor speech separation[J]. IEEE/ACM transactions on audio, speech, and language processing, 2019, 27(8): 1256-1266.

 

3、Valin J M. A hybrid DSP/deep learning approach to real-time full-band speech enhancement[C]//2018 IEEE 20th international workshop on multimedia signal processing (MMSP). IEEE, 2018: 1-5.

 

4、Strake M, Defraene B, Fluyt K, et al. Fully convolutional recurrent networks for speech enhancement[C]//ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020: 6674-6678.

 

5、Ma C, Li D, Jia X. Optimal scale-invariant signal-to-noise ratio and curriculum learning for monaural multi-speaker speech separation in noisy environment[C]//2020 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE, 2020: 711-715.

 

6、Yin D, Luo C, Xiong Z, et al. PHASEN: A phase-and-harmonics-aware speech enhancement network[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 34(05): 9458-9465.

 

7、Hu Y, Liu Y, Lv S, et al. DCCRN: Deep complex convolution recurrent network for phase-aware speech enhancement[J]. arXiv preprint arXiv:2008.00264, 2020.

 

总结自极客课程《搞定音频技术》

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。