Press "Enter" to skip to content

基于混合模型的语音降噪实践

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

前面的文章( 语音降噪论文“A Hybrid Approach for Speech Enhancement Using MoG Model and Neural Network Phoneme Classifier”的研读 )梳理了论文的思想。本篇就开始对其实践,主要分以下几步:1,基于一个语料库算出每个音素的单高斯模型;2,训练一个输出是一帧是每个音素概率的NN分类判别模型;3,算法实现及调优。

 

1,得到每个音素的单高斯模型

 

要想得到每个音素的单高斯模型,首先得做好音素对齐,知道某一帧对应哪个音素。论文里用的是英文的TIMIT语料库,已经做好了音素对齐,知道了哪个时间段是哪个音素。现在做的是中文的语音降噪,最好能有一个像TIMIT一样已经做好音素对齐的语料库。网上搜了 一下,没有已做好音素对齐的中文语料库,只能自己做音素对齐了。做语音识别时用过清华的Thchs30语料库,且它在中文语音识别领域里知名度较高,于是就决定基于Thchs30做每个音素的单高斯模型。自己来做音素对齐,肯定花不少时间,最好是有开源工具帮忙来做。幸运的是找到了支持中文音素对齐的工具speech-aligner(https://github.com/open-speech/speech-aligner),它是基于kaidi的,我用过一段时间kaldi,自然对它用起来也比较顺手。speech-aligner里音素较多,主要是因为音素带音调了(包括轻声共5个音调,分别是0/1/2/3/4,0表示轻声)。Phoneme.txt里是音素和id的映射,wav.scp放wav文件名对应的音频位置,text里放wav文件对应的中文和带调拼音,自己弄时依葫芦画瓢就可以了。比较好的是Thchs30语料库里已有了每个wav文件对应的中文和带调拼音(trn文件里),我只需要写python脚本把它们集中起来使用,这让我省了不少时间,尤其是在拼音标注上。用speech-aligner做好音素对齐后得到的是out.ali文件,里面指出了哪个时间段是什幺音素,示意如下图:

 

 

从上图可以看出,0~25ms是音素y,25~460ms是音素e_3。

 

接下来就是基于out.ali得到每帧是哪个音素。这里的帧跟语音识别里的帧一样,帧长25ms和帧移10ms。依旧用python脚本处理后得到csv文件,每行代表一个wav文件的信息,开头是文件名,后面就是每帧对应的音素id,示意如下图:

 

 

有了每帧跟音素的映射后就开始算每个音素的单音素高斯模型了。统计出语料库中每个音素共有多少帧,每帧求出对数幅度谱。由于帧长是25ms,16k HZ采样下是400个点,所以STFT用512个点的,即有512个频段。时域数据转换到频域后是复数形式,除了0和N/2维外其他值是对称的,所以只要(N/2 + 1)表示频域数据就可以了。当N=512时,N/2 + 1是257,从而对数幅度谱的数据是257维的。对每维分别算均值和方差,这样每个音素的单高斯模型就有了,它是257维的,每维有均值和方差。

 

2,分类判别NN模型训练

 

原理篇中说过这是个典型的分类问题,需要训练一个分类模型 。在做KWS(keyword spotting,关键词识别)时我们就训练过分类模型,这里可以拿来用,不过要做一些修改,比如分类label的处理上。我把语料库按8:1:1分成训练集/验证集/测试集,网络用的是CNN(卷积神经网络)。论文是几年前的啦,当时神经网络刚流行,更多用的是DNN全连接网络。训练时发现模型不能收敛,在测试集下准确率跟论文里的差不多。我认真想了下,不能收敛也是合理的,毕竟音素对齐时就不是很准确,尤其是两个音素的临界处。论文里用9帧(当前帧+前后各4帧)作为网络的输入。我试过单帧(当前帧)输入 / 3帧(当前帧+前后各1帧)输入 /5帧(当前帧+前后各2帧)输入 / 7帧(当前帧+前后各3帧)输入 / 9帧(当前帧+前后各4帧)输入,准确率都差不多,考虑到更多帧的输入导致模型参数更多,我最后选了单帧输入。既然准确率跟论文里差不多,我也就没再深究。这样基于NN的分类判别模型就训练好了。

 

3,算法实现和调优

 

上面的两个模型做好后就开始做算法实现了。依旧在python下实现,因为python里有好多现成的库,实现起来更快,要把更多的时间放在降噪效果调优上。算法实现依据原理篇中给出的步骤一帧一帧的做。先根据前25帧(约250ms)算出噪声单高斯模型的均值和方差的初始值用于后面迭代。在每一帧里,先根据NN模型求出这帧对应每个音素的后验概率,然后算对数谱,根据数学表达式算出降噪后的每一维的对数谱,再做反变换得到时域的PCM值。最后再更新噪声的单高斯模型的均值和方差,用于下一帧的计算。算法实现还是挺快的,有两个值α和β需要tuning。先简单调了下这两个参数,能起到部分降噪效果,接下来就是调优了。

 

经过好多次的尝试,得到了一个相对不错的α和β值,在各种不同的SNR下MOS分平均能提高0.3左右,与论文里说的差不多(由于语言/语料库/网络模型等不一样,结果与论文里的也不可能完全一样)。我也将其与webRTC里的ANS(用的是我手头上的一个C语言的版本,且有3个不同的level,分别是弱/一般/激进 )的降噪效果做了比较,具体MOS分如下表:

 

 

训练分类模型时都是干净语音,降噪时都是拿带噪语音去算每帧是每个音素的后验概率,准确率相对干净语音会低一些,进而会影响到降噪效果。如果拿降噪后的语音去再次算后验概率,准确率会高些,降噪效果也会好些。于是对于一段降噪的语音,我把算法做了几次迭代,即拿前一次降噪后的语音经过NN算后验概率,再次降噪,直到最后一次的降噪结果作为输出。实践下来第一次迭代后MOS分有近0.1的提升,后面的迭代效果就不明显了。迭代能提升一点MOS分,但是会带来运算量(即CPU load)的增加,真正用时做一次算法迭代就可以了。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注