Press "Enter" to skip to content

在 Cadence 音频数字信号处理器上加速 TensorFlow Lite Micro

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

 

发布人:来自 Cadence 的 Raj Pawate 和 Google 的 Advait Jain

 

数字信号处理器 (DSPs) 是所有电池供电设备的重要组成部分,其提供了一种以极低功耗处理音频数据的方法。这些芯片负责运行信号处理算法,例如音频编解码器、噪声消除和波束形成等。

 

这些 DSPs 也越来越多地用于运行神经网络,例如唤醒词检测、语音识别和噪声抑制。启用此类应用的关键是,能够尽可能高效地执行这些神经网络。

 

 

不过,在 DSPs 上运行机器学习的产品化路径往往是临时路径。相比之下,语音、音频和视频编解码器运行国际电联 (ITU) 和 3GPP 等全球标准机构创建的压缩和解压缩算法,可解决质量测量、定点算法注意事项和互操作性等多方面的问题。

 

TensorFlow Lite Micro (TFLM) 是一个通用的开源推理框架,可在嵌入式目标(包括 DSPs)上运行机器学习模型。同样, Cadence 也在 PPA 优化的软硬件平台上投入巨大,例如用于音频的 Cadence Tensilica HiFi DSP 系列和用于视觉的 Cadence Tensilica Vision DSP 系列。

 

Cadence

https://www.cadence.com/en_US/home.html

 

基于此,TFLM 团队与 Cadence 的音频 DSP 团队在 2019 年就此展开合作。TFLM 团队专注于利用广泛的 TensorFlow 框架,并通过解释器和参考内核开发从训练到嵌入式和 DSP 部署的平滑路径。Cadence 开发一个高度优化的软件库,称为 NeuralNet 库 (NNLIB),该库利用了其低功耗 HiFi DSPs 的 SIMD 和 VLIW 功能。起初,此合作仅包括一个 Xtensa DSP 的三个优化内核,而现已涵盖各种平台上的 50 多个内核,例如 HiFi 5、HiFi 4、HiFi 3z、Fusion F1 以及 P6 等 Vision DSPs,并包括卸载加速器(如有)的功能。

 

此外,我们还共同为所有针对 Cadence DSPs 进行过优化的代码添加了持续集成设置。其中包括的基础架构会对 TFLM 存储库的每个拉取请求进行测试,检测其是否通过 Tensilica 工具链的所有单元测试,该工具链具有各种 HiFix 和 Vision P6 内核。因此,我们会确保组合的 TFLM 和 NNLIB 开源软件不仅紧密集成,还具有良好的 自动化测试覆盖率 。

 

自动化测试覆盖率

https://github.com/tensorflow/tflite-micro/actions/workflows/xtensa.yml?query=event%3Aschedule

 

性能提升

 

最近,我们共同为 使用 int16 激活函数量化 的模型添加了优化设置。尤其是在音频领域,int16 激活函数对于量化生成式模型的质量至关重要。我们希望这些经过优化的内核能够支持一种新的 ML 驱动型的音频信号处理。下表所示为实现噪音抑制神经网络所需的几个算子。我们以噪音抑制神经网络 SEANet 为例,该网络中一个变体的循环计数提升了 267 倍。

 

使用 int16 激活函数量化

https://tensorflow.google.cn/lite/performance/post_training_integer_quant_16x8

 

SEANet

https://arxiv.org/abs/2008.02027

 

下表所示为经过优化的内核相比参考实现所取得的改进(使用 Xtensa 指令集模拟工具测量)。

算子

改进

Transpose Conv458 倍
Conv2D287 倍
Sub39 倍
Add24 倍
Leaky ReLU18 倍
Srided_Slice10 倍
Pad6 倍
整个网络267 倍

 

如何使用这些优化设置

 

所有代码均可通过 TFLite Micro GitHub 库来使用。

 

TFLite Micro

https://github.com/tensorflow/tflite-micro

 

要使用 HiFi 3z 定向 TFLM 优化设置,需满足以下条件:

 

已使用 int16 激活函数和 int8 权重对 TensorFlow Lite (TFLite) FlatBuffer 模型进行量化

 

该模型使用上表中列出的一个或多个算子

 

TFLM 使用 OPTIMIZED_KERNEL_DIR=xtensa 进行编译

 

例如,您可以使用参考 C++ 代码运行 Conv2D 内核集成测试:

 

make -f tensorflow/lite/micro/tools/make/Makefile TARGET=xtensa TARGET_ARCH=hifi4 XTENSA_CORE= test_integration_tests_seanet_conv

 

并通过添加 OPTIMIZED_KERNEL_DIR=xtensa ,将其与经过优化的内核进行比较:

 

make -f tensorflow/lite/micro/tools/make/Makefile TARGET=xtensa TARGET_ARCH=hifi4 OPTIMIZED_KERNEL_DIR=xtensa XTENSA_CORE= test_integration_tests_seanet_conv

 

展望未来

 

虽然迄今为止的工作主要集中在卷积神经网络上,但 Google 和 Cadence 也在合作开发经过优化的 LSTM 算子,并已发布基于 LSTM 的关键字识别器的 首个示例 。我们希望在此基础上进行扩展,并继续为 Tensilica Xtensa DSPs 带来经过优化的生产级的 ML 领域最新实践。

 

首个示例

https://github.com/tensorflow/tflite-micro/tree/1c6b50ef8b9dac1bb31dfe79679aec781666a86b/third_party/xtensa/examples/micro_speech_lstm

 

衷心感谢以下同事,感谢他们为此番成功合作做出的贡献。

 

Cadence:Manjunath CP、Bhanu Prakash Bandaru Venkata、Anirban Mandal

 

Google:Advait Jain、Deiqang Chen、Lawrence Chan、Marco Tagliasacchi、Nat Jeffries、Nick Kreeger、Pete Warden、Rocky Rhodes、Ting Yan、Yunpeng Li、Victor Ungureanu

 

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。