Press "Enter" to skip to content

Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档

 

本文是总部位于芬兰的Visidon和总部位于英国的 Imagination合作的结果。Visidon 是公认的相机图像增强和分析算法专家,Imagination 拥有一系列世界一流的神经网络加速器(NNA),每个内核的性能高达每秒 100 TOPS。

 

本文解决的问题是对来自传统彩色相机的图像进行去噪。解决方案分为两部分:

 

• 在不破坏图像细节的情况下去除噪声的算法。

 

• 一种高性能卷积引擎,能够运行经过训练的神经网络,该网络将彩色图像作为输入并输出去噪后的彩色图像。

 

Visidon 深度神经网络示例

 

图像去噪的过程有着悠久的历史。现代 CMOS 成像器的工作方式,可以被认为是一组光子计数器。光子以平均速率到达传感器:在波动相对较高的暗区较少,但在波动相对较低的较亮区域(即更好的信噪比)中更多。波动是由于光的物理学而产生的噪声(使用泊松统计),通常无法避免。但是,可以通过进一步处理去除噪声。关键是在不破坏图片内容的情况下做到这一点。

 

多年来,已经提出了许多解决方案。这些包括简单地稍微模糊图片、使用双边滤波器的复杂方法、基于流形理论的贝尔特拉米滤波器、尺度空间卡尔曼滤波器等。

 

关于去噪的有趣点首先是噪声在图像的平坦区域中最明显(对而言),而噪声在边缘附近不太明显(对而言)。然而,边缘最有可能被许多去噪算法以其他方式模糊或损坏。损坏的边缘在感知上与噪音一样糟糕!

 

Visidon 已经创建了一个卷积神经网络模型(相邻),完全实现了所需的目标——去除噪声并同时保留彩色图像中的边缘。

 

Imagination 的 Series4 多核 NNA 在执行 Visidon 的去噪网络时,提供高性能计算解决方案,同时在低功耗和小面积方面是同类产品中的佼佼者。

 

图 1 显示了一组示例结果。这项工作中使用的所有图像均为 4,096 x 3,072。这张图片在黑暗的夜间背景上有明亮的白色和蓝色灯光;原始图如图 1a 所示,每个像素 x100 的 RMS 误差如图 1b 所示。误差是在来自网络的浮点结果和通过将网络量化为 16 位,在 Imagination 的 NNA 上运行网络生成的结果之间得出的。

 

图 1(下图)显示了一个特别困难的图像——然而,任何 8 位颜色通道的最大差异是 +/-1。还展示了(图 1c)原始噪声图像的裁剪,d)来自浮点网络的输出,e)量化网络和 f)由 Visidon 的网络浮点实现提供的结果。无色彩失真,有效消除噪点,边缘完好无损。

图 1.“困难”图像示例。在查看的十张示例图像中,所有结果都遵循相似的模式。在图 2 所示的日光场景中,每个颜色通道的每个像素没有超过 +/- 1 的错误发生。此图像中的噪点不太明显,但选择了裁剪图来证明降噪不会在任何颜色的边缘产生伪影。

图 2. 没有边缘或颜色失真的日光场景

 

在下一张图片(图 3)中,展示了一张明亮的测试图表。同样,没有大于 +/- 1 的错误,并且详细的裁剪显示缺少边缘伪影,这是 Visidon 算法的一个特征。

图 3. Visidon 结果:明亮的测试图表。

 

最终的图像结果(图 4)显示了在低光下拍摄的测试图 – 另一个非常困难的图像。在这里,清楚地看到了噪声(泊松统计数据的信噪比随着平均水平的降低而变差)。在原始图像的细节中(图 6c),在较亮和较暗的区域,严重的颜色噪声都很明显。这是单独的红色、绿色和蓝色通道中不相关的波动产生随机颜色变化的结果(近似于三个维度的 Rician 统计)。

 

Visidon 的去噪算法消除了亮度(亮度)和色度(颜色)中的噪声,同时保留了边缘。值得注意的是,来自网络的浮点结果与来自网络的 16 位量化结果之间没有明显差异,而且这两个结果之间的最大差异在任何像素和任何颜色通道上都是 +/-1。

图 4. Visidon 结果:低光测试图表。

IMG Series4 多核

 

图 5. IMG 4NX-MC8 示意图

 

图 5 中的 IMG 4NX-MC8 具有先进的架构特性,并提供一系列多核版本。4NX-MC1 有一个单核,最高可达 12.5 TOPS(1 TOPS = 1 Tera 操作每秒)。

 

Imagination 的 4NX-MC1、4NX-MC4 和 4NX-MC6 内核的性能如下表 1 所示。

表 1. Imagination NNA 内核在使用 Imagination 标准工具链生成的 Visidon 降噪网络上的性能和配置

 

结论

 

总而言之,这是一个深度卷积神经网络的一个非常有趣的例子,从作为输入的图像中产生作为输出的图像。

 

在图像质量方面的表现非常出色,因为在处理高质量图像时去噪是一个难题。结果的保真度反映了 Visidon 算法的质量,特别是选择的网络架构和训练方式。还非常清楚地表明,量化网络(在这种情况下为 16 位)可以提供与浮点网络几乎相同的结果。

 

值得一提的是,确实研究了较低的位深度。大多数神经网络中的错误在 8 位执行时会增加一点。根据应用程序,错误的小幅增加可能是可以接受的。在高质量图像增强的背景下,人类观察者可以看到非常小的错误。8 位数据(激活)时平坦区域的条带很明显,8 位权重时颜色失真很明显。

 

使用 16 位数据和 16 位权重运行网络根本不会留下任何可见的伪影,并且输出图像中任何像素和颜色的差异都是 +/- 1。

 

通过运行 Visidon 的去噪网络,Imagination 的 NNA 的性能展示了其超越传统 AI 应用程序的能力及其在图像增强方面的适用性。

 

参考链接:

 

https://www.imaginationtech.com/blog/imaginations-neural-network-accelerator-and-visidons-denoising-algorithm-prove-to-be-perfect-partners/

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注