Press "Enter" to skip to content

“高内聚,低耦合”,安防的“前端智能化”

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

“感知”作为传感器的基本功能,可以使用主动的(比如雷达)和被动(比如人眼,摄像机等)的方式自然地(不加算法或认知处理)达成,但是感知内容的呈现则涉及被感知信息的加工。所以感知内容呈现并不是“原原本本”的. 以摄像机为例,摄像机传感器支持的色深(典型值12-bit)通常远超显示器色深(典型值8-bit),所以通常使用图像压缩算法对传感器信息进行处理之后再传输显示以节省传输成本和存储成本。但图像压缩之后,很多信息就丢失了,无论是人工观察还是使用算法处理,都难以达到未经压缩图像的性能。

 

基于这一情况,有研究者通过在摄像机端直接进行图像处理和算法训练,然后把处理后的结果再传输和存储,以达到更好的性能。具有这种功能的摄像机被称为软件定义摄相机(Software-defined Camera, SDC). 当然,由于当时的硬件和算力限制,算法是通过植入FPGA实现的。

 

几年以后(2017年),一些军方部门也进行了软件定义相机的测试. 这时候可以使用的硬件和对应的算力就丰富多了(使用了移动端芯片):

在20W的功耗限制下,被测试评估的软件定义相机原型机被认为具有跟成本更高、体积更大、功耗更大的设备一致的性能,并且具有更好的功能灵活性(allows for low-power, low-cost high spatial, temporal, and spectral resolution commonly found in more costly, less compact larger instruments). 由于功能的切换可以使用算法/软件的更改实现,这种设计一定程度上实现了硬件和软件的解耦,能实现原来需要替换摄像机才能实现的效果。

三年后的今天,随着移动处理器算力的快速增长,以及包括二值化、线性量化、剪枝等在内深度学习模型量化压缩等技术的成熟和广泛应用,这种设计的可发挥空间得到了一个爆发性的扩张。于是在民用领域有了安防/交通领域的“前端智能化”的概念。

 

>什幺是“前端智能化”

 

传统的安防/交通解决方案通常包括多个监控摄像机,视频数据直接通过网络传到本地的网络视频记录仪(NVR)或者云端进行存储。然后依赖人工进行回看或者使用算法进行处理。但集合多个摄像机的视频数据通常非常庞大,无论是人工处理还是集中的通过算法处理都非常的费时费力。容易理解地,这种集中化的处理的方式对网络的稳定性和数据中心的算力都提出了比较高的要求,并且结果与需要观测的事件的发生通常不可避免地存在较大的延迟,而且这种延迟随着监控规模的扩展而扩大。

传统安防方案下,以一个城市每年建设2万路1080P人像卡口摄像机为例的预估存储容量

如果仔细考察实际案例,可以发现这整个架构明显存在一些可改进的地方:1)大量实际视频图像只是内容没有什幺变化的画面,上传和存储这些视频内容不仅占用网络带宽还浪费存储和计算资源;2)图像质量只能靠摄像机根据光照情况进行简单的自适应优化甚至没有优化,这使得回看或集中进行计算处理时候无法做出任何调整,丢失信息。 在当前的AI时代,芯片技术的高速发展使算力更容易获得,单位功耗下的算力越来越强,算力成本也越来越低。同时,AI算法也越来越成熟,可以通过智能算法自动的优化各种非正常条件下(Degraded Visual Field)的高清图像,并对图像内容进行解析(也就是图像内容结构化),提取其中的关键信息:人脸、车辆/车牌、行为信息等。如果我们在摄像机端部署这样的芯片和AI算法,就有可能智能地提升画面质量,并对画面进行内容解算,降低上传数据量的同时降低数据处理结果的延迟,更快地做出事件预警,支持从事后线索查找事中的准确发现。

 

AI算力的摄像机端介入,可以称为“前端智能化”。具备这样的算力之后,摄像机端的AI算法按需部署和升级也成为可能。

 

>前端智能化如何提升安防性能并降低成本

 

前面我们提到,在摄像机端部署AI算法可以大幅提升系统性能并降低成本。那幺在安防场景具体怎幺实现呢。这个问题可以从点到面来理解,也就是单个摄像机和整体系统两方面。

 

从摄像机方面看,可以在摄像机端部署更为高效的图像增强算法,进行智能精准补光、图像降噪和逆光增强,以提升图像质量。另外,可以根据场景部署不同的业务算法,比如对人脸摄像机,在摄像机端部署人脸检测、属性识别、行为识别以及人脸特征提取等;对于交通摄像机,部署车牌抓拍、流量监控、场景识别等算法,重点编码路面区域,优化视频编码,降低带宽需求和传输延迟。

摄像机的软硬件解耦让算法的灵活配置成为可能, 不同场景中,在最优比例的硬件投资下,通过更换算法就能实现不同的智能功能。

 

从整体系统方面来看,也就是前端智能化跟后端智能协同达到效率最优。前端智能化之后的摄像机更多的传输的是结构化编码之后的信息,包括人脸和行为特征向量、车牌号、车流量等,这些原本需要在后端(云端)解算的信息被前端计算分摊,而后端可以更专注地进行跨摄像机资源的特征比对、搜索等方面的计算。这大幅降低了对后端算力和存储的需求,使得整体系统更为内聚,同时整体上具有更好的扩展性。

 

>前端智能化实际场景

 

那幺,前端智能化在具体案例中的情况如何呢。以人们最为常见的中小型商超应用为例:

在出入口、收银台、货架等区域安装配置好摄像机之后,我们可以通过HoloSens Store根据需要选择部署对应的智能算法。比如在出入口部署惯偷识别、客流统计、人脸考勤;在收银台部署排队统计算法,在货架区部署客流统计、热门货架统计等算法等等。如果业务发生变更,也可以根据情况对具体摄像机部署不同的算法,实现一机多用。

知乎视频 ​ www.zhihu.com

部署完成之后,包括视频和算法处理结果在内的信息都可以通过手机APP和NVR查询,或者传输到云端进行记录和进一步的解算,为商超运营提供更丰富而直接的数据支持。

知乎视频 ​ www.zhihu.com

>前端智能化趋势

 

经过多年的建设,安防和交通市场仍然是一个快速增长的市场。其中前端智能化的市场增长更为明显,这是由其相应实际的需求驱动的.

在安防中,前端智能化可以在摄像机联网故障等情况下实现基本的违法检测功能,结合后端智能实现端云协同,将违法检测和事件检测联系起来,提升监控和感知结果的实时性,轻松实现传统解决方案所难以实现的功能。实现从“看得清、看得全”到“看得懂”的跨越。

 

另外,前端智能化对计算门槛的降低,对图像质量的提升,以及一机多用灵活配置的特性等能有效地降低设备的总拥有成本(TCO). 这对系统新建和系统升级的选择来说都是不小的优势。

 

参考

 

 

    1. Cha, J. H., Abbott, A. L., Krapels, K. A., & Szu, H. H. (2014, June). Theory of enhancing thermal imaging through fire. In Independent Component Analyses, Compressive Sampling, Wavelets, Neural Net, Biosystems, and Nanoengineering XII (Vol. 9118, p. 91180A). International Society for Optics and Photonics.

 

    1. Cha, J. H., Abbott, A. L., Szu, H. H., Willey, J., Landa, J., & Krapels, K. A. (2014, June). Neuromorphic implementation of a software-defined camera that can see through fire and smoke in real-time. In Independent Component Analyses, Compressive Sampling, Wavelets, Neural Net, Biosystems, and Nanoengineering XII (Vol. 9118, p. 911809). International Society for Optics and Photonics.

 

    1. Siewert, S. B., Vis, M. D., Claus, R., Krishnamurthy, R., Singh, S. B., Singh, A. K., & Gunasekaran, S. (2017). Image and Information Fusion Experiments with a Software-Defined Multi-Spectral Imaging System for Aviation and Marine Sensor Networks. In AIAA Information Systems-AIAA [email protected] Aerospace (p. 0877).

 

    1. Banner, R., Hubara, I., Hoffer, E., & Soudry, D. (2018). Scalable methods for 8-bit training of neural networks. In Advances in neural information processing systems (pp. 5145-5153).

 

    1. Lin, X., Zhao, C., & Pan, W. (2017). Towards accurate binary convolutional neural network. In Advances in Neural Information Processing Systems (pp. 345-353).

 

    1. Tang, W., Hua, G., & Wang, L. (2017, February). How to train a compact binary neural network with high accuracy?. In AAAI (pp. 2625-2631).

 

    1. He, Y., Zhang, X., & Sun, J. (2017). Channel pruning for accelerating very deep neural networks. In Proceedings of the IEEE International Conference on Computer Vision (pp. 1389-1397).

 

    1. Narayanan, P., Wu, Z., Kwon, H., Wang, Z., & Rao, R. (2019, May). Overview of machine learning (ML) based perception algorithms for unstructured and degraded visual environments. In Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications (Vol. 11006, p. 110061T). International Society for Optics and Photonics.

 

    1. Tsiourva, M., & Papachristos, C. (2020, March). Multi-modal Visual-Thermal Saliency-based Object Detection in Visually-degraded Environments. In 2020 IEEE Aerospace Conference (pp. 1-9). IEEE.

 

    1. Deng, J., Guo, J., Xue, N., & Zafeiriou, S. (2019). Arcface: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4690-4699).

 

    1. Hu, H. N., Cai, Q. Z., Wang, D., Lin, J., Sun, M., Krahenbuhl, P., … & Yu, F. (2019). Joint monocular 3D vehicle detection and tracking. In Proceedings of the IEEE international conference on computer vision (pp. 5390-5399).

 

    1. Ren, W., Liu, S., Ma, L., Xu, Q., Xu, X., Cao, X., … & Yang, M. H. (2019). Low-light image enhancement via a deep hybrid network. IEEE Transactions on Image Processing, 28(9), 4364-4375.

 

    1. Medel, V., Rana, O., Bañares, J. Á., & Arronategui, U. (2016, December). Modelling performance & resource management in kubernetes. In Proceedings of the 9th International Conference on Utility and Cloud Computing (pp. 257-262).

 

    1. Bliedy, D., Mazen, S., & Ezzat, E. (2018). Datacentre Total Cost of Ownership (TCO) Models: A Survey. International Journal of Computer Science, Engineering and Applications (IJCSEA) Vol, 8.

 

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注