Press "Enter" to skip to content

基于深度学习和光流的地铁乘客上下车自动检测算法 1.文章信息本次介绍的文章题目是基于深度学习和…

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

1.文章信息

 

本次介绍的文章题目是基于深度学习和光流的地铁乘客上下车自动检测算法《An Automatic Detection Algorithm of Metro Passenger Boarding and AlightingBased on Deep Learning and Optical Flow》,是2021年1月发表在IEEE Transactions on Instrumentation and Measurement上的一篇关于乘客上下车自动检测算法的文章,作者来自大连理工大学。

 

2.摘要

 

城市轨道交通是自动驾驶的重要应用领域之一,这需要一种算法来监控地铁车厢和车站之间的乘客交换。为此,文章首先提出了一种地铁乘客检测算法(文章将其命名为MPD算法),来跟踪乘客上下车。该算法由两个MetroNext和光流算法组成。这两个MetroNext是基于一种新的多尺度注意卷积(MSAC)块,在较小的模型尺寸下快速、准确地检测地铁车厢和乘客的算法。光流算法可以预测乘客的移动方向,从而帮助MPD算法过滤掉不相关的乘客。MPD算法结合乘客的坐标和移动方向,可以判断乘客是在上车还是在下车。基于各种基准数据集和一个新的地铁站数据集,实验结果表明,MSAC块有效地提高了检测精度。与现有的最先进的检测网络相比,这两个MetroNext在行人数据集的时间和存储效率方面取得了很好的成绩。在地铁站数据集上,MPD算法鲁棒地识别目标乘客,即使在嵌入式平台上,其检测速度也具有竞争力,成为地铁站的智能化工具。

 

3.简介

 

随着深度学习领域的进步,自动驾驶汽车技术在过去十年取得了长足的进步。无人驾驶汽车已经部分投放到公共道路上行驶。地铁是一种高容量、高频率的快速城市交通工具。由于大多数场景和地铁线路都是固定的,作者认为可靠性和安全性更高的无人驾驶地铁将比无人驾驶汽车更早投入商业使用。这不可避免地需要一个自动和有效的算法,以确保乘客在地铁和车站之间的平稳移动。此外,现有的地铁门禁系统会频繁地在每个地铁站开启和关闭,进行乘客交换。地铁推拉门的开启和关闭是由传感器(红外线等)或驾驶员手动信号触发的。由于传感器的设计缺陷或者驾驶员的出错,乘客或他们的衣服偶尔会被困在地铁门处,这可能会使这些乘客处于危险之中。一种自动、有效的实时检测地铁和车站之间乘客移动的算法可以缓解上述问题。此外,该算法可以与其他方法相结合进行扩展,发挥多种作用,从而成为地铁车站的智能工具。在机器学习的帮助下,已经提出了一些算法或模型来预测或监控关键“变量”。这促使文章研究采用新兴的机器学习算法设计一种地铁乘客检测(MPD)算法,用于跟踪上下车乘客,简称MPD算法。在MPD算法中,目标对象包括地铁车厢和乘客。与地铁车厢检测相比,快速准确的遮挡乘客检测是一项非常困难的任务,也是MPD算法的关键部分,属于行人检测领域。此外,与其他非深度学习算法相比,基于深度学习(典型的卷积神经网络,CNN)的行人检测器表现出了很好的准确性。仍然需要解决的问题是如何设计一个资源高效的基于CNN的检测器,在低功耗硬件上进行实时行人检测,使这些人工智能解决方案对边缘设备更实用。因此,本文新颖地将多层特征采样、多尺度特征提取和注意机制相结合,避免丢失有意义和语义的特征,进而建立体积小、结构紧凑但功能强大的行人检测器,实现对遮挡地铁乘客的准确检测。具体来说,文章首先利用这些策略设计了多尺度注意卷积(MSAC)块。在MSAC模块的帮助下,提出了两个基于CNN的探测器,分别名为MetroNext和Tiny MetroNext,用于部署资源受限的硬件。

 

在准确定位地铁车厢和乘客后,第二个问题是检测上下车乘客。通过对地铁车站的历史录像分析,发现乘客上下车时都是沿水平方向移动,与地铁车厢的距离非常近。MPD算法受此启发,采用光流算法预测乘客的移动方向,同时结合地铁车厢与乘客的相对距离来判断乘客是否上下车。综上所述,MPD算法是基于两个MetroNext和光流算法。

 

文章具体创新点如下:

 

1)首先提出了MSAC块,该块由多分支扩张卷积(MDC)模块、横向卷积(LC)模块和位置感知注意(PA)模块组成,以提高模型对闭塞小尺寸行人(边界框高度50像素及以下)的检测精度。本文在MSAC模块的帮助下,设计了MetroNext和Tiny MetroNext来检测目标物体。MetroNext是一种面向精度的检测器,而Tiny MetroNext则是面向检测速度快、模型尺寸小的方向。

 

2)基于两个MetroNext和光流算法,提出了一种MPD算法。它可以实时计算地铁车厢与乘客之间的相对距离,预测乘客的移动方向,从而确定乘客是否上下车。

 

3)文章进行了大量的实验来充分测试所提出的方法。基准数据集包括PASCAL VOC、Mall、中大Occlusion (CUHK- occ)和Caltech。与这些数据集上现有的最先进的检测网络相比,两个MetroNext在检测速度、准确性和内存消耗方面具有竞争力。建立沈阳地铁人造站(SYM站)数据集,测试MPD算法在跟踪地铁乘客上下车时的检测性能。在ARM嵌入式平台上,MPD算法的推理速度仍然具有竞争力,能够满足地铁早晚高峰时段的实时性要求。

 

4.相关工作

 

行人检测

 

行人检测部分的相关工作列举了基于手工特征的行人检测算法,基于卷积的深度学习行人检测算法和两阶段法、一阶段法几个大类的行人检测算法

 

CNN的优化

 

使深度CNN的内存占用和计算复杂度最小化的算法有参数剪枝与共享、低秩因子分解、CNN架构设计等,其中CNN架构设计是最具影响力和常用的方法。

 

SqueezeNet提出了精细化的两支卷积模块(fire模块),在可接受的精度衰减的情况下,大大降低了网络参数。本文的目标是为嵌入式系统设计尽可能小的检测器,因此采用了SqueezeNet作为MetroNext的骨干网。

 

移动物体检测

 

由于其广泛的应用前景,在过去的几十年里引起了人们的广泛关注。传统的方法包括时域差分、背景相减、光流法等。此外,近年来许多研究人员提出了其他检测运动物体的方法。本文旨在准确、稳健地识别移动乘客的方向。采用广泛应用的Lucas-Kanade方法来估计连续视频帧中的光流和识别移动乘客的方向。

 

5.两个MetroNext和MPD算法

 

MSAC模块的原理和小型骨干网的设计策略

 

骨干特征是基于CNN的检测网络的基础组成部分,直接影响到检测性能。一般研究人员采用非常深的CNN来达到理想的检测精度,但缺点是参数多,推断潜伏期高。本文设计了一个较小的网络作为主干网,并在检测器中插入一个新的MSAC模块,以丰富和加强主干网的特性。MSAC模块结构如下所示:

 

 

MSAC模块由MDC模块、LC模块和PA模块组成。

 

1)MDC模块:上下文信息只能在感受野内捕获。当感受野增大时,更大范围内的图像像素之间的关系将被编码为上下文信息。扩张卷积可以在不增加计算量的情况下扩大卷积层的感受野。通过将池化层与多个不同扩张率的并行扩张卷积层相结合,建立了MDC模块,其优点使网络具有多尺度特征提取能力,提高了对不同大小目标对象的检测精度。下图为MDC模块的接受域,其中H,W,C表示输入特征图的维数:高度,宽度,通道。d代表扩张率。MDC模块中不同层的感受野用不同颜色的点矩形绘制。

 

 

2)LC模块:为了进一步丰富用于目标检测的卷积特征,将来自不同底层的低层特征通过几个LC层合并为高层特征。这些卷积层采用了大的步长对低层特征进行采样,可以带来两个好处:一是避免了由于特征形状较大而带来的额外计算负担;第二,卷积运算可以从底层特征中学习到某些性质,进一步提高模型的表达能力。

 

3)PA模块:行人检测的主要挑战是检测硬样本(小尺寸或严重遮挡的行人)。产生这种现象的原因之一是从检测器学习到的行人特征是不具有偏好性的。本文将PA模块插入到基于CNN的检测器中,使检测器强调包含目标对象的特征,抑制无用的特征。给定一幅包含地铁车厢和乘客的图像,下图给出了地铁车站不同层的特征图。经过MSAC块处理后,特征图具有更强的识别性和信息量,对目标物体的激活性更强

 

 

两个MetroNext

 

基于MSAC模块,文章设计了MetroNext和Tiny MetroNext。MetroNext追求精度和内存/计算资源使用之间的良好平衡。Tiny MetroNext追求尽可能快的检测速度牺牲可接受范围内的精度损失。

 

1)MetroNext:除了将MSAC块插入检测器以提高检测精度外,文章还对骨干网和锚节点进行了优化,以进一步提高性能。本文选择小型CNN-SqueezeNet作为提取目标特征的骨干网络。而且,文章只采用了部分的SqueezeNet层,进一步减少了骨干网的计算量和参数;文章还进行优化anchor的尺寸。为了使预定义的anchor大小更适合数据分布,本文实现了k-means算法,从训练样本中计算出最优anchor。

 

2)Tiny MetroNext:尽管MetroNext具有竞争性的检测性能,但本文仍然试图设计Tiny MetroNext来进一步降低存储消耗和推理速度。Tiny MetroNext具有与MetroNext相同的架构和检测管道,但采用以下设计策略在较小的模型尺寸下保持更好的检测精度。采用简单的MSAC块(MSAC block V2)来代替常规的MSAC块,由于多分支结构降低了推理效率,从而放弃了LC模块以获得更快的检测速度。为了有效提取目标的特征,在ImageNet数据集上对特征网络进行训练。然后将预先训练的网络权值作为Tiny MetroNext的初始参数进行训练。

 

MPD算法

 

MPD算法是基于两个MetroNext和光流算法。获得准确位置后,对于地铁和乘客的信息,使用Lucas-Kanade光流来估计所定位乘客的移动方向。所以MPD算法将地铁和乘客的位置信息与乘客的移动方向相结合,可以识别所定位的乘客是否上下车。

 

6.实验和结果

 

文章使用的详细的硬件和软件是实验平台的信息如下表:

 

 

模型与基线模型FasterRCNN,,SSD,Tiny YOLOV3,FPN,Pelee等相比,可以充分测试所提出的探测器的有效性,模型的对比如下:

 

 

 

下图为Mall和occ数据集行人检测示例。黄色矩形框是ground-truth boxes,红色矩形框是detection boxes,红色框上方的白色文本是预测等级和分数。“GTs”表示ground-truth boxes数量,“Dets”表示detection boxes数量。

 

 

综上,本文提出了一种MPD算法来识别正在上下地铁的乘客,利用地铁车厢和乘客的坐标以及所定位乘客的移动方向来寻找目标乘客。首先设计了一个新的MSAC块来生成信息和语义卷积特征。基于MSAC模块,文章设计了两个快速、迷你而准确的基于cnn的检测器:MetroNext和Tiny MetroNext,与资源受限的ARM嵌入式平台相匹配。这两个MetroNext可以实时提供定位对象的精确坐标。

 

最后,结合两个MetroNext和光流算法,对MPD算法在地铁摄像头视频上进行了验证。实验结果表明,MPD算法的整体性能能够满足地铁嵌入式平台的应用需求,可作为地铁众多相关车载应用的实际解决方案。在未来的工作中,在MPD算法将被赋予一个新函数向平台上的乘客保持安全距离地铁,它将扩展结合地铁乘客的行为检测算法来检测异常行为,从而使MPD算法在地铁站扮演各种角色。

 

Attention

 

如果你和我一样是轨道交通、道路交通、城市规划相关领域的,可以加微信:Dr_JinleiZhang,备注“进群”,加入交通大数据交流群!希望我们共同进步!

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注