带你认识步态识别&行人重识别

    在AI时代，越来越多的生物特征可以被提取出来并进行识别，目前市场应用比较多的有人脸识别、指纹识别、声纹识别等，而门槛相对较高的虹膜识别、掌静脉识别、步态识别技术等技术则在落地应用中难觅踪影。

　　在疫情发生后，应用范围广泛的人脸识别、指纹识别等技术却出现了极大的应用受阻。

　　比如人脸识别技术，只提取人的脸部特征信息，在戴口罩、或者灯光黑暗、拍摄角度不佳、帽子遮挡等情况下，人脸识别技术难以发挥效用。

　　为此，弥补人脸识别技术不足的一些技术也应运而生，比如步态识别技术、行人重识别ReID技术，这两个技术都能在一定程度上弥补人脸识别的不足。

　　步态识别技术和行人重识别ReID技术其实是两个并不相同的技术，但不了解他们的人，很容易将两者混为一谈，接下来我们就从几个方面来剖析了解两者究竟有何不同，以及他们在落地应用的场景中又有哪些优势？

　　两者的概念不同

行人重识别：靠不变的衣服、多摄像头追踪识别人▼

（图片来自电影《碟中谍5》）

　　▎什么是步态识别？

　　它是通过身体体型和行走姿态来分析人的身份，其物理基础是每个人不同的生理结构：身高、头型、腿骨、臂展、肌肉、重心、神经灵敏度等。

　　在日常生活中，如果在远处出现一个你熟悉的身影，即使看不清面部，或者穿了一件你从来没有见过的衣服，但是凭借你对他的熟悉程度，你依然可以认出他的身影。这其实是人类视觉的一个步态识别。

　　步态识别是一种生物特征识别技术，是对于人的全身特征的一个识别，具有远距离、跨视角、非受控的优势。

　　最初，大家了解这个技术源自一部电影《碟中谍5》，在当时看来，很有科幻色彩。随后，科研机构也对此展开了研究，但多年来，这个技术还停留在实验阶段，技术概念多于落地应用。

　　CPS中安网向多家企业了解这个技术的进展和落地应用情况，但意外的是，收到的回复，要么是已经不涉足了，要么是还停留在概念阶段，未有实际的技术突破。

　　（大华步态识别技术图示）

　　唯有大华股份和银河水滴公开表示在步态识别技术领域取得新的突破，其中，大华在2019年深圳安博会上发布的7大“黑科技”中，就有一个与步态识别相关的技术——跨相机跟踪技术：使用目标检测与步态识别技术，实现多个摄像机之间目标物体的视频接力跟踪。

　　但对于这项技术的场景落地应用，大华并没有过多着墨，以致目前在市场上，银河水滴成为唯一一家以步态识别技术为核心技术的人工智能企业，并且已经落地应用。

　　▎什么是行人重识别？

　　行人重识别（Person Re-identification）也称行人再识别，简称为ReID，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。

　　在多摄像设备网络下对行人进行检索，利用步态动作、身体特征等更为全面的信息来识别人物，无论单独使用还是与人脸识别相结合，都能发挥更大的应用价值。

　　特别是当摄像头无法抓拍到清晰的人脸时，行人重识别技术就发挥着非常重要的作用，只需看行人的穿着、体态、发型就“认出”人。

　　ReID也有另外一个名称，叫“跨镜追踪”，可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，从不同摄像机拍摄的图像或视频中找出同一个人物，增强数据的时空连续性。

　　（大华视频结构化服务器以图搜图应用效果）

　　目前，大华、宇视、旷视、商汤、依图、云从、阿里、云天励飞等涉及AI业务的企业几乎都有这项技术，有很强的市场成熟度。

　　两者提取的特征点不同

　　步态识别提取的特征点包含两个方面，一方面是提取静态的内部特征，如身高、头型、腿骨、关节、肌肉等生理结构，这些特征相对比较稳定，在很长一段时间，都不会发生大的变化；

　　第二方面，是提取人的动态特征，比如走路姿态、手臂摆幅、晃头耸肩、运动神经敏感度等，这些动态特征与身体属性密不可分，很长一段时间内也会相对比较稳定。但是，这些动态特征的提取与处理难度也更大。

　　行人重识别依靠行人的整体姿态来做检索，主要提取静态的外部特征，比如穿着、背包、发型、雨伞等，通过分析行人的穿着和体态来识别人。

　　但是，这些静态的外部特征很容易发生改变，比如整体外型发生变化，换了衣服、发型、帽子、鞋子，甚至是伪装姿态、体型等等，那么，行人重识别在此时能发挥的作用就比较有限。

　　算法模型训练不同

　　（银河水滴步态识别技术）

　　银河水滴技术总监张曼博士在CPS中安网的《安防微课》中，对步态识别技术的技术原理和算法训练进行了详细介绍。

　　步态识别技术，首先是用摄像头对人走路的过程进行数据获取，然后进行数据的检测和分割，也就是说将人形区域和背景区域剥离开来。

　　然后把行人在整个行走过程中的每一帧画面进行步态分割，形成整个走路周期，然后再对步态的特征进行提取和表达，最后跟步态数据库中的数据进行比对和识别。

　　行人动态信息较多，每一个环节其实都是一个非常难的问题。比如在数据获取阶段，怎么获取数据，怎么构建步态识别的数据库；在获取到数据后怎么分割前景和背景，怎么让它更精确；在特征表达的阶段，怎么解决跨视角的识别问题等等。

　　银河水滴研发一套大规模的步态识别系统，涵盖软件“步态识别互联系统4.0”和硬件“小规模检索步态识别一体机”、“大规模检索-步态抓拍盒子&阵列”，将海量的视频数据接入到步态识别系统中，利用抓拍盒子、抓拍阵列等硬件的处理，将原始的视频进行固态的结构化处理。

　　现在的一些核心算法，包括超精度的目标分割，能达到的精度已经跟人眼差不多；还有极速的目标检测，以及跨视角的识别精度都已经处在世界首位。

　　除此之外，步态识别技术还需要庞大的贴近实际场景的步态数据库，银河水滴参与和创建公开、自有的步态数据库，目前还与公安系统和司法系统共同推进造库计划，大规模地将嫌疑人的步态数据采集入库。

　　行人重识别ReID方面，依图科技最近在该领域有了新突破，为此，在这里以依图科技的算法水平作为参考进行阐述。

　　在行人重识别技术领域，首位命中率（Rank-1 Accuracy）和平均精度均值（Mean Average Precision，mAP）是业内公认的衡量算法水平的核心指标。

　　在三大ReID公认数据集Market1501、DukeMTMC-ReID、CUHK03上，依图将衡量算法性能的两大关键指标“首位命中率”（Rank-1 Accuracy）及“平均精度均值”（Mean Average Precision，mAP）的六项数据全部提升，刷新世界记录。

　　（依图算法水平的核心指标）

　　首位命中率高，意味着算法能够在众多图像中准确找出最容易识别或者匹配的那张，并不能反应模型的真实能力，尤其是应对复杂场景的表现；

　　而平均精度均值mAP值越高，说明系统的实用性越好，既能查得全也能查得准，能够较好地应对多遮挡、光线暗、画面模糊等情况。

　　因此，评价行人重识别算法性能时需要结合mAP值，它反映的是系统的综合检索性能。

　　依图科技深度优化了ReID算法框架，提升了算法效率，通过结合AutoML等前沿技术，进一步实现了模型参数的自动搜索与迭代，突破了依赖算法研究员手工设计与调优的传统算法开发流程，在降低人力成本的同时，使得算法的泛化性能更强。

　　两者面对的挑战不同

　　（银河水滴步态识别系统）

　　步态识别具有非接触、远距离和不容易伪装的优势；但在落地应用时，步态识别需要随机采样大量的时序步态数据进行模型学习，建步态库，然后根据步态数据提供系统解决方案。

　　在前期建库采集数据的时候，步态识别的正面识别率低，容易受到性别、步长、节奏、速度等的干扰；同时，相机角度、天气条件、遮挡物、附属物、道路崎岖、甚至衣服光照等都会影响准确性；比较难获取年龄、性别等信息，而且非普遍性，如残疾人不适合步态识别技术。

　　那么在落地商用的过程中，大多数监控场景都是比较复杂的，可能存在多个运动物体，行人图像容易受天气、光照等外界因素的影响，而有所变化。

　　以日照条件下运动目标的影子为例，它可能与被检测的目标相连，也可能与目标分离。如果是前者，影子扭曲了目标形状，使基于轮廓的步态识别方法不可靠；如果后者，影子可能被误认为是场景中一个错误的目标。

　　因此，在实际场景下的步态检测面对的挑战不小。

　　银河水滴为了应对这些挑战，推出了一系列产品和解决方案：步态检索智能一体机“水滴神鉴”，步态识别、检索与追踪系统“水滴慧眼”，步态抓拍盒子,步态人脸抓拍机,WATRIXBOX等。

　　通过采取三种不同的模式来建立实战的步态数据库：

　　步态人脸自动建库（武汉模式）：采集对象：有人脸信息的在逃人员/重点人员

　　步态采集系统（上海模式）：采集对象：未来需关注的重点人员

　　未破获案件视频库（重庆模式）：采集对象：无人脸信息的在逃人员/重点人员

　　同时，在解决方案中还融合多种技术，包括ReID、足迹辨别、人脸识别、电子围栏、视频结构化等。

　　这些产品和解决方案，让银河水滴的步态识别技术在派出所、看守所、监狱、公安刑事案件等领域中得到应用，为人脸识别提供较大的补充。

　　（行人重识别存在挑战）

　　行人重识别是需要利用大量单个人体同一时段不同监控下的图像信息进行模型学习。在用于监控场景中相对较短时间内的行人识别，精度较高，算法速度可达到毫秒级别。

　　在真实场景下，ReID算法需要做到在跨时间段、跨场景、跨不同成像质量的图像采集设备下进行高精度的快速识别，而这些摄像机所覆盖的范围彼此并不重叠，导致缺乏连贯的信息。

　　而且在不同画面中，人物的姿态、行为及外观会发生较大变化，不同时间、场景的光照、背景和遮挡物各不相同，背景中还常有体型、衣着相似的其他人物干扰；摄像机的分辨率也有高有低，人物在画面中出现的位置有远有进,这些都对ReID技术提出了极大的挑战。

　　行人的姿态多变导致人脸上广泛使用的对齐技术也在ReID中失效。行人的数据获取难度远远大于人脸识别数据获取难度，而行人的信息复杂程度又远远大于人脸，这两个因素叠加在一起，使得ReID的算法研究变得更加困难，也更加重要。

　　通过算法的有效设计，降低对数据依赖来实现ReID效果的突破是现在业内的共识。这不仅对算法提出更高要求，也需要更高效的芯片提供强大的算力支持，二者缺少任意一个，都会影响行人重识别的实际应用价值。

　　依图在2017年投入云端AI芯片QuestCore™（求索）的研发，并于2019年5月“发布即商用”。QuestCore™是全球首颗云端视觉AI芯片，提供强大算力，单路摄像头功耗不到1W。

　　在行人重识别实战应用中，依图研发人员对算法做了进一步优化, 依托依图自研AI芯片, 在仅凭穿着、体态特征的条件下，已能将行人重识别技术做到2017年~2018年人脸识别的精度。

　　在智慧城市领域，ReID技术能通过轨迹还原功能，快速筛查可疑人员并进一步锁定出行区域，进而做到精准预防和打击。

　　应用到智能园区和智能交通领域，ReID可对于陌生人等可疑人员进行全方位刻画，有效保障园区安全；

　　在人流密集的超市、园区等大型公共场所，ReID能够帮助实现不慎走失的儿童、老人的迅速查找；

　　在地铁站、机场等交通枢纽区域，ReID技术可以配合人脸、局部的动作和姿态进行快速识别，大幅提升人员过检速度。

　　在智能交通领域，ReID有助于在道路、车辆和驾驶员之间建立快速的智能通信联系，形成人、车、道路的完整调动闭环，精准感知交通路口各个方向的车辆数量、流量和密度，为交警决策提供准确依据；

　　在无人驾驶领域，ReID可有效对车辆、行人、障碍物、道路以及交通信号灯和交通标识进行感知，构建真正智能的交通体系，带给人们更加安全、便捷的出行体验。

　　在数据时代，AI技术赋能视频监控后，视频图像可以全面看、自动看、关联看，可以跨系统、跨区域，而且算得快、识得准。

　　无论是人脸识别、虹膜识别、指纹识别和步态识别等生物识别技术，还是图像检索的行人重识别技术，通过计算机视觉或机器学习的方式，发展到如今，都各有所长，彼此互补。

　　步态识别、行人重识别虽然有很多的不同，但它们在人脸识别不能发挥效用的时候，都能起到重要的补充识别作用。

　　而且，这些识别技术在实际落地应用的时候，若要发挥更大的效能，必定是需要彼此融合、彼此学习，不能完全割裂或独立。

　　相信在不久的将来，多种识别技术彼此结合，必定能满足市场更多更丰富的场景应用需求。 

时间:2020-04-20 16:10  来源:    转发量:次