FastReID: 第一个工业级通用目标重新识别开源库

简介

京东AI研究院最近发布了FastReID，这是一个基于PyTorch的通用目标重新识别（ReID）开源库. 它的发布对促进相关领域的研究发挥了积极作用，并加快了技术产品的应用. FastReID在行人重新识别和车辆重新识别方面取得了出色的评估结果. 在京东内部，该技术已广泛用于实际项目，例如智能公园，智能建筑，智能供应链和离线零售. 在最近发表的论文FastReID: 用于常规实例重新标识的Pytorch工具箱中详细描述了开源库的内容.

在零售场所是“无人超市”，在供应链现场是智能园区，还是在流行情况下戴口罩……在“故意遮挡”的情况下，“面对”的困难识别”将面临不小的挑战，在“合作”模式下其良好的识别率将难以发挥价值.

因此，重新确定总体目标的价值将变得越来越重要. 为了满足通用实例重新标识不断增长的应用需求，JD AI研究院最近发布了基于PyTorch的通用目标重新标识（ReID）开源库FastReID在FastReID中，高度模块化和可扩展的设计使其易于使用. 开发人员实施新的研究思路. 它的发布对促进相关领域的研究发挥了积极作用，同时也加快了技术产品的应用.

在了解什么是FastReID之前，让我们看一下什么是行人重新识别（ReID）.

ReID代表重新标识，这意味着重新标识. 简单的理解是，对于特定目标（可能是行人，车辆，人脸或其他特定对象），可以在候选图像集中进行检索. 或图像中目标的实例级检索.

ReID算法可以通过视频监控系统在交叉摄像机的情况下检索行人，从而大大扩展了摄像机资源的使用深度. ReID可以弥补人脸识别的局限性，提高识别和跟踪特定人员的能力，并大大降低人工成本.

FastReID采用高度模块化的设计，具有更高的灵活性和可伸缩性，可以支持多GPU训练，其可伸缩性设计使其在重构代码的情况下可以快速实施许多研究项目.

考虑到在实际情况中，学术研究与工程模型部署之间通常存在很大的差距，代码对齐问题使学术研究成果难以快速转换为产品. 因此，为了加速学术研究人员和工业工程师的重新识别技术的发展，我们推出了FastReID代码开源库. FastReID具有高度模块化和可扩展的设计方法，使研究人员和工程师更容易嵌入自己设计的模块并快速完成任务. 另外，可管理的系统配置可以使其应用程序更灵活，更容易完成各种任务. FastReID可以提供不同方法之间的公平比较. 这个开源库已经成为京东内部ReID技术研发的核心引擎.

FastReID引用了Detectron2的总体概念和设计理念，已被设计成高度模块化和可扩展的体系结构，使研究人员能够快速实施新思想. 更重要的是，该框架的友好管理系统的“配置”和工程部署功能使工程师可以快速部署它.

FastReID开源库为ReID任务提供了一个完整的工具箱，其中包括模型训练，模型评估，模型部署和其他模块，并在多个任务中实现了性能领先的模型.

1）高度模块化和扩展的设计，方便研究人员将新设计的模块快速插入系统的任何部分，并且可以帮助研究人员和工程师快速尝试新的想法.

2）系统配置受到高度管理，并且可以将模型结构，模型训练，模型评估和模型部署统一配置到YAML文件中. 可以自定义模型结构的骨干网，训练测试和损失函数.

3）丰富的模型评估系统不仅实现了通用的CMC评估指标，而且还增加了多样性指标，包括ROC曲线，样本类内的类间分布曲线，MINP等，可以更好地反映企业的绩效. 该模型并指导模型部署.

4）易于工程部署，提供有效的知识提炼模块以获取准确的轻量级模型，并提供从Pytorch到Caffe以及从PyTorch到TensorRT的工具，只需单击即可访问工程部署模型.

5）提供领先的预训练模型，提供多种任务，包括SOTA模型和用于行人重新识别，遮挡/部分行人重新识别，跨域行人重新识别和车辆行人重新识别的配置.

FastReID模块已在上图中列出，并且训练和推断分别是向上和向下.

■培训阶段包括以下模块:

◇图像预处理（Preprocssing），包含丰富的数据增强方法，包括翻转，随机擦除，自动增强，随机补丁，剪切和其他预处理方法，旨在提高模型的通用性和鲁棒性.

◇骨干网，包括当前的主流骨干网，可以根据需要选择相应的骨干网，同时增加常用的特征表达模块，如非本地和实例批量归一化（IBN）.

◇聚合模块智能云怎么和监控链接，用于将骨干网生成的特征图聚合为全局特征，例如最大池，平均池，GeM池，注意力池等方法.

◇头模块，生成的特征的尺寸通常较大，并且需要缩小特征并将其标准化以进行存储.

◇培训策略. 当前，大多数网络都使用ImageNet的预训练模型. 一些新添加的图层未经过预训练. 在模型训练的早期，将使用Backbone Freeze和Network Warm-up进行模型预训练.

◇损失函数，包括常见的交叉熵损失，三重态损失，弧面损失，圆损失.

■在推理阶段，包含以下模块:

◇测量部分除了支持常用的余弦和欧几里得距离外，还增加了局部匹配方法深度空间重建（DSR）.

◇后度量处理是指对搜索结果的处理，包括K倒数编码和查询扩展（QE）两种重排序方法.

普遍的体重识别是计算机视觉中非常重要的任务. 该技术可用于行人/车辆的重新识别，面部识别，野生动植物保护，产品可追溯性，照片购物，无人超市和其他应用. 其中包括搜索电视连续剧中感兴趣的演员的视频，从监视视频中搜索大型购物中心失散的孩子，从城市监视系统中获取可疑车辆的视频，在电子商务平台上进行图片购物，产品可追溯性的防伪等，即使在生态环境中，在保护领域，用户也可以申请保护野生和濒危动物，例如西伯利亚虎保护.

在新的零售场景中，跨镜像跟踪技术使“人”与“田地”之间的关系数据得以收集和可视化再现. 商家对用户肖像和用户行为的感知更强，因此他们可以做出更准确的业务决策. 同时，它还为用户提供了离线个性化服务和精确营销的可能性.

在行人重新识别任务中的三个主要数据集Market1501，DukeMTMC和MSMT17中，与当前发表的论文相比，FastReID已达到所有评估指标的领先水平. 同时，它显示了不同模块对整个系统性能的影响.

表1: 三个主要上的FastReID结果

表2: 在DukeMTMC上使用不同模块的FastReID的比较结果

由于跨域ReID的不同场景之间收集的图像的差异智能云怎么和监控链接，这成为一项非常具有挑战性的任务. FastReID使用混合标签传输技术将伪标签预测和特征学习集成到端到端网络中，并使用混合存储库技术，因此跨域ReID也达到了目前的领先性能.

表3: FastReID跨域结果，M: Market1501，D: DukeMTMC，MS: MSMT17. BOT是技巧包，FastReID的无监督性能接近有监督学习

遮挡/部分人物重新识别（遮挡/部分人物重新识别），在候选图像中检索部分遮挡或部分不完整的图像. FastReID使用前景感知显着性特征学习技术来解决密集场景中的严重遮挡问题.

FastReID在PartialREID，PartialiLID和OccludedReID方面也达到了领先水平.

表4: FastReID在遮挡/部分行人识别中的性能

FastReID使用自适应注意力模型融合人的头和肩膀，以解决在昏暗的条件下以黑色或穿着类似衣服的行人的重新识别问题. 它可以解决在许多实际场景中衣服无法区分行人的情况.

FastReID不仅在行人ReID方面取得领先，而且在车辆ReID，VeRei，VehicleID和VERI-Wild中也达到领先水平.

表5: FastReID在VeRi，VehicleID和VERI-Wild上的性能

FastReID在各种任务中的评估结果非常醒目. 目前，这个SOTA级别的ReID方法收集工具箱（SOTA ReID方法和工具箱）已经在学术界和工业界得到了实现.

在JD.com中，开源库已成为JD内部ReID技术研究和开发的核心引擎. 因此，FastReID不仅是实验室项目，而且是产品级标准的开源库. FastReID具有高度模块化和可扩展的设计方法，使研究人员和工程师更容易嵌入自己设计的模块并快速完成任务. 另外，可管理的系统配置可以使其应用程序更灵活，更容易完成各种任务. FastReID可以提供不同方法之间的公平比较.

我们真诚地欢迎个人和实验室使用FastReID进行交流和合作，以加速人工智能研究并实现技术突破.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-282883-1.html