拓冰网站定制 
论文解析| 莫拉图瓦大学 | 2024年6月原论文链接arXiv:2406.08294数据集链接Maritime Datasets | Datasets homepage一、研究背景与动机海上非法活动——包括走私、非法捕鱼和人口贩卖——对全球安全构成严峻威胁且这些活动大多发生在夜间能见度极低的环境中。传统的基于RGB彩色摄像头的视频监控系统在夜间、恶劣天气及水面反光等条件下性能急剧下降难以胜任实际部署需求。为此来自斯里兰卡莫拉图瓦大学的研究团队提出了一套基于热成像红外的海上监控系统能够在上述恶劣条件下稳定工作。该系统集成了目标跟踪、船舶重识别和可疑活动检测三大核心功能。二、系统架构三大核心子系统整套系统由三个并行运行的子系统构成共同处理来自FLIR M232海用热成像摄像头的视频流。2.1 目标跟踪子系统研究团队将原本针对RGB域设计的TraDeS 算法Wu et al., 2021移植至热成像域。TraDeS 的核心优势在于将检测与跟踪联合优化CVA模块代价体积关联生成目标嵌入向量推断目标运动。MFW模块运动引导特征扭曲利用历史跟踪信息增强当前帧的特征提升遮挡场景下的跟踪稳定性。适配策略将单通道热成像复制为三通道输入分两阶段训练——先在COCO数据集的灰度化版本上预训练再在新加坡海事数据集SMD和自建数据集上微调。跟踪性能在热成像域达到61.2% MOTA接近RGB域原始性能63.5%实现了15 fps的实时处理速度。2.2 船舶重识别子系统这是本文最具创新性的部分。船舶重识别的核心难点在于热成像图像缺乏颜色信息且同一船舶从不同视角拍摄时外观差异极大。研究团队提出了一套视角无关的重识别算法分为以下步骤步骤一前景分割采用带残差连接的编码器-解码器网络提取船舶前景掩码。由于热成像中前景与背景的强度分布相近传统的GrabCut等算法效果较差该自训练模型基于300张标注图像进行训练。步骤二特征提取使用预训练的DINOv2 ViT视觉Transformer提取前景特征并通过四条并行线性层将特征映射至四个潜在空间全局空间Global正面空间Front侧面空间Side后方空间Rear步骤三视角加权距离计算通过计算各视角掩码面积与总前景面积的比值面积比AR动态加权各视角空间的L2距离$$\text{Distance}_{\text{total}} \{\text{Distance}_{\text{global}} \text{Distance}_{\text{front}} \cdot AR_{\text{front}} \text{Distance}_{\text{side}} \cdot AR_{\text{side}} \text{Distance}_{\text{rear}} \cdot AR_{\text{rear}}\} / 2$$步骤四损失函数联合使用ArcFace 身份分类损失和三元组损失Triplet Loss进行训练增强类间距离、缩小类内距离。2.3 可疑活动检测子系统研究团队将YOWO算法Köpüklü et al., 2019从RGB域迁移至热成像域用于检测两类可疑行为游泳潜在人口走私迹象和人口贩卖相关活动。YOWO采用双流架构2D CNN提取关键帧的空间信息3D CNN提取视频片段的时空信息通过通道融合与注意力模块进行综合分类微调参数IoU阈值设为0.6片段长度为16帧输入帧率从1 fps提升至5 fps。三、实验结果跟踪性能对比数据集域MOTA↑IDF1↑FPS↑MOT17RGB63.5%67.7%30MOT17灰度58.8%64.6%30SMD近红外59.5%65.2%30自建数据集红外61.2%65.4%30重识别性能对比数据集域SPAN Top1本文 Top1SPAN mAP本文 mAPVehicleIDRGB78.22%78.40%56.10%73.62%VeRi776RGB94.0%91.67%68.9%80.26%VesselID-539RGB82.43%82.60%58.10%75.44%自建数据集红外78.37%81.82%55.88%74.26%本文方法在所有数据集上的mAP平均提升约26.7%在热成像域的Top1准确率提升约4.5%。活动检测性能数据集域帧mAP视频mAPJHMDB-21RGB75.7%85.9%UCF101-24RGB87.3%78.6%自建数据集红外72.4%78.9%四、数据集与重要资源自建热成像海事数据集首个公开热成像海事基准数据集数据集主页Maritime Datasets | Datasets homepage拍摄设备FLIR M232 海用热成像摄像头包含内容40艘小型船舶 32艘大型船舶的多视角图像带COCO格式标注的视频船舶、船只、喷气式水上摩托车、人类四类目标游泳和疑似人口走私活动的标注视频片段相关论文与代码资源资源链接本论文arXivarxiv.org/abs/2406.08294TraDeS跟踪算法github.com/JialianW/TraDeSYOWO活动检测github.com/wei-tim/YOWODINOv2特征提取github.com/facebookresearch/dinov2ArcFace损失函数github.com/deepinsight/insightface新加坡海事数据集SMDgithub.com/tilemmpon/Singapore-Maritime-Dataset五、结论与展望主要贡献总结本文的核心贡献在于证明了热成像视觉监控可以有效替代RGB域监控在夜间和恶劣天气条件下仍能保持较高性能。具体而言首创热成像域的海上船舶重识别算法通过分视角特征比对解决了视角变化带来的识别困难。首建公开热成像海事数据集填补了该领域的数据空白。成功将TraDeS和YOWO两大算法迁移至热成像域性能损失极小。现有局限性当前集成系统运行速度仅约2 fps各子系统独立运行时分别为30 fps和5 fps实时性有待提升。重识别数据集规模较小仅72艘船舶泛化能力有限。活动类别仅两类实际场景中的可疑行为种类更为多样。未来研究方向开发定制化硬件加速方案提升系统整体帧率。利用并行计算优化各子系统的协同效率。扩充数据集规模增加更多船舶类别与可疑活动类型。探索跨模态可见光热成像融合方法以进一步提升准确率。本文是对论文 Vessel Re-identification and Activity Detection in Thermal Domain for Maritime SurveillancearXiv:2406.08294的中文解析原文作者为莫拉图瓦大学的 Ginige、Gunasekara、Hewavitharana、Ariyarathne、Rodrigo 和 Jayasekara。 热成像海上监控：船舶重识别与可疑活动检测
论文解析| 莫拉图瓦大学 | 2024年6月原论文链接arXiv:2406.08294数据集链接Maritime Datasets | Datasets homepage一、研究背景与动机海上非法活动——包括走私、非法捕鱼和人口贩卖——对全球安全构成严峻威胁且这些活动大多发生在夜间能见度极低的环境中。传统的基于RGB彩色摄像头的视频监控系统在夜间、恶劣天气及水面反光等条件下性能急剧下降难以胜任实际部署需求。为此来自斯里兰卡莫拉图瓦大学的研究团队提出了一套基于热成像红外的海上监控系统能够在上述恶劣条件下稳定工作。该系统集成了目标跟踪、船舶重识别和可疑活动检测三大核心功能。二、系统架构三大核心子系统整套系统由三个并行运行的子系统构成共同处理来自FLIR M232海用热成像摄像头的视频流。2.1 目标跟踪子系统研究团队将原本针对RGB域设计的TraDeS 算法Wu et al., 2021移植至热成像域。TraDeS 的核心优势在于将检测与跟踪联合优化CVA模块代价体积关联生成目标嵌入向量推断目标运动。MFW模块运动引导特征扭曲利用历史跟踪信息增强当前帧的特征提升遮挡场景下的跟踪稳定性。适配策略将单通道热成像复制为三通道输入分两阶段训练——先在COCO数据集的灰度化版本上预训练再在新加坡海事数据集SMD和自建数据集上微调。跟踪性能在热成像域达到61.2% MOTA接近RGB域原始性能63.5%实现了15 fps的实时处理速度。2.2 船舶重识别子系统这是本文最具创新性的部分。船舶重识别的核心难点在于热成像图像缺乏颜色信息且同一船舶从不同视角拍摄时外观差异极大。研究团队提出了一套视角无关的重识别算法分为以下步骤步骤一前景分割采用带残差连接的编码器-解码器网络提取船舶前景掩码。由于热成像中前景与背景的强度分布相近传统的GrabCut等算法效果较差该自训练模型基于300张标注图像进行训练。步骤二特征提取使用预训练的DINOv2 ViT视觉Transformer提取前景特征并通过四条并行线性层将特征映射至四个潜在空间全局空间Global正面空间Front侧面空间Side后方空间Rear步骤三视角加权距离计算通过计算各视角掩码面积与总前景面积的比值面积比AR动态加权各视角空间的L2距离$$\text{Distance}_{\text{total}} \{\text{Distance}_{\text{global}} \text{Distance}_{\text{front}} \cdot AR_{\text{front}} \text{Distance}_{\text{side}} \cdot AR_{\text{side}} \text{Distance}_{\text{rear}} \cdot AR_{\text{rear}}\} / 2$$步骤四损失函数联合使用ArcFace 身份分类损失和三元组损失Triplet Loss进行训练增强类间距离、缩小类内距离。2.3 可疑活动检测子系统研究团队将YOWO算法Köpüklü et al., 2019从RGB域迁移至热成像域用于检测两类可疑行为游泳潜在人口走私迹象和人口贩卖相关活动。YOWO采用双流架构2D CNN提取关键帧的空间信息3D CNN提取视频片段的时空信息通过通道融合与注意力模块进行综合分类微调参数IoU阈值设为0.6片段长度为16帧输入帧率从1 fps提升至5 fps。三、实验结果跟踪性能对比数据集域MOTA↑IDF1↑FPS↑MOT17RGB63.5%67.7%30MOT17灰度58.8%64.6%30SMD近红外59.5%65.2%30自建数据集红外61.2%65.4%30重识别性能对比数据集域SPAN Top1本文 Top1SPAN mAP本文 mAPVehicleIDRGB78.22%78.40%56.10%73.62%VeRi776RGB94.0%91.67%68.9%80.26%VesselID-539RGB82.43%82.60%58.10%75.44%自建数据集红外78.37%81.82%55.88%74.26%本文方法在所有数据集上的mAP平均提升约26.7%在热成像域的Top1准确率提升约4.5%。活动检测性能数据集域帧mAP视频mAPJHMDB-21RGB75.7%85.9%UCF101-24RGB87.3%78.6%自建数据集红外72.4%78.9%四、数据集与重要资源自建热成像海事数据集首个公开热成像海事基准数据集数据集主页Maritime Datasets | Datasets homepage拍摄设备FLIR M232 海用热成像摄像头包含内容40艘小型船舶 32艘大型船舶的多视角图像带COCO格式标注的视频船舶、船只、喷气式水上摩托车、人类四类目标游泳和疑似人口走私活动的标注视频片段相关论文与代码资源资源链接本论文arXivarxiv.org/abs/2406.08294TraDeS跟踪算法github.com/JialianW/TraDeSYOWO活动检测github.com/wei-tim/YOWODINOv2特征提取github.com/facebookresearch/dinov2ArcFace损失函数github.com/deepinsight/insightface新加坡海事数据集SMDgithub.com/tilemmpon/Singapore-Maritime-Dataset五、结论与展望主要贡献总结本文的核心贡献在于证明了热成像视觉监控可以有效替代RGB域监控在夜间和恶劣天气条件下仍能保持较高性能。具体而言首创热成像域的海上船舶重识别算法通过分视角特征比对解决了视角变化带来的识别困难。首建公开热成像海事数据集填补了该领域的数据空白。成功将TraDeS和YOWO两大算法迁移至热成像域性能损失极小。现有局限性当前集成系统运行速度仅约2 fps各子系统独立运行时分别为30 fps和5 fps实时性有待提升。重识别数据集规模较小仅72艘船舶泛化能力有限。活动类别仅两类实际场景中的可疑行为种类更为多样。未来研究方向开发定制化硬件加速方案提升系统整体帧率。利用并行计算优化各子系统的协同效率。扩充数据集规模增加更多船舶类别与可疑活动类型。探索跨模态可见光热成像融合方法以进一步提升准确率。本文是对论文 Vessel Re-identification and Activity Detection in Thermal Domain for Maritime SurveillancearXiv:2406.08294的中文解析原文作者为莫拉图瓦大学的 Ginige、Gunasekara、Hewavitharana、Ariyarathne、Rodrigo 和 Jayasekara。