支持SAR图像、新增可视化接口，遥感目标检测库JDet再升级

lzhengning · 2021 年11 月 17 日 08:33

支持SAR图像、新增可视化接口，遥感目标检测库JDet再升级

11月17日，清华大学计图 (Jittor) 团队开发的Jittor遥感图像目标检测算法库JDet再次升级。这次JDet的改进，包括以下四个方面：

新增了4个模型：OrientedR-CNN, RoI Transformer, FCOS, SSD；
新增了对SAR(合成孔径雷达)图像的支持；
新增了对SSDD, SSDD+,DOTA1.5, DOTA2.0等数据集支持；
提供了方便多样的可视化接口。

Part 1

背景介绍

遥感图像处理关注目标检测、语义分割和实例分割等不同视觉任务在遥感图像中的应用，在灾害防控、城市规划、环境监测和国土安全等领域有着重要作用(示例见图1)。然而，遥感图像具有物体尺度差异较大、物体分布较密集、图像分辨率高、旋转变化大等特点，因此针对自然图像的通用算法和模型效果往往不佳，需要专用的遥感算法和模型。

图1 遥感图像目标检测示例

遥感图像目标检测任务旨在从遥感图像中检测出所关注物体的旋转包围盒(Oriented Bounding Box, OBB)，并得到所检测出物体的类别。今年8月4日，清华大学计图(Jittor)团队发布了遥感图像目标检测算法库JDet，希望能逐步构建成为一个模型完备，接口统一，运行部署方便，易于学习且性能更高的遥感目标检测算法库，提升研究人员的工作效率，为我国遥感领域的进步做贡献。

此前JDet发布的公众号文章请查看文后的GGC往期回顾。

Part 2

新增模型

本次更新JDet新增了4个模型：OrientedR-CNN, RoI Transformer, FCOS, SSD。目前共支持8个模型，正在支持4个模型，共计划支持19个以上主流及基础模型。

图2 JDet支持的模型

性能对比

我们对其中精度最高的Oriented R-CNN与Pytorch实现的版本(OBBDetection)在NVIDIA3090上进行了对比，其性能相较pytorch有明显提升，可以缩短模型训练所需要的时间。

表1 JDet和OBBDet（PyTorch）的性能对比

Part 3

SAR图像及更多数据集支持

本次更新JDet新增了对合成孔径雷达(Synthetic ApertureRadar, SAR)图像目标检测的支持。

图3 JDet模型在SAR图像舰船检测数据集SSDD+上输出结果示例

此外，JDet还支持了SAR图像目标检测任务的两个主流数据集：SSDD(SAR Ship Detection Dataset)和SSDD+；并新增支持了两个可见光遥感图像目标检测数据集DOTA 1.5和DOTA 2.0。

Part 4

结果可视化绘制

JDet还新增了对模型输出结果的可视化绘制功能，用户可以仅通过一句脚本实现对模型输出的旋转包围盒、分类和分数信息的绘制，还可以方便地选择不同的绘制风格。同时JDet还提供了绘制接口以支持更多个性化的可视化需求。

运行脚本如下：

python tools/run_net.py --config-file=configs/s2anet_r50_fpn_1x_dota.py --task=vis_test

下图是可视化的效果。

图4 JDet模型输出结果可视化示例

更多详细信息请查看JDet github项目中的相关文档。

JDet全部代码已开源在：

欢迎大家使用Jittor的遥感目标检测库JDet开展研究工作。

如果大家在使用过程中发现有什么问题，请大家在github提交issue或者PR；或在计图社区讨论和交流，计图社区的链接是：

https://discuss.jittor.org/；

也可以加入Jittor开发者的QQ交流群，期待您提出宝贵的意见。

640-5

GGC往期回顾

您可通过下方二维码，关注清华大学图形学实验室，了解图形学、Jittor框架、CVMJ期刊和CVM会议的相关资讯。