语义分割是计算机视觉中的基础任务之一。如图1所示,其目标是从像素的角度来理解图片,对原图中的每个像素都进行类别标注。语义分割是众多算法如人脸解析、视频语义分割等算法的基础。同时,语义分割在无人驾驶、智能编辑、智能农业、虚拟现实等方面有着广泛的应用。
继5月30日发布GAN模型库之后,计图平台进一步发布语义分割模型库,加强对视觉任务的支持。目前,Jittor已经支持了目前主流的语义分割算法。其中包含了三种经典的 Backbone ,以及六种常见的分割模型,具体如表1所示。
我们对上面所提到的模型在 PASCAL VOC 数据集上做了完整的训练以及对val set 进行了single scale 的测试,得到的测试结果如表2所示。
我们在 TITAN RTX 上面对 Jittor 和 PyTorch 的实现进行了速度的对比,实验结果表明,Jittor 在上述所有模型上的训练速度均优于 Pytorch,最快速度提升达44%,具体结果如表3所示。
目前,计图平台的语义分割库已经开源。开源链接为 :
欢迎大家使用Jittor的语义分割模型库开展自己的研究工作。如果大家发现模型库有什么问题,或者有自己实现的语义分割模型想要发布,请大家在github提交issue或者pr。