2020年10月10日,第二届清华大学计图深度学习研讨会成功举办,研讨会上,计图还发布了检测与分割模型库、点云模型库和可微渲染功能。
点云数据的获取与处理是图形学和三维视觉中的重要问题,在测绘、自动驾驶等方面有着广泛的应用。由于其巨大的应用场景,近年来,点云处理引起了相关技术人员的广泛关注,涌现了一批非常出色的工作。图1是点云数据及其分割的示例。
计图框架本次发布的点云模型库包括几种最有影响力的模型:PointNet、PointNet++、PointCNN、DGCNN 和PointConv ,支持分类和分割。
我们在ModelNet40 数据集上面进行了分类实验,实验结果表明,我们在效果上已经达到了论文中的点数,甚至超过论文中的性能(见表1),这是因为Jittor在实现中添加了一些论文中没有使用的数据增强方式。
表1 ModelNet40 数据集上的分类结果
Model | Input | Overall accuracy | Paper Report |
---|---|---|---|
PointNet | 1024 xyz | 89.6 | 89.2 |
PointNet ++ | 4096 xyz normal | 92.3 | 91.9 |
PointCNN | 1024 xyz | 92.6 | 92.5 |
DGCNN | 1024 xyz | 92.9 | 92.9 |
PointConv | 1024 xyz normal | 92.4 | 92.5 |
同时,在训练速度上,Jittor与Pytorch 相比有着明显的提升,其中 PointNet ++、PointCNN和 PointConv 在训练速度上超出 pytorch一倍以上,具体的时间对比见图2。
另外,我们也在ShapeNet 上面进行了分割的实验。在训练速度上,Jittor与Pytorch 相比,也得到了提升,其中PointNet++提升85%。图3是一些点云模型的分割效果。
欢迎在计图官网或GitHub上下载Jittor的点云模型库:
https://cg.cs.tsinghua.edu.cn/jittor/
利用Jittor统一计算图的优势,可以很方便地调整计算图,针对您的研究,优化或设计新模型,开展高水平研究!
使用计图点云库有任何问题,可以在Github上提交issue,或加入如下计图-点云微信群,和计图团队实时交流和讨论。