[模型库] Jittor新版本推出JRender可微渲染库、支持Vision Transformer

计图又发布新版本了!12月8日Jittor发布1.2.2版本,推出了JRender 可微渲染库,并支持Vision Transformer。 从今年3月20日份发布以来,计图已经有若干个版本的迭代, 下图是Jittor更新历程。

让我们抢先看一看,Jittor包含哪些新功能和新特性吧。

JRender 可微渲染库

继10月10日发布实例分割模型库和3D点云模型库之后,计图正式发布Jittor的可微渲染库。目前支持obj加载和保存, 三角网格模型渲染, 内置2种主流可微渲染器, 支持多种材质渲染, 渲染相比PyTorch提速1.49倍~13.04倍。

现已在Github开源:

欢迎各位同学基于可微渲染库展开视觉与几何相关的研究, 并提出您宝贵的意见!

Vision Transformer

继Transformer在NLP领域取得巨大成功后,Vision Transformer又在视觉分类上取得了最好效果。该工作通过对图片进行patch拆分, 并使用Transformer Encoder进行分类。

Jittor复现了Vision Transformer, 并且训练速度相比较PyTorch提升20%,现在已在Github开源:

Jittor V1.2.2的其他改进

Yolo v3

Yolo v3是非常经典的图像检测网络,Jittor团队对其进行了加速和复现,目前训练速度相比较PyTorch提升11%。继上一次发布计图检测库以后,yolo v3的加入将进一步增强Jittor框架的图像处理功能。开源网址见:

https://github.com/li-xl/yolov3.jittor

MobileNet系列推理训练速度全面提升

Jittor团队通过优化算子,实现了MobileNet训练和推理速度的全面提升,在不同的batch size和image size下提速可达10%~50%。训练教程将在后续推出。

骨干网络速度全面提升

Jittor团队进一步优化元算子,实现了骨干网络训练推理速度的全面提升。

计图强化学习算法

强化学习是现在热门的研究领域,Jittor提供了两种强化学习算法,目前已经上线在jittor-online-first github仓库:

Advantage Actor Critic (a2c)

Twin Delayed Deep Deterministic Policy Gradients (TD3)

开源网址见:

如何更新

使用如下命令,一键就可更新Jittor到最新版本: python3.7 -m pip install jittor

以上是本次更新抢先看的内容。在接下来几天,我们会不断为大家带来相关教程和更新详细解读,敬请期待,下面是我们的Jittor开发者交流群,欢迎您的加入,期待您提出宝贵的意见。