- 在Jittor的文档中没有找到对混合精度训练的说明
- 直接网页搜索找到了一个对混合精度训练的说明:
计图开源: 图匹配网络SuperGlue的优化!速度超TensorRT、显存省一半以上 — Jittor
核心是用下面2个命令就能实现混合精度:
# 手工类型转换model.float16()# 自动类型转换with jt.flag_scope(auto_mixed_precision_level=5):...
我的疑问在于:如果只用这上面2个类型转换命令,还需要自己添加梯度缩放的代码吗?
# 手工类型转换model.float16()# 自动类型转换with jt.flag_scope(auto_mixed_precision_level=5):...
我的疑问在于:如果只用这上面2个类型转换命令,还需要自己添加梯度缩放的代码吗?