深度学习训练中,不仅要注意显卡内存(Memory-Usage)的使用情况,还要注意GPU利用率(Volatile GPU-Util)问题。

GPU利用率总是0,训练是不合理的,说明数据处理占用了非常多的时间。

具体方案见:深度学习PyTorch,TensorFlow中GPU利用率较低,CPU利用率很低,且模型训练速度很慢的问题总结与分析

更多推荐