深度学习训练时GPU利用率忽高忽低问题
·
gpu利用率经常在0-99%之间跳动,找了一圈原因,可能是以下几点:
1. 数据预处理:CPU预处理太长,GPU空闲跟不上

解决办法:
可能是读数据或者数据预处理的时间过长,读数据部分可以尝试把全部或者部分数据放在内存,也可以放固态上。
数据预处理部分有些变换是否可以固定,假如是图像数据,有些resize或者padding的操作是否可以离线处理好。
适当调整dataloader读数据的线程数 pin_memory=4/8。
更多推荐
gpu利用率经常在0-99%之间跳动,找了一圈原因,可能是以下几点:
1. 数据预处理:CPU预处理太长,GPU空闲跟不上

解决办法:
可能是读数据或者数据预处理的时间过长,读数据部分可以尝试把全部或者部分数据放在内存,也可以放固态上。
数据预处理部分有些变换是否可以固定,假如是图像数据,有些resize或者padding的操作是否可以离线处理好。
适当调整dataloader读数据的线程数 pin_memory=4/8。
更多推荐
所有评论(0)