一、单机多卡并行

1、单机多卡

 2、数据并行和模型并行

 3、数据并行的流程:读取一个数据块--拿回参数--计算梯度--发出梯度--更新梯度

4、总结

  • 当一个模型能用单卡计算时,通常使用数据并行拓展到多卡上
  • 模型并行则用在超大模型上

二、问题

 听得有点不知所措

更多推荐