最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
pytorch多GPU并行运算如何实现 pytorch多GPU并行运算实现示例
时间:2019-09-27 编辑:袖梨 来源:一聚教程网
本篇文章小编给大家分享一下pytorch多GPU并行运算实现示例,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看。
Pytorch多GPU运行
设置可用GPU环境变量。例如,使用0号和1号GPU'
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'
设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中,多GPU运行变得十分方便,先将模型的参数设置并行
if torch.cuda.device_count() > 1: print("Let's use", torch.cuda.device_count(), "GPUs!") model = nn.DataParallel(model)
将模型参数设置使用GPU运行
if torch.cuda.is_available(): model.cuda()
在训练中,需要使用验证集/测试集对目前的准确率进行测试,验证集/测试集的加载也会占用部分显存,所以在训练开始时,不要将所有显存都几乎占满,稍微留一些显存给训练过程中的测试环节
pytorch并行后,假设batchsize设置为64,表示每张并行使用的GPU都使用batchsize=64来计算(单张卡使用时,使用batchsize=64比较合适时,多张卡并行时,batchsize仍为64比较合适,而不是64*并行卡数)。
相关文章
- Golang ProtoBuf的基本语法详解 10-20
- Python识别MySQL中的冗余索引解析 10-20
- Python+Pygame绘制小球代码展示 10-18
- Python中的数据精度问题介绍 10-18
- Python随机值生成的常用方法介绍 10-18
- python3解压缩.gz文件分析 09-27