智能开发工具库

发现AI开发利器,提升研发效率

← 返回 行业动态

PyTorch 2.5正式发布:编译加速与分布式训练增强

PyTorch 2.5将torch.compile设置为默认模式,用户无需手动调用即可获得编译优化。实测在A100上训练ResNet-50,吞吐量从900张/秒提升至1260张/秒,接近TensorFlow的XLA性能。同时优化了动态形状支持,减少编译时重建开销。

分布式训练方面,FSDPv2重新设计了分片策略,通过逐层分片降低通信量,在8卡场景下加速比达到7.6倍。新增torch.distributed.checkpoint接口,支持断点续训时保存和恢复优化器状态。

Apple M4支持:MPS后端已支持大多数算子,训练速度比M3提升约30%。对于Mac用户,可使用mps作为设备选项,无需NVIDIA GPU。

升级注意事项:torch.compile可能对某些自定义算子不兼容,需检查报错日志。建议在测试环境验证后升级。若使用旧版第三方库,需确认其支持PyTorch 2.5。模型保存格式向后兼容,但加载后建议重新编译。

长远来看,PyTorch团队计划在2.6版本中引入动态图与静态图统一运行时,进一步降低用户心智负担。