PyTorch团队于2025年初发布了2.5版本，本次更新主要聚焦编译器和性能优化。TorchDynamo作为核心组件，在2.5中得到了显著增强。
TorchDynamo通过捕获Python字节码并转换为计算图，实现了自动编译优化。新版支持更多动态控制流模式，减少了图捕获失败的情况。同时，与CUDA图（CUDAGraphs）的集成更加紧密，进一步提升了GPU利用率。
性能基准测试显示，在ResNet-50、BERT等标准模型上，训练速度比2.4版本提升约15%-20%，推理速度提升约10%。对于大模型（如LLaMA），优化效果更为明显，内存占用也有所降低。
torch.compile接口在2.5中新增了mode参数，支持'reduce-overhead'、'max-autotune'等模式，用户可根据任务选择。此外，支持更多后端，包括Intel Extension for PyTorch和AMD ROCm。
其他更新：新增了torch.nn.functional.scaled_dot_product_attention的优化实现，支持FlashAttention变体；torch.distributed增加了对NCCL 2.20的支持，改善了多节点通信效率。
升级注意事项：2.5版本移除了部分废弃API，使用旧版本代码可能需要调整。建议在测试环境中验证兼容性后升级。官方提供了迁移指南。
总体来看，PyTorch 2.5在性能优化上迈出了重要一步，尤其适合训练和部署大规模模型。