PyTorch 2.0 发布也有一段时间了，大家是不是已经开始用了呢？ PyTorch 2.0 通过引入 torch.compile，可以显着提高训练和推理速度。 与 eagerly 模式相反，编译 API 将模型转换为中间计算图（FX graph），然后以某种方式将其编译为低级计算内核，这样可以提高运行速度。

【导读】新的一年，PyTorch也迎来了重大更新，PyTorch 2.2集成了FlashAttention-2和AOTInductor等新特性，计算性能翻倍。 新的一年，PyTorch也迎来了重大更新！ 继去年十月份的PyTorch大会发布了2.1版本之后，全世界各地的521位开发者贡献了3628个提交，由此形成了最新的 ...