标签:PyTorch

FID 指标简介与修正 TorchEval FID 计算接口经历分享

极市导读:在这篇文章中,作者分享了关于 FID 计算的知识,以及他在调试 TorchEval 库时的经历。文章总结了使用 pytorch-fid、torch-fidelity 和 TorchEval ...

实践教程|PyTorch与torch-xla的桥接

极市导读:文章从XLATensor开始的溯源、注册PyTorch库实现、从PyTorch调用到torch_xla三个方面来介绍PyTorch与torch-xla的桥接。前言:XLA (Accelerated Line...

新PyTorch API:几行代码实现不同注意力变体,兼具FlashAttention性能和PyTorch灵活性

FlexAttention是一个由PyTorch团队推出的新API,旨在解决注意力机制在机器学习中的实现问题。注意力机制是机器学习中的核心概念,但其实现往往需要针对特定变...

Pytorch 显存管理机制与显存占用分析方法

本文深入分析了PyTorch框架在内存管理方面的技术细节,尤其是CUDA API的集成和优化。作者通过研究PyTorch 2.3.0版本,详细介绍了GPU内存分配机制、内存单位的...

实践教程 | 浅谈 PyTorch 中的 tensor 及使用

摘要:本文由 PyTorch 张量的操作入手,详细讨论了张量的求导机制、设备转换、权重更新等关键技术点。首先,文章解释了 `requires_grad` 的作用,指出在训练...