实践教程 | 浅谈 PyTorch 中的 tensor 及使用

今日应用

cc0图片网

CC0.CN / CC零图片网，可用于商业用途的免费图片素材聚合。CC0.CN上的图片均可用在个人及商业用途的项目中。例如：网站、自媒体等应用配图，广告及宣传册印刷设计等均可免费使用，免除版权困扰...

今日话题

实践教程 | 浅谈 PyTorch 中的 tensor 及使用

 

重点标签 PyTorch、张量操作、神经网络

文章摘要

摘要：
本文由 PyTorch 张量的操作入手，详细讨论了张量的求导机制、设备转换、权重更新等关键技术点。首先，文章解释了 `requires_grad` 的作用，指出在训练网络时，输入数据和 Ground Truth 默认不需要求导，而模型参数默认需要求导。接着，文章通过实例展示了如何使用 `torch.no_grad()` 减少计算和内存消耗。文章还介绍了反向传播和网络更新的流程，包括损失计算、梯度反向传播和权重更新。此外，文章强调了 `tensor.detach()` 的重要性，建议使用 `detach()` 替代 `tensor.data` 以避免求导错误。最后，文章讨论了 CPU 和 GPU 之间的张量转换，以及如何使用 `tensor.item()` 提取单个元素的值。

重点：
– `requires_grad` 用于检查张量是否需要求导。
– `torch.no_grad()` 用于暂时不追踪网络参数中的导数，减少计算和内存消耗。
– 反向传播通过 `loss.backward()` 实现，权重更新通过优化器完成。
– `tensor.detach()` 用于创建一个新的张量，与原张量共享数据但不需要求导。
– `tensor.to(device)` 用于在不同设备间转换张量，简化代码。
– `loss.item()` 用于提取单个元素的值，适用于只包含一个元素的张量。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台