optimizer如何在Pytorch中使用

本文章向大家介绍optimizer如何在Pytorch中使用，主要包括optimizer如何在Pytorch中使用的使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

如何使用Optimizer

要想使用optimizer，需要创建一个optimizer 对象，这个对象会保存当前状态，并根据梯度更新参数。

怎样构造Optimizer

要构造一个Optimizer，需要使用一个用来包含所有参数（Tensor形式）的iterable，把相关参数（如learning rate、weight decay等）装进去。

注意，如果想要使用.cuda()方法来将model移到GPU中，一定要确保这一步在构造Optimizer之前。因为调用.cuda()之后，model里面的参数已经不是之前的参数了。

示例代码如下：

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum = 0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

常用参数

last_epoch代表上一次的epoch的值，初始值为-1。

单独指定参数

也可以用一个dict的iterable指定参数。这里的每个dict都必须要params这个key，params包含它所属的参数列表。除此之外的key必须它的Optimizer（如SGD）里面有的参数。

You can still pass options as keyword arguments. They will be used as defaults, in the groups that didn't override them. This is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.

这在针对特定部分进行操作时很有用。比如只希望给指定的几个层单独设置学习率：

optim.SGD([
  {'params': model.base.parameters()},
  {'params': model.classifier.parameters(), 'lr': 0.001}
  ],
  
  lr = 0.01, momentum = 0.9)

在上面这段代码中model.base将会使用默认学习率0.01，而model.classifier的参数蒋欢使用0.001的学习率。

怎样进行单次优化

所有optimizer都实现了step()方法，调用这个方法可以更新参数，这个方法有以下两种使用方法：

optimizer.step()

多数optimizer里都可以这么做，每次用backward()这类的方法计算出了梯度后，就可以调用一次这个方法来更新参数。

示例程序：

for input, target in dataset:
 optimizer.zero_grad()
 ouput = model(input)
 loss = loss_fn(output, target)
 loss.backward()
 optimizer.step()

optimizer.step(closure)

有些优化算法会多次重新计算函数（比如Conjugate Gradient、LBFGS），这样的话你就要使用一个闭包（closure）来支持多次计算model的操作。

这个closure的运行过程是，清除梯度，计算loss，返回loss。

（这个我不太理解，因为这些优化算法不熟悉）

示例程序：

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

优化算法

这里就不完整介绍documentation中的内容了，只介绍基类。具体的算法的参数需要理解它们的原理才能明白，这个改天单独来一篇文章介绍。

Optimizer

 class torch.optim.Optimizer(params, defaults)

这是所有optimizer的基类。

注意，各参数的顺序必须保证每次运行都一致。有些数据结构就不满足这个条件，比如dictionary的iterator和set。

参数

params(iterable)是torch.Tensor或者dict的iterable。这个参数指定了需要更新的Tensor。

defaults(dict)是一个dict，它包含了默认的的优化选项。

方法

add_param_group(param_group)

这个方法的作用是增加一个参数组，在fine tuning一个预训练的网络时有用。

load_state_dict(state_dict)

这个方法的作用是加载optimizer的状态。

state_dict()

获取一个optimizer的状态（一个dict）。

zero_grad()方法用于清空梯度。

step(closure)用于进行单次更新。

Adam

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)

补充：pytorch里面的Optimizer和optimizer.step()用法

当我们想指定每一层的学习率时：

optim.SGD([
          {'params': model.base.parameters()},
          {'params': model.classifier.parameters(), 'lr': 1e-3}
        ], lr=1e-2, momentum=0.9)

这意味着model.base的参数将会使用1e-2的学习率，model.classifier的参数将会使用1e-3的学习率，并且0.9的momentum将会被用于所有的参数。

进行单次优化

所有的optimizer都实现了step()方法，这个方法会更新所有的参数。它能按两种方式来使用：

optimizer.step()

这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后，我们就可以调用这个函数。

例子

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()
optimizer.step(closure)

一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数，因此你需要传入一个闭包去允许它们重新计算你的模型。

这个闭包应当清空梯度，计算损失，然后返回。

例子：

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

到此这篇关于optimizer如何在Pytorch中使用的文章就介绍到这了，更多相关的内容请搜索亿速云以前的文章或继续浏览下面的相关文章希望大家以后多多支持亿速云！