温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何解析基于Pytorch的动态卷积复现

发布时间:2021-12-04 18:33:49 来源:亿速云 阅读:159 作者:柒染 栏目:大数据

今天就跟大家聊聊有关如何解析基于Pytorch的动态卷积复现,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。


简单回顾

这里主要是改进传统卷积,让每层的卷积参数在推理的时候也是随着输入可变的,而不是传统卷积中对任何输入都是固定不变的参数。

如何解析基于Pytorch的动态卷积复现  
推理的时候:红色框住的参数是固定的,黄色框住的参数是随着输入的数据不断变化的。

对于卷积过程中生成的一个特征图 如何解析基于Pytorch的动态卷积复现 ,先对特征图做几次运算,生成 如何解析基于Pytorch的动态卷积复现 个和为 如何解析基于Pytorch的动态卷积复现 的参数 如何解析基于Pytorch的动态卷积复现 ,然后对 如何解析基于Pytorch的动态卷积复现 个卷积核参数进行线性求和,这样推理的时候卷积核是随着输入的变化而变化的。(可以看看其他的讲解文章,本文主要理解怎么写代码)

下面是attention代码的简易版本,输出的是[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ]大小的加权参数。 如何解析基于Pytorch的动态卷积复现 对应着要被求和的卷积核数量。

class attention2d(nn.Module):
   def __init__(self, in_planes, K,):
       super(attention2d, self).__init__()
       self.avgpool = nn.AdaptiveAvgPool2d(1)
       self.fc1 = nn.Conv2d(in_planes, K, 1,)
       self.fc2 = nn.Conv2d(K, K, 1,)

   def forward(self, x):
       x = self.avgpool(x)
       x = self.fc1(x)
       x = F.relu(x)
       x = self.fc2(x).view(x.size(0), -1)
       return F.softmax(x, 1)

下面是文章中 如何解析基于Pytorch的动态卷积复现 个卷积核求和的公式。

如何解析基于Pytorch的动态卷积复现

其中 如何解析基于Pytorch的动态卷积复现 是输入, 如何解析基于Pytorch的动态卷积复现 是输出;可以看到 如何解析基于Pytorch的动态卷积复现 进行了两次运算,一次用于求注意力的参数(用于生成动态的卷积核),一次用于被卷积。

但是,写代码的时候如果直接将 如何解析基于Pytorch的动态卷积复现 个卷积核求和,会出现问题。接下来我们先回顾一下Pytorch里面的卷积参数,然后描述一下可能会出现的问题,再讲解如何通过分组卷积去解决问题。

Pytorch卷积的实现

我会从维度的视角回顾一下Pytorch里面的卷积的实现(大家也可以手写一下,几个重点:输入维度、输出维度、正常卷积核参数维度、分组卷积维度、动态卷积维度、attention模块输出维度)。

输入:输入数据维度大小为[如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ]。

输出:输出维度为[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ]。

卷积核:正常卷积核参数维度为[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ]。(在Pytorch中,2d卷积核参数应该是固定这种维度的)

这里我们可以注意到,正常卷积核参数的维度是不存在 如何解析基于Pytorch的动态卷积复现 的。因为对于正常的卷积来说,不同的输入数据,使用的是相同的卷积核,卷积核的数量与一次前向运算所输入的 如何解析基于Pytorch的动态卷积复现 大小无关(相同层的卷积核参数只需要一份)。

可能会出现的问题

这里描述一下实现动态卷积代码的过程中可能因为 如何解析基于Pytorch的动态卷积复现 大于1而出现的问题。

对于图中attention模块最后softmax输出的 如何解析基于Pytorch的动态卷积复现 个数,他们的维度为[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],可以直接.view成[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],紧接着 如何解析基于Pytorch的动态卷积复现 作用于 如何解析基于Pytorch的动态卷积复现 卷积核参数上(形成动态卷积)。

问题所在:正常卷积,一次输入多个数据,他们的卷积核参数是一样的,所以只需要一份网络参数即可;但是对于动态卷积而言,每个输入数据用的都是不同的卷积核,所以需要 如何解析基于Pytorch的动态卷积复现 份网络参数,不符合Pytorch里面的卷积参数格式,会出错。

看下维度运算[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ]*[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],生成的动态卷积核是[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],不符合Pytorch里面的规定,不能直接参与运算(大家可以按照这个思路写个代码看看,体会一下,光看可能感觉不出来问题),最简单的解决办法就是 如何解析基于Pytorch的动态卷积复现 等于1,不会出现错误,但是慢啊!!!

总之, 如何解析基于Pytorch的动态卷积复现 大于1会导致中间卷积核参数不符合规定。

分组卷积以及如何通过分组卷积实现 如何解析基于Pytorch的动态卷积复现 大于1的动态卷积

一句话描述分组卷积:对于多通道的输入,将他们分成几部分各自进行卷积,结果concate。

组卷积过程用废话描述:对于输入的数据[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],假设 如何解析基于Pytorch的动态卷积复现 为 如何解析基于Pytorch的动态卷积复现 ,那么分组卷积就是将他分为两个 如何解析基于Pytorch的动态卷积复现 为 如何解析基于Pytorch的动态卷积复现 的数据(也可以用其他方法分),那么维度就是[ 如何解析基于Pytorch的动态卷积复现 , 5x2 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],换个维度换下视角,[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],那么 如何解析基于Pytorch的动态卷积复现 为2的组卷积可以看成 如何解析基于Pytorch的动态卷积复现 的正常卷积。(如果还是有点不了解分组卷积,可以阅读其他文章仔细了解一下。)

巧妙的转换:上面将 如何解析基于Pytorch的动态卷积复现 翻倍即可将分组卷积转化成正常卷积,那么反向思考一下,将 如何解析基于Pytorch的动态卷积复现 变为1,是不是可以将正常卷积变成分组卷积?

我们将 如何解析基于Pytorch的动态卷积复现 大小看成分组卷积中 如何解析基于Pytorch的动态卷积复现 的数量,令 如何解析基于Pytorch的动态卷积复现 所在维度直接变为 如何解析基于Pytorch的动态卷积复现 !!!直接将输入数据从[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ]变成[1, 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],就可以用分组卷积解决问题了!!!

详细描述实现过程:将输入数据的维度看成[1, 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ](分组卷积的节奏);卷积权重参数初始化为[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],attention模块生成的维度为[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],直接进行正常的矩阵乘法[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ]*[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 *如何解析基于Pytorch的动态卷积复现 * 如何解析基于Pytorch的动态卷积复现 * 如何解析基于Pytorch的动态卷积复现 ]生成动态卷积的参数,生成的动态卷积权重维度为[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],将其看成分组卷积的权重[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ](过程中包含reshape)。这样的处理就完成了,输入数据[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],动态卷积核[ 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 , 如何解析基于Pytorch的动态卷积复现 ],直接是 如何解析基于Pytorch的动态卷积复现 的分组卷积,问题解决。

具体代码如下:

class Dynamic_conv2d(nn.Module):
   def __init__(self, in_planes, out_planes, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, K=4,):
       super(Dynamic_conv2d, self).__init__()
       assert in_planes%groups==0
       self.in_planes = in_planes
       self.out_planes = out_planes
       self.kernel_size = kernel_size
       self.stride = stride
       self.padding = padding
       self.dilation = dilation
       self.groups = groups
       self.bias = bias
       self.K = K
       self.attention = attention2d(in_planes, K, )

       self.weight = nn.Parameter(torch.Tensor(K, out_planes, in_planes//groups, kernel_size, kernel_size), requires_grad=True)
       if bias:
           self.bias = nn.Parameter(torch.Tensor(K, out_planes))
       else:
           self.bias = None


   def forward(self, x):#将batch视作维度变量,进行组卷积,因为组卷积的权重是不同的,动态卷积的权重也是不同的
       softmax_attention = self.attention(x)
       batch_size, in_planes, height, width = x.size()
       x = x.view(1, -1, height, width)# 变化成一个维度进行组卷积
       weight = self.weight.view(self.K, -1)

       # 动态卷积的权重的生成, 生成的是batch_size个卷积参数(每个参数不同)
       aggregate_weight = torch.mm(softmax_attention, weight).view(-1, self.in_planes, self.kernel_size, self.kernel_size)
       if self.bias is not None:
           aggregate_bias = torch.mm(softmax_attention, self.bias).view(-1)
           output = F.conv2d(x, weight=aggregate_weight, bias=aggregate_bias, stride=self.stride, padding=self.padding,
                             dilation=self.dilation, groups=self.groups*batch_size)
       else:
           output = F.conv2d(x, weight=aggregate_weight, bias=None, stride=self.stride, padding=self.padding,
                             dilation=self.dilation, groups=self.groups * batch_size)

       output = output.view(batch_size, self.out_planes, output.size(-2), output.size(-1))
       return output

看完上述内容,你们对如何解析基于Pytorch的动态卷积复现有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注亿速云行业资讯频道,感谢大家的支持。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI