温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

SpineNet有什么特点

发布时间:2021-12-27 14:24:51 来源:亿速云 阅读:185 作者:iii 栏目:大数据

本篇内容介绍了“SpineNet有什么特点”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

由于编码器部分的解码器结构的分辨率不断降低,分类问题得到了很好的解决。然而,这种架构不能有效地生成用于目标检测(同时识别和定位)所需的强多尺度特征。

SpineNet和之前的主干网络有什么不同?

一个特征的存在可能需要高分辨率来检测,而它的确切位置不需要以同样高的精度来确定。

尺度递减的主干的缺点

  • 主干网模型通常是指编码器-解码器架构(即编码器)内的缩小尺度的网络。

  • 由于编码器的任务是从输入中计算特征表示,一个缩小的主干将不能容纳空间信息。

  • 随着层次的加深,特征会变得更加抽象,更少的局部化,这使得解码器很难找到确切需要的特征。

提出的新方法

为了克服局部化中多尺度特征获取和检索的困难,引入了具有跨尺度连接的scale-permuted模型,并进行了以下改进:

  1. 特征图的尺度可以灵活的增加和减少,可以在体系结构中的任何时间通过permuting block的方式增加或减少,而不是以前的严格减少的模式。这将支持空间信息的维护。

  2. 特征图的连接允许跨特征尺度进行,以便从多个尺度进行特征融合。

SpineNet有什么特点

方法和结构

神经网络搜索 (NAS)

  • 采用NAS的方法来选择SpineNet的架构。

  • NAS使用强化学习控制器。它提出了各种各样的架构,并将这些架构送到他们接受充分训练的环境中。

  • 输出准确度将作为一种奖励,选择架构的决定将依赖于它。

SpineNet有什么特点

图3:重采样操作

评估来自ResNet的SpineNet结构

  • scale-permuted模型是对ResNet结构中的block进行permuting形成的。

  • 为了比较全尺度缩减的网络和scale-permuted网络,生成了许多中间模型,这些模型逐渐将架构转换为scale-permuted的形式。

SpineNet有什么特点

图5:通过重复block来增加模型深度。从左到右:SpineNet-49,SpineNet-49,SpineNet-143中的block。

结果对比

针对目标检测和图像分类任务进行了实验,以证明该架构的通用性。

目标检测

将ResNet-FPN骨干模型替换掉,使用RetinaNet检测器来完成目标检测任务。模型在COCO test-dev数据集上进行评估,并在train2017上进行训练。

  • 下面的结果(图6)显示了SpineNet模型在很大程度上优于其他流行的检测器。SpineNet-190获得最高的52.1%的AP。通常,SpineNet架构需要更少的FLOPs和更少的参数,这使得模型的计算成本更低。

SpineNet有什么特点

图7:R50-FPN和scale-permuted模型在COCO val2017上的结果对比

  • 与ResNet-FPN和NAS-FPN骨干相比,采用SpineNet骨干的RetinaNet模型获得了更高的AP评分,且FLOPs显著减少(图8)。

SpineNet有什么特点

图9:在ImageNet和iNaturalist上的图像分类结果

以上结果表明,SpineNet不仅能够更好地进行目标检测,而且对于图像分类等其他视觉学习任务也具有足够的通用性。

Scale-Permutation和Cross-Scale Connections的重要性

我们在编解码器网络中选择了FishHourglass 两种常见的结构形式,并与R0-SP53模型进行了比较。所有模型中的交叉连接都是使用NAS学习的。

Scale-Permutation

  • 由此得出的结论是,联合学习scale-permutations和cross-scale connections (R0-SP53)优于只学习固定架构/固定块顺序(Hourglass 和Fish)上的connections。

  • 在提出的模型R0-SP53中,AP得分较高**(40.7%)**。

SpineNet有什么特点

图11:学到的cross-scale connections的重要性

“SpineNet有什么特点”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI