由于小目标具有较小的尺寸和低分辨率,它们往往更加难以检测和定位:

1.首先小目标本身分辨率低,图像模糊,携带的信息少。由此所导致特征表达能力弱,也就是在提取特征的过程中,能提取到的特征非常少,这不利于我们对小目标的检测。

2.另外通常网络为了减少计算量,都使用到了下采样,而下采样过多,会导致小目标的信息在最后的特征图上只有几个像素(甚至更少),信息损失较多。

小目标检测的难点

  • 可利用特征少
  • 现有数据集中小目标占比少
  • 小目标聚集问题

为了提高模型在小物体上的性能,可使用以下技术:

数据增强、优化预测过程、利用FPN融合信息、调整anchor参数、设定小目标检测阈值、选择恰当的损失函数以及给予小目标更高权重。

  • 数据增强,例如mosaic mixup 

a.YOLO 中的 Mosaic 增强,其由多张原始图像拼接而成,这样每张图像会有更大概率包含小目标。

b.通过 Copy-Paste 的办法将各类小目标充分的“复制-黏贴”,从而增加小目标的“曝光度”,提升他们被检测的概率。具体实现思路就是,先将所有小目标抠出来备用。然后在图像上复制这些小目标,要求两两之间重合率不能达到一个阈值并且复制的位置不能超出图像边界。

c.对于包含小目标的图像,在不改变目标位置的情况下,可以通过随机裁剪的方式得到多个不同的图像样本,以增加数据的多样性。此外,可以使用非矩形的裁剪方式,例如多边形裁剪,来更好地适应小目标的不规则形状。

d.对于小目标而言,其尺寸往往较小,因此可以通过对原始图像进行缩放或放大的操作来增加数据样本的尺度变化。例如,可以将原始图像缩小一定比例,从而得到多个尺寸较小的图像样本。

  • FPN融合不同尺度信息

a.由于小目标的尺寸较小,其特征信息往往分布在图像的多个尺度中,因此需要在多个尺度的特征图中进行融合,以提高模型对小目标的感知能力。常见的多尺度特征融合方法包括Feature Pyramid Networks, FPNPath Aggregation Network, PAN等。

b.将不同层级的特征图进行融合,可以帮助模型更好地捕捉不同层级的特征信息。众所周知,浅层特征图的细节信息丰富但语义信息较弱,深层特征图则与之相反。因此,在小目标检测中,可以将低层级的特征图和高层级的特征图进行融合,以增强对小目标的定位能力。

  • 设置更小scale、ratio的anchor

更密集的Anchor采样和匹配策略:如前面的数据增强部分所述,将一个小目标复制到图片中的多个位置,可以增加小目标匹配的anchor数量,增加小目标的训练权重,减少网络对大目标的偏置。同样,在逆向思维中,如果数据集已经确定,我们也可以增加负责小目标的anchor的设置策略,使训练过程中对小目标的学习更加充分。

  • 后处理中对于小目标设定较小的阈值

  • loss上面可以给小目标更高的权重

自行定义小目标检测的尺寸,由于我们有 GT,因此在计算 Loss 的时候可以人为地对小目标施加更大的权重,让网络更加关注这部分。

  • 提高图像捕获分辨率

图像分辨率,一张图像如果分辨率太小,假设我们就下采样32倍,理论上小于这个像素的目标信息基本就会完全丢失。因此,当处理小目标检测时,由于目标物体尺寸过小,通常需要将输入图像的分辨率提高,以便更好地捕捉目标的细节。通过提升输入图像分辨率,可以提高小目标检测的准确性和召回率,从而更好地识别和跟踪目标物体。

  • 提高模型的输入分辨率

  • 通过扩充生成更多数据

  • 大图切分处理

Tiling是一种对大图进行切分的有效预处理操。通过tile可以有效地让目标检测网络更好的聚焦在小物体上,同时允许我们保持所需的小输入分辨率,以便能够运行快速推断。不过需要注意的是,在推理时也理应保持输入的一致性。

  • 注意力机制

注意力机制是一种能够将模型的注意力集中到重要区域的技术,可以通过对特征图进行加权处理,将更多的注意力集中到小目标所在的区域,从而提高对小目标的检测能力。

在深度学习模型,尤其是卷积神经网络(CNNs)中,对输入数据进行切片处理(即切图处理)对于小目标检测的改进主要基于以下几个原因:

  1. 增加目标的相对大小:对于小目标,其在原始图像中的像素占比很小,这可能导致特征提取器难以捕捉到足够的细节。通过将图像切片,可以使得小目标在切片图像中的相对大小增加,从而更容易被模型检测到。

  2. 减少背景干扰:切片处理可以减少每个输入图像中的背景信息,使得模型更加专注于目标本身。这对于小目标尤其重要,因为它们往往被大量的背景信息所包围,这些背景信息可能会干扰模型的判断。

  3. 提高模型的局部感知能力:通过切片,模型可以更好地关注图像的局部区域,这对于检测小目标非常有益。局部感知能力的增强有助于模型更准确地定位和识别小目标。

  4. 增加训练样本的多样性:切片处理可以生成更多的训练样本,从而增加模型的泛化能力。不同的切片可能会包含相同目标的不同视角或部分,这有助于模型学习到目标的更多特征,提高检测性能。

综上,切片处理可提高小目标检测的性能,使得模型能够更准确、更高效地检测出图像中的小目标。

更多推荐