当前位置: 华文世界 > 科技

SegAD:复杂工业图像的有监督异常检测网络和数据集(CVPR2024)

2024-08-30科技

论文题目

Supervised Anomaly Detection for Complex Industrial Images

1、简介

工业生产线的自动化视觉检测对于提高各行业的产品质量至关重要,异常检测(AD)方法是实现这一目的的强大工具。然而,现有的公共数据集主要由没有异常的图像组成,限制了AD方法在生产环境中的实际应用。为了应对这一挑战提出了(1)Valeo异常数据集(VAD),这是一个新的现实世界的工业数据集,包含5000张图像,包括2000个实例,这些实例跨越20多个子类,具有挑战性的真实缺陷,考虑到传统的AD方法难以处理该数据集,引入(2)基于分割的异常检测器(SegAD),SegAD利用异常映射和分段映射来计算本地统计信息,SegAD使用这些统计数据和一个可选的监督分类器分数作为增强随机森林(BRF)分类器的输入特征,生成最终的异常分数。SegAD在VAD (+2.1% AUROC)和VisA数据集(+0.4% AUROC)上都达到了最先进的性能。

贡献如下:

提出了一个具有复杂对象和大量缺陷的监督异常检测数据集,建立了一个比目前大多数异常检测基准更具挑战性的单类异常检测基准,一个具有大量用于训练的坏图像(1000张)的监督基准和一个具有少量用于训练的坏图像(100张)的监督基准。

创建了一种新的监督异常检测方法,称为SegAD,这种方法在保留检测未知缺陷的能力的同时,明显优于最近单独的异常检测器,SegAD在VAD和已建立的VisA数据集上都达到了SOTA结果。

2、背景

1)现有异常检测数据集,MVTec AD主要由纹理和简单缺陷组成的数据集相比,该数据集通过提供真实缺陷和逼真物体的图像,显著提高了异常检测方法。MVTec LOCO AD强调了逻辑缺陷的挑战,例如缺失或错位的部件,需要能够捕获图像全局上下文的异常检测方法。VisA数据集在此基础上进行了扩展,将具有复杂结构、多个实例和规模变化的不同对象纳入其中。

现有数据集存在的问题:

现有数据集往往包含模拟缺陷,造成研究与实际应用之间的领域差距,这使得在现实环境中部署异常检测方法变得复杂。另一个问题是数据集的饱和,基本已经很难提高。

本文思路:

为了促进监督异常检测,提出了Valeo异常数据集(VAD),具有各种缺陷(包括逻辑缺陷)的真实工业数据集。数据集引入了更广泛的具有挑战性和多样性的异常,以及良好图像的高类内变异性。

2)异常检测方法,异常检测有无监督和有监督方法,无监督只使用正常图像训练,预测图像中的异常,有监督方法使用异常图像和正常图像一起训练

无监督异常检测,PatchCore依靠预训练的特征提取器模型从训练集中提取特征到记忆库中,并使用coreset子采样减小记忆库的大小,从新输入中提取的特征与记忆库中最近的特征进行比较。FastFlow使用类似的特征提取器模型,并使用归一化流将提取的特征映射到高斯分布。RD4AD采用师生架构,将多层特征提取器的特征结合在一起,消除冗余的特征。EfficientAD引入了许多创新,包括使用自动编码器来检测逻辑缺陷,作为经典师生架构的补充,以及他们自己的预训练特征提取器,它以明显更少的推理时间模仿更大模型的行为。

有监督异常检测,理论上,利用缺陷部分进行训练有利于细化类边界,异常的小尺寸和不可能收集所有潜在的缺陷,最近的几种异常检测方法既使用好的图像,也使用坏的图像,但其中一些对看到的缺陷过拟合,而另一些则需要对缺陷进行像素掩模来计算损失或生成新的缺陷,这在现实世界中可能会出现问题。

3、Valeo异常数据集(VAD)

VAD由一个类组成,具有预定义的训练集和测试集,训练集包含1000张坏图像和2000张好图像,测试集包含1000张坏图像,其中165张是看不见的坏图像,1000张好图像。测试数据集中看不见的坏图像指的是几种罕见的缺陷类型,这些缺陷类型在训练数据中不存在,其中的几个示例如图4所示,拥有这样的图像对于避免将异常检测问题转化为监督分类问题非常重要。由于拍摄的方式,有些图像可能在底部有一个薄的黑色边框,如图2所示。缺陷可能出现在图像的整个区域。虽然提供了图像级别的注释,但是由于缺陷的复杂性以及缺少或放错位置的组件没有确切的位置,因此没有像素级别的注释。

4、异常检测器(SegAD)

SegAD,我们的方法利用从一个或多个异常检测器的分段输出中提取的异常图,在这些地图上计算更高层次的统计特征,如偏度、峰度或平均值,以生成局部异常特征。SegAD提供了将监督分类器分数的输出与局部异常特征结合使用的灵活性,为最终生成最终分数的增强随机森林(boosting Random Forest, BRF)分类器创建输入。

SegAD推理由管道中连续的三个阶段组成,首先是异常图计算和可选的监督分类器评分计算,接下来是计算单个区段上异常映射的简单统计数据。最后,将获得的统计数据以及分类器得分作为BRF分类器的输入特征,以提供最终结果。

5、实验

1)无监督方法在数据集(VAD)上检测结果

1)有监督方法在数据集(VAD)上检测结果

3)无监督和有监督方法在VisA 数据集上的检测结果