9月12日,工业自动化领域著名期刊《IEEE Transactions on Automation Science and Enginering》(影响因子:6.636)在线刊发了我院余文勇副教授课题组在视觉智能检测领域的新成果,题为“A Feature Memory Rearrangement Network for Visual Inspection of Textured Surface Defects Toward Edge Intelligent Manufacturing”(面向边缘智能制造的纹理表面缺陷视觉检测的特征记忆重排网络)。我院18级本科生姚海明为第一作者,余文勇副教授为通讯作者和学业导师,清华大学精密仪器系王雪教授为共同作者。
面向产物形状多变、外观特征复杂、结构多层交织、表面曲度多样等质检环境,研究基于视觉的工业缺陷智能检测技术,实现强噪声、弱对比、背景多变等复杂条件下的表面缺陷检测,是现代工业产物质量控制的重要需求。但在实际的工业场景中,由于缺陷样本的稀缺性和缺陷类型的多变性,收集和标记足够的缺陷样本是不切实际的,从而限制了有监督的检测方法的性能,弱监督和无监督方法成为该领域的研究热点。
论文创造性设计了一种“自我修复式”的检测方法,仅通过少量正样本来学习正常特征,在检测时自动敲除异常特征,并用正常特征替换,从而重建出无缺陷图像,再通过像素级比对即可实现缺陷的精确定位。该方法通过一种无监督的特征记忆重排网络(贵惭搁-狈别迟)来实现,如图补所示。
图a 无监督的特征记忆重排网络(FMR-Net)
该网络使用编码模块来获取纹理表面的多尺度特征,并建立一种基于对比学习的记忆特征模块(颁惭贵惭),用于增强缺陷特征与正常特征的可分辨性,并在潜在空间中构建一个正常特征记忆库,使异常特征在推理时可被其敲除替换。进一步的设计一种全局特征重排模块(骋贵搁惭),在跳跃连接路径上抑制异常特征的重建。最终使用解码模块将修复后的特征重构为无缺陷的纹理背景。为了提升缺陷定位精度,该网络还结合一种多模式残差融合方法来抑制噪声。论文通过大量公开数据集和自有实验验证了方法的有效性,并通过多级检测方法测试了其在边缘制造场景中的实际部署,证明该方法具有业内先进的检测精度,在支持边缘计算的智能制造业中具有较大的应用前景。
同月,课题组在中国自动化领域罢1期刊《自动化学报》上发表了“基于轻量化重构网络的表面缺陷视觉检测”,亦是无监督工业缺陷智能检测方法的延续。姚海明同学作为共同作者,承担了算法的调试和实验数据的生成。
姚海明同学是我院18级测控专业本科生,大二期间就主动进入课题组参与科研工作,经受了严格的学术培训逐步成长起来,并与导师合作发表厂颁滨/贰滨论文四篇,是我校优秀本科生的代表。
上述研究工作得到了国家自然科学基金委(编号. 51775214)的支持。
论文链接: