深度学习在工业领域的痛难点问题及前沿技术探索

 

一、深度学习在工业领域落地的痛点

 

人工智能自诞生以来,经历了早期的专家系统、机器学习,到当前持续火热的深度学习和大模型等多次技术变革和规模化商用。随着算力、算法和软件平台的快速进步和不断成熟,工业逐渐成为了深度学习技术的重点探索方向,工业AI智能技术应用而生。

基于深度学习的工业缺陷检测方法可以降低传统人工质检的成本,提升检测的准确性与效率,因而在智能制造中扮演重要角色。传统的机器学习和深度学习技术都依赖大量的标注数据,并在监督下训练出表现优异以及具备一定泛化能力的模型。但随着感知环境和应用场景的变化,模型的训练会存在以下问题:

(1)缺陷样本匮乏,生产过程中缺陷数据的数量和种类较少,数据不均衡,无法穷举生产过程中缺陷的种类和形态。

(2)数据的标注和清洗周期长,需要耗费大量的人力和物力。

(3)训练好的模型性能会大幅度下降,重新训练周期成本高。

(4)多模态数据的跨域学习和特征级数据融合。

上述问题都成为工业AI落地的障碍,如何解决数据标注效率、跨域学习、以及数据管理等问题,训练更具泛化性、鲁棒性和场景适应性的模型成为学术界和工业界面临的共同课题。

二、前沿技术探索和进展

对于一些传统方法无法有效解决的场景,如微小缺陷和瑕疵的检测、非结构化环境下的物体分拣等,可以归类为“少因素高复杂度”的问题,是深度学习发挥重要作用的领域,目前也是工业AI落地应用较多的场景,而随着场景机理的计算复杂度提升,深度学习可以发挥更大的作用。为了提升深度学习在工业领域的落地效率,降低项目实施和部署的周期,华汉伟业主要从以下几个方面进行技术探索和实践:

(1)缺陷数据生成:利用人工智能技术自动完成缺陷仿真数据的生成,基于AIGC技术建立现实世界到数字世界的映射关系,将现实世界中工件的物理属性(如物体的大小、纹理、颜色等)高效、可感知的实现数字化,可以基于少量样本实现多种属性样本的生成,从而解决缺陷样本匮乏的问题。

(2)数据管理:生产过程中,有多条产线、多个工位的数据需要进行管理,需要人工进行数据的管控,缺乏数据的管理系统,方便后续的继承和持续训练。华汉伟业通过数字化技术,实现多工位、多场景的数据系统化管控,降低人为因素对数据管控的影响。

(3)数据标注:当前监督学习仍为工业AI落地的技术方向,为了提升标注效率,降低标注的时间消耗,华汉伟业从交互式标注入手,提升标注效率,并且提供了多种选择,如基于二值化的标注、基于特征分割的标注、基于大模型的标注,满足多样化的标注需求。

(4)多模态数据融合:工业生产过产中,很多缺陷无法从某一特定角度或者单一传感器全部拍摄出来,需要多角度光源照射、多传感器协同拍摄,实现多种瑕疵缺陷的可视化。为了提升多角度、多姿态图像特征级别的融合,提升缺陷检测准确率,华汉伟业从多模态特征融合、基于图像数据流的特征融合等多方面进行技术探索,提升模型的泛化性能。

(5)降低样本数据依赖性:为了降低训练过程中对于样本的依赖,提升模型在不同产线和不同场景的适应能力,华汉伟业从小样本学习、迁移学习和异常检测,降低对缺陷样本数量的要求。

三、产品和解决方案

华汉伟业研发的人工智能检测系统iSense,实现在新能源、3C电子制造、汽车电子等领域的落地实践。系统涵盖图像采集、数据管理和结果输出等功能,整体软件架构如图1所示。

 

 

图1iSense软件架构

 

针对工业制造场景的特殊属性,沉淀了高精度算法模型,可满足行业普遍的算法需求。iSense 提供了丰富产品功能,如旋转目标检测、对比学习、异常检测、多图像分割等特色化解决方案,助力检测模型快速迭代。

 

 

图 2iSense产品功能特性

iSense AI视觉检测平台主打“1个iSense平台+N种模态+适配X应用场景”的亮点特质;打造N种模态,涵盖:2D+AI、2.5+AI、3D+AI、2D+2.5D+3D+AI……等N种模态组合。

  该系统针对底层算法全新升级,深度客制化成像系统实时把控,从环境、设备、产品端全流程细节调整,一键跨区域迁移学习,节省训练时间,多种数据增强功能,满足不同场景数据及迁移应用能力。

 

 

图 3 iSense产品亮点

iSense具备持续学习、带噪学习、自动样本生成等优势,提升工业AI落地的效率。

图4 iSense产品核心技术优势

  除了降本增效外,iSense视觉检测更高维的价值在于打通生产各环节的数据链,帮助制造商企业实现连续化生产过程中缺陷数据的可追溯,软件可对数据做挖掘、处理和分析,实现工艺流程和产品品质的改造升级。

图5 iSense产品E2E快速部署

iSense产品界面,如图6所示。

 

图6 iSense系统产品界面

  四、iSense行业应用案例

随着深度学习技术的飞跃,AI快速解决问题和兼容产品快速换型方面的优势逐渐凸显,AI视觉质检作为制造细分领域中相对刚需、成熟的场景成为厂商优先考虑、资本高度青睐的行业。

iSense 针对于工业检测行业的遇到的痛点难点等问题,以“多模态+强迁移+快速部署”三大关键点,实现技术性突破,满足企业所需。

以密封钉焊接检测为例,密封钉焊接缺陷形态丰富,难以界定其形态边缘;检测区移动频繁,缺陷位置具有随机性;部分小缺陷混杂于焊灰或清洗圈中等,对机器视觉检测提出了不小的挑战。

iSense基于光度立体技术的核心逻辑,将2D图像的纹理信息与3D图像的形貌信息进行异源数据融合,结合深度学习技术,完成表面焊接质量检测。检测效果达到扫描速度50mm/s,漏杀率为0% ,过杀率<1%,很好地解决了上述焊接检测痛点。

而同理在顶盖焊检测中,用异源融合深度学习对R角位置进行分类判定,传统算法+深度学习(二次判定),可解决焊道鱼鳞纹噪声起焊点成像极易导致传统算法误检,能检测0.1mm的,过杀<0.5%,漏检0%。

在方壳电芯膜后缺陷检测案例中,更是采用了2D+2.5D+3D+AI综合应用,采用多角度成像+AI的检测方案,使得具有高反光蓝膜在不同角度光源中总能在某种打光中清晰成像,无过曝或欠曝,保证缺陷的准确识别。

 

 

图7 iSense多种成像技术

深度学习检测方法在探究发展的过程中,一方面,需要不断扎根实际应用场景,牢牢抓住了开发者和企业智能化升级的需求,降低人工智能技术的应用门槛;另一方面,还需要与更多制造业厂商深度适配并融合,形成了软硬协同优势。

可以看到,华汉伟业iSense AI检测软件以快速场景自适应能力、多场景的应用开发能力以及产线快速落地能力,不断拓宽技术创新边界,将有效助力智能工厂、无人工厂在制造行业的大规模落地。