比亞迪電池焊后3D+AI視覺檢測
隨著3D相機在工業(yè)AI的普及,深度學習對3D點云和深度圖的分析方法也越來越多樣化。在3D計算機圖形中,Depth Map(深度圖)是包含與視點的場景對象的表面的距離有關(guān)的信息的圖像或圖像通道。其中,Depth Map 類似于灰度圖像,只是它的每個像素值是傳感器距離物體的實際距離。通常RGB圖像和Depth圖像是配準的,因而像素點之間具有一對一的對應關(guān)系,合成的四通道的圖像稱為RGB-D圖像。如下圖:
本文引用地址:http://m.ptau.cn/article/202310/452045.htm在業(yè)內(nèi),不少工作已經(jīng)將CNN引入在RGB-D圖像上的視覺任務上,這些工作中一部分直接采用4-channel的圖像來進行語義分割。我們可以將3D點云做正射糾正,生成對應的深度圖。再將2D圖像做同樣的仿射糾正,合成RGB-D圖像。我們可以壓縮數(shù)據(jù)量,將RGB圖像換成灰度圖,實際數(shù)據(jù)的通道數(shù)就只有兩個。在本項目的深度學習模型中,需要輸入是3通道,就要附加上全為0置的通道,而在Deep Learning的模型上增加通道注意力機制,能減少第三通道的計算。兩通道的圖片,在標注工具里,只有一個通道可見,而三通道圖片帶來額外的好處,在標注工具里是彩色的。
案例優(yōu)勢
深度學習和傳統(tǒng)算法分別都做不到0%漏判的情況下,如果互相結(jié)合,那么還是能夠做到0漏判。舉焊偏的例子,如下圖:
在毛刺不作為缺陷標準的情況下,Mark孔被毛刺遮蓋,用傳統(tǒng)算法就會得到焊偏的誤判。使用深度學習,無論是語意分割還是目標檢測,都能檢出部分Mark孔,達到0漏判。另外,用深度學習語義分割焊跡,效果穩(wěn)定,不受測量距離變動、亮度變化、亮邊的影響,分割精細。抗其它干擾性能也很強,比如抗彩筆的標記干擾能力強,得到的區(qū)域可用于測量焊寬。傳統(tǒng)算法的mIoU只有99%,而深度學習的mIoU達到99.89%。
新生產(chǎn)的產(chǎn)品,深度學習的樣本量少,訓練效果不是最佳,但隨著樣本量增加,增量學習,效果會不斷提高。
在含有高度圖的多通道圖中,額外增加注意力機制必不可少,同時可以增加空間注意力,特征圖融合。下圖是神經(jīng)網(wǎng)絡的改造設(shè)計:
本案例產(chǎn)品界面
評論