摘要

本文闡述了人工智能技術(shù)在機器視覺領(lǐng)域的應(yīng)用與發(fā)展過程，講解了其如何影響和改變視覺檢測系統(tǒng)的開發(fā)方式和工作流程，介紹了其在機器視覺豐富場景下的主要應(yīng)用及取得的成就，對其在工業(yè)檢測場景的落地過程中遇到的問題進(jìn)行了總結(jié)饺律，最后，結(jié)合人工智能的發(fā)展和工業(yè)檢測場景下的特點跺株，展望了未來AI在工業(yè)缺陷檢測中亟需解決的一些技術(shù)挑戰(zhàn)與探索方向复濒。

作者：大恒圖像資深應(yīng)用工程師   李東平
關(guān)鍵詞：人工智能；工業(yè)AI乒省；視覺系統(tǒng)巧颈；
缺陷檢測；無監(jiān)督學(xué)習(xí)

在過去幾年中作儿，人工智能技術(shù)的蓬勃發(fā)展影響和改造了很多行業(yè)洛二，也對機器視覺行業(yè)產(chǎn)生了重大影響。人工智能技術(shù)在圖像識別攻锰、特征提取和分類晾嘶、缺陷檢測等方面具有巨大優(yōu)勢，為工業(yè)缺陷檢測提供了新的解決方案娶吞。有了人工智能的加持垒迂，機器視覺在對智能制造的自動化水平提升過程中能夠發(fā)揮更多的作用。

人工智能技術(shù)首先改變了視覺檢測系統(tǒng)的開發(fā)方式肖糖。傳統(tǒng)的視覺開發(fā)方式笨拯，是以有經(jīng)驗的算法工程師為主，針對每個具體場景睹蜈，分析工件圖像讶粹，根據(jù)主要特征和經(jīng)驗來確定算法思路，調(diào)用專用的圖像處理庫牲课，完成主要的圖像檢測算法贩仇。基于深度學(xué)習(xí)的開發(fā)方式則完全不同女灸，把以有經(jīng)驗的人為中心的開發(fā)方式切役，變成了流程化的操作步驟。前者以人為主但雨，針對每一個場景需要有針對性的分析和設(shè)計蕉妇，對人的要求較高碟堵；后者是統(tǒng)一的流程化操作，不同的應(yīng)用場景腹忽，操作流程和步驟都是一樣的来累，這就大大降低了對人員的要求，降低了視覺開發(fā)的門檻留凭，提高了視覺系統(tǒng)的開發(fā)效率佃扼，使其能夠覆蓋更多的場景和應(yīng)用偎巢。

基于人工智能的視覺系統(tǒng)開發(fā)流程

主要包括以下步驟：

01 采集圖像

好的成像質(zhì)量蔼夜，是視覺檢測系統(tǒng)成功的前提，這條傳統(tǒng)算法的要求压昼，在今天的人工智能時代仍然適用求冷。如何利用相機、光源及合理的打光方式窍霞，采集到高成像質(zhì)量的圖像匠题，使被檢測對象對人眼清晰可見，這仍是我們首先要重視和保證的但金，這是機器視覺部件的核心目標(biāo)韭山，也是光學(xué)系統(tǒng)的基礎(chǔ)，這些經(jīng)驗知識冷溃，今天仍然重要腻危。

02 標(biāo)注

標(biāo)注是人工智能新增的要求，傳統(tǒng)算法沒有它碰素。目前的人工智能在工業(yè)場景上的應(yīng)用雇法，主要還是基于遷移學(xué)習(xí)，預(yù)訓(xùn)練模型需要針對碎片化媒邀、細(xì)分的工業(yè)應(yīng)用場景做適配嗜吉，那么就要求用戶告訴AI你要檢測的目標(biāo)是什么，這是通過標(biāo)注來完成的滴推。你的標(biāo)注熄自，就是AI的學(xué)習(xí)目標(biāo)。因此仪从，標(biāo)注質(zhì)量會嚴(yán)重的影響AI學(xué)習(xí)和檢測的效果专菠。標(biāo)注的越準(zhǔn)確，在學(xué)習(xí)充分的情況下橘忿，才有可能得到類似的檢測結(jié)果药封。好的標(biāo)注數(shù)據(jù)集，是AI視覺檢測系統(tǒng)成功的前提侯选。

03 訓(xùn)練

訓(xùn)練是深度卷積網(wǎng)絡(luò)對標(biāo)注數(shù)據(jù)集進(jìn)行學(xué)習(xí)吠谢，自主提取樣本圖像中的多種維度特征信息土童，綜合得到圖像的內(nèi)在規(guī)律和多層次表示，以獲取分析預(yù)測能力工坊，然后對驗證集數(shù)據(jù)做出預(yù)測献汗，根據(jù)預(yù)測偏差反饋修正卷積網(wǎng)絡(luò)的參數(shù)和特征權(quán)重，以使預(yù)測結(jié)果不斷逼近標(biāo)注信息（這也是為什么標(biāo)注質(zhì)量嚴(yán)重影響檢測質(zhì)量的原因）王污，從而實現(xiàn)檢測任務(wù)罢吃。精度和誤差是訓(xùn)練過程中的兩個重要指標(biāo)，視覺檢測系統(tǒng)中的兩個關(guān)鍵指標(biāo)：誤檢率和漏檢率昭齐，和它們息息相關(guān)尿招。

訓(xùn)練停止后，可得到模型在驗證集上的驗證結(jié)果阱驾，如誤檢率和漏檢率等就谜。若指標(biāo)尚未達(dá)到檢測指標(biāo)要求，則需分析可能影響檢測精度的因素里覆，比如：數(shù)據(jù)標(biāo)注質(zhì)量（是否標(biāo)全丧荐、標(biāo)對、標(biāo)準(zhǔn)確）哮瓦，樣本數(shù)量是否足夠圣辩、是否均衡，訓(xùn)練集與測試集數(shù)據(jù)分布是否一致岛盗，訓(xùn)練迭代次數(shù)匆罗，深度學(xué)習(xí)訓(xùn)練超參設(shè)置以及模型選擇等，可在修正這些因素之后牺鱼，更新訓(xùn)練以得到更好的結(jié)果樊何；若指標(biāo)符合檢測需求，則可進(jìn)入下一環(huán)節(jié)跪晕。

訓(xùn)練結(jié)束后秀彤，也可進(jìn)一步在測試集上測試模型的表現(xiàn)，便于快速評估技術(shù)可行性啄崖。這也是基于人工智能檢測算法的優(yōu)勢之一笙吠，對于常見的檢測任務(wù)，通過標(biāo)準(zhǔn)化的流程垄暗，可以在短時間內(nèi)（幾小時~幾天）完成技術(shù)可行性評估轴座。

04 部署

把訓(xùn)練好的模型部署到現(xiàn)場進(jìn)行在線檢測，目前基于AI的檢測速度已經(jīng)和傳統(tǒng)算法檢測速度相當(dāng)简烘，如果同時處理多個相機的數(shù)據(jù)或多幅圖像苔严，利用GPU的并行計算和網(wǎng)絡(luò)模型的批量推理，檢測速度可能更快。

上線之后届氢，隨著檢測的進(jìn)行欠窒，會得到各類別大量的圖像。在線檢測過程中若出現(xiàn)誤檢退子、漏檢情況岖妄，或者出現(xiàn)新的類別的曲線，可利用積攢的數(shù)據(jù)集對現(xiàn)有模型進(jìn)行更新訓(xùn)練寂祥，提高檢測精度荐虐。視覺系統(tǒng)長期運行后，隨著震動丸凭、灰塵福扬、光源老化等因素會導(dǎo)致成像質(zhì)量發(fā)生降低，進(jìn)而影響檢測精度贮乳，利用積攢的大量的數(shù)據(jù)集對現(xiàn)有模型進(jìn)行更新訓(xùn)練忧换，甚至?xí)岣邫z測系統(tǒng)的精度，讓視覺檢測系統(tǒng)越用越準(zhǔn)饥猴，這也是基于人工智能的視覺檢測系統(tǒng)超越傳統(tǒng)視覺檢測系統(tǒng)的一個特點。

人工智能對視覺系統(tǒng)開發(fā)的影響街粟，不僅體現(xiàn)在流程上屉胳，更重要的是功能和性能。人工智能強大的學(xué)習(xí)能力和綜合歸納能力稍圾，大大拓展和豐富了機器視覺的應(yīng)用場景履剔。

目前，人工智能在機器視覺的主要應(yīng)用有：

01 分類

圖像分類是深度學(xué)習(xí)的典型應(yīng)用钠彬，是人工智能重新崛起的代表應(yīng)用轨来，在某些方面，甚至超過了人類的水平汹改。比如基霞，由于農(nóng)產(chǎn)品個體間存在天然的差異，使得農(nóng)產(chǎn)品的檢測僵禁、分級阎瘩、采摘等應(yīng)用的自動化水平一直不高。人工智能強大的分類能力碰缔，使視覺不僅能用于工業(yè)產(chǎn)品的合格性檢查和分級應(yīng)用中账劲，也已經(jīng)成功應(yīng)用于農(nóng)產(chǎn)品的質(zhì)檢、分級應(yīng)用中金抡。

02 目標(biāo)檢測

目標(biāo)檢測是機器視覺的成熟應(yīng)用瀑焦，在人工智能爆火之前，基于模板匹配的定位技術(shù)已經(jīng)廣泛應(yīng)用梗肝，人工智能基于大數(shù)據(jù)的學(xué)習(xí)能力和強大的參數(shù)調(diào)節(jié)能力榛瓮，使其更能兼容各種變化因素切蟋，如：紋理、材質(zhì)榆芦、顏色柄粹、形狀、位置匆绣、方向驻右、視角、光照崎淳、亮暗境猜、位姿、變形寨衣、涂污胸叠、遮擋、縮放遇托、濃淡债烹、模糊、噪聲笔广、扭曲等闪侨，拓展了目標(biāo)檢測應(yīng)用的范圍。

03 分割

實際應(yīng)用中灿西，往往需要得到缺陷的位置挑明、面積、長寬等參數(shù)善婉，以做后續(xù)處理沪翔。傳統(tǒng)的缺陷分割算法多基于灰度、對比度抄瓦、輪廓潮瓶，提取這些特征需要長時間的參數(shù)調(diào)節(jié)且魯棒性不高，直接的后果就是現(xiàn)場調(diào)試周期過長闺鲸，人工智能可通過更新訓(xùn)練模型減少現(xiàn)場調(diào)試周期筋讨。

04 字符檢測與識別

與目標(biāo)檢測類似，字符檢測與識別也是久已有之摸恍。但深度學(xué)習(xí)使中文字符檢測與識別悉罕、手寫體等非標(biāo)準(zhǔn)字體識別的準(zhǔn)確度提升了不止一個臺階。目前立镶，基于深度學(xué)習(xí)的字符檢測與識別精度已完全超過傳統(tǒng)算法壁袄，成為此類應(yīng)用的首選。

05 無監(jiān)督學(xué)習(xí)

深度學(xué)習(xí)，首先需要有大量的缺陷樣本進(jìn)行學(xué)習(xí)嗜逻。而在工業(yè)制造領(lǐng)域涩僻，隨著生產(chǎn)工藝和自動化生產(chǎn)水平的提升（這里面也有機器視覺的重要貢獻(xiàn)），產(chǎn)品的良率不斷提升栈顷，99.%甚至99.9%逆日，在短時間內(nèi)獲取到足夠的缺陷樣本往往比較困難，尤其當(dāng)存在多種缺陷類別時辐菩。這就給人工智能的落地造成了困難芭贬。基于此处膛，提出了無監(jiān)督學(xué)習(xí)坚呜。與人工檢測類似，人可以通過觀察合格產(chǎn)品后胆抓，就可以檢測缺陷產(chǎn)品闸虹。無監(jiān)督學(xué)習(xí)只學(xué)習(xí)合格產(chǎn)品圖像（這很容易獲得），提取合格產(chǎn)品圖像的內(nèi)在規(guī)律和多層次特征表示辽察；檢測時敌痴，提取檢測圖像的特征，與合格產(chǎn)品的特征進(jìn)行比對校增，不一致的地方就是異常黔攀，由此完成檢測。無監(jiān)督學(xué)習(xí)茁只，既降低了對缺陷樣本的要求，又省去了標(biāo)注工作量缔莲，與此同時哥纫，工業(yè)制品的一致性又非常高，是工業(yè)AI的新興方向之一痴奏。

時至今日蛀骇，人工智能在工業(yè)領(lǐng)域已經(jīng)不是“行不行、能不能落地”的問題读拆，而是已經(jīng)在多個場景下落地實用擅憔，并取得成功。如今面臨的問題是檐晕，針對工業(yè)場景中的應(yīng)用特點暑诸，如何對已有的人工智能算法進(jìn)行改進(jìn)和發(fā)展，使其更好的為工業(yè)缺陷檢測服務(wù)辟灰。經(jīng)過這幾年的應(yīng)用和實踐个榕，人工智能和深度學(xué)習(xí)技術(shù)在工業(yè)缺陷檢測中仍然存在一些技術(shù)挑戰(zhàn)，需要通過不斷地研究和探索來解決。

主要包括以下幾個方面：

01 數(shù)據(jù)采集和標(biāo)注困難

工業(yè)缺陷檢測數(shù)據(jù)的采集和標(biāo)注需要大量的人力和時間西采，而且數(shù)據(jù)質(zhì)量對模型的性能影響很大凰萨。有些缺陷面積小、數(shù)量多眠便、種類雜笤碍，全部標(biāo)全工作量大，不標(biāo)或漏標(biāo)則會影響學(xué)習(xí)效果其便。因此支赖，如何有效地采集和標(biāo)注工業(yè)缺陷檢測數(shù)據(jù)是一個非常關(guān)鍵的問題。

02 訓(xùn)練樣本的不平衡問題

有的工業(yè)制品表面形態(tài)多變母卵，缺陷種類繁多任感，不同種類缺陷的數(shù)量差別很大，導(dǎo)致訓(xùn)練樣本的不平衡慈柑，這會影響模型的分類精度和魯棒性乳吉。除了通過設(shè)置不同類別權(quán)重和數(shù)據(jù)增廣等手段外，通過AIGC人工智能來自動生成缺陷樣本以輔助訓(xùn)練也是一個重要的研究方向菱计。

03 計算量

近年來醋躏，隨著相機硬件的快速發(fā)展，相機的分辨率大幅提升壤生，千萬像素以上的相機應(yīng)用非常普遍擒买，與此同時精密制造水平的提升也對產(chǎn)品品質(zhì)檢測提出了更高的要求，因此工業(yè)應(yīng)用場景普通存在“圖像分辨率大耀里、缺陷比較小”的情況蜈缤，高分辨率圖像帶來的運算量幾何倍數(shù)的增加會導(dǎo)致計算復(fù)雜度非常高，對網(wǎng)絡(luò)學(xué)習(xí)以及訓(xùn)練和推理使用的顯卡性能都提出了挑戰(zhàn)冯挎，進(jìn)而造成了訓(xùn)練效率的降低和成本的增加底哥。因此，如何優(yōu)化算法和提高計算效率也是一個重要的研究方向房官。

04 漏檢率與誤檢率問題

這兩個指標(biāo)是視覺檢測系統(tǒng)的核心指標(biāo)趾徽，對應(yīng)著人工智能算法的召回率和準(zhǔn)確率，而后者在網(wǎng)絡(luò)學(xué)習(xí)過程中是等價存在的翰守，但實際應(yīng)用場景對二者的要求卻不盡相同孵奶。由于圖像數(shù)據(jù)的復(fù)雜性和噪聲的存在，工業(yè)缺陷檢測中仍然存在一定的漏檢和誤檢問題蜡峰。而質(zhì)檢環(huán)節(jié)對漏檢率要求是第一位的了袁，不能讓缺陷產(chǎn)品流通到下一環(huán)節(jié)，造成進(jìn)一步的損失事示；在保證漏檢率達(dá)標(biāo)的條件下早像，再降低誤檢率益侨，甚至可能允許存在一定量的誤檢率。實際場景的特殊要求著平，勢必要求人工智能算法在學(xué)習(xí)指標(biāo)上有所區(qū)分积碍，做出調(diào)整。

05 未知類別問題

人工智能僅能學(xué)習(xí)枝捷、識別訓(xùn)練樣本中存在的類別蚌斑，而在實際檢測過程中，可能會出現(xiàn)新的類別宽藏，如新出現(xiàn)的缺陷慰适，或者混入新的產(chǎn)品或異常情況，對于突發(fā)情況闺撩，人工智能算法只能從原有類別中找出它認(rèn)為最“相近”的一個類別作為答案饺斧，但這種“相近”和人眼所觀測的“相似”可能大相徑庭。因此娩鬼，如果讓人工智能算法“知之為知之读囤，不知為不知“，僅輸出靠譜的結(jié)果佣盒，以保證系統(tǒng)的可靠性挎袜，也是一個需要研究的問題。

06 理解模型的限制

人工智能模型目前仍是黑盒肥惭，模型學(xué)到的知識并不為人所知盯仪，模型做出判斷的依據(jù)我們也不僅所知，而這又直接影響檢測系統(tǒng)的安全性蜜葱、可靠性和穩(wěn)定性全景。如何提高人工智能算法的可解釋性，分析圖像中對結(jié)果影響比較大的區(qū)域牵囤，鑒定其對不同特征的相關(guān)程度蚪燕，增加模型的可視化和透明化，進(jìn)而理解模型的限制奔浅，從而實現(xiàn)更準(zhǔn)確、更穩(wěn)定诗良、更可靠的工業(yè)缺陷檢測成為目前研究者的探索方向汹桦。

07 邊緣計算

在實際場景中使用人工智能算法進(jìn)行缺陷檢測還需要考慮算法依賴的計算資源、設(shè)備成本等問題鉴裹。這對于工業(yè)企業(yè)而言舞骆，也需要考慮成本收益比等實際問題。工業(yè)場景的高生產(chǎn)節(jié)拍窜抽、低延遲相彼、高響應(yīng)的特點決定了最適合使用邊緣計算豺研。如何提高邊緣計算的速度，降低成本是主要核心訴求阔踢。檢測速度要求越高允逝，計算量越大，硬件要求越高蛋昙，成本越高宵绒。這需要具體情況具體分析，如果首要指標(biāo)是檢測速度沧源，那么應(yīng)使用高性能顯卡進(jìn)行并行加速浴恐，可同時推理多張圖片來提速；如首先考慮成本波财，那么可使用CPU進(jìn)行計算总枢，目前人工智能推理已可在CPU上推理并實現(xiàn)加速，同時也可利用多線程進(jìn)行加速退疫；另外渠缕，智能相機也是一個不錯的推理終端選擇。

08 數(shù)據(jù)安全與知識產(chǎn)權(quán)

數(shù)據(jù)隱私和信息安全問題也是目前工業(yè)領(lǐng)域需要面對的挑戰(zhàn)蹄咖，在數(shù)據(jù)獲取和使用過程中褐健，需要保證數(shù)據(jù)的安全性和保密性，并且在使用過程中也要遵守相關(guān)的數(shù)據(jù)隱私保護(hù)法規(guī)澜汤。如何保護(hù)用戶現(xiàn)場的數(shù)據(jù)蚜迅，如何保護(hù)訓(xùn)練出的模型，保護(hù)各方在人工智能方面的投入俊抵，處理好開源和商業(yè)使用以及知識產(chǎn)權(quán)之間的關(guān)系谁不，避免產(chǎn)品走向國際舞臺時可能面臨的糾紛，也值得參與各方認(rèn)真研究徽诲。

09 工業(yè)大模型

人工智能在最近又有爆發(fā)式的突破刹帕，大模型的威力已暫露頭角，在很多領(lǐng)域展現(xiàn)出令人驚艷的表現(xiàn)谎替。碎片化偷溺、細(xì)分的工業(yè)應(yīng)用場景未來會不會被大模型占領(lǐng)，能不能基于大量的工業(yè)場景數(shù)據(jù)訓(xùn)練一個統(tǒng)一的工業(yè)大模型阅权，是一個激動人心的研究方向娱陈。

人工智能技術(shù)在工業(yè)缺陷檢測領(lǐng)域的應(yīng)用前景廣闊，它已經(jīng)改變了機器視覺啸需，未來還將發(fā)揮更大的作用雳誉。期待人工智能技術(shù)在工業(yè)缺陷檢測中的自主學(xué)習(xí)和優(yōu)化能力得到進(jìn)一步的提高，通過不斷地學(xué)習(xí)和適應(yīng)斯智，可以對缺陷進(jìn)行更加準(zhǔn)確的識別和判斷各祠，并根據(jù)實時數(shù)據(jù)和反饋不斷優(yōu)化和調(diào)整算法酌尔，在實踐中不斷提高缺陷檢測的準(zhǔn)確率和效率，實現(xiàn)更加準(zhǔn)確渺纯、高效跺榆、智能的機器視覺和工業(yè)缺陷檢測模式，使人工智能技術(shù)在工業(yè)缺陷檢測中得到更為廣泛的應(yīng)用备饭，使得工業(yè)產(chǎn)品的質(zhì)量得到進(jìn)一步的提升和保障惩投，從而提高工業(yè)生產(chǎn)的效率和成本效益，助力工業(yè)制造行業(yè)更好地服務(wù)社會和經(jīng)濟的發(fā)展幼健。

（機器視覺產(chǎn)業(yè)聯(lián)盟www.china-vision.org）

聲明：本網(wǎng)站所收集的部分公開資料來源于互聯(lián)網(wǎng)兄存，轉(zhuǎn)載的目的在于傳遞更多信息及用于網(wǎng)絡(luò)分享，并不代表本站贊同其觀點和對其真實性負(fù)責(zé)卑雁，也不構(gòu)成任何其他建議募书。本站部分作品是由網(wǎng)友自主投稿和發(fā)布、編輯整理上傳测蹲，對此類作品本站僅提供交流平臺莹捡，不為其版權(quán)負(fù)責(zé)。如果您發(fā)現(xiàn)網(wǎng)站上所用視頻扣甲、圖片篮赢、文字如涉及作品版權(quán)問題，請第一時間告知琉挖，我們將根據(jù)您提供的證明材料確認(rèn)版權(quán)并按國家標(biāo)準(zhǔn)支付稿酬或立即刪除內(nèi)容启泣，以保證您的權(quán)益！聯(lián)系電話：010-58612588 或 Email:editor@mmsonline.com.cn示辈。