基于以太網(wǎng)的嵌入式視覺傳感器
引言
隨著計(jì)算機(jī)科學(xué)和自動(dòng)控制技術(shù)的發(fā)展浮毯,視覺系統(tǒng)被廣泛用于工業(yè)檢測(cè)媚污、生物醫(yī)學(xué)邮弹、軍事偵察等領(lǐng)域黔衡。嵌入式視覺系統(tǒng),是將圖像的采集沸芍、處理與通信功能集成于單一相機(jī)內(nèi)雨冒,從而提供了具有多功能、模塊化累变、高可靠性扛浸、易于實(shí)現(xiàn)的機(jī)器視覺解決方案。同時(shí)囊弥,視覺傳感器需要通過網(wǎng)絡(luò)化設(shè)計(jì)完成控制信息濒陈、圖像數(shù)據(jù)的通信任務(wù),網(wǎng)絡(luò)通信裝置是視覺傳感器的重要組成部分姚库。筆者采用DSP和CPLD作為核心芯片來控制圖像采集處理和傳輸嘶遏,采集的圖像經(jīng)DSP的處理后,可經(jīng)以太網(wǎng)傳輸至微機(jī)進(jìn)一步處理被紊,或與其他視覺系統(tǒng)宰爆、自動(dòng)化檢測(cè)裝置通信,組成分布式監(jiān)測(cè)網(wǎng)絡(luò)丝仿。本系統(tǒng)的設(shè)計(jì)優(yōu)點(diǎn)為:
·使用CMOS為圖像傳感器直接采集數(shù)字圖像蟆豫,采用高速DSP和CPLD作為核心芯片來控制圖像采集和處理,簡(jiǎn)化了電路的復(fù)雜度腰吟,提高了系統(tǒng)的集成度无埃,降低了成本。
在DSP內(nèi)對(duì)采集到的圖像實(shí)現(xiàn)快速圖像的預(yù)處理毛雇,提高了系統(tǒng)的智能化嫉称。
·通過以太網(wǎng)將圖像數(shù)據(jù)傳輸?shù)铰?lián)網(wǎng)計(jì)算機(jī),利于圖像的傳輸灵疮、保存和與其他視覺傳感器通信交換數(shù)據(jù)织阅,組成視覺網(wǎng)絡(luò)。并可與PLC震捣、機(jī)器人和其他自動(dòng)化裝置通信荔棉。
系統(tǒng)設(shè)計(jì)
系統(tǒng)通過DSP給CPLD發(fā)出一個(gè)采集命令,由CPLD控制CMOS圖像傳感器向FIFO寫入圖像數(shù)據(jù)蒿赢,同時(shí)DSP通過DMA將圖像轉(zhuǎn)移至SDRAM中并進(jìn)行圖像處理润樱,在處理結(jié)束后渣触,將處理的結(jié)果通過以太網(wǎng)傳給微機(jī)或其他設(shè)備,對(duì)其I/O接口經(jīng)擴(kuò)展后壹若,可與PLC等執(zhí)行裝置相連玖生,被外部執(zhí)行器觸發(fā),完成圖像的采集處理绰蚁,達(dá)到控制檢測(cè)目的丑钱。
圖像采集過程
圖像采集過程主要通過DSP給CPLD(ALTERA的MAX II系列
EPM240)發(fā)送命令字,包括單幀采集嘁汞、連續(xù)采集等控制命令呕漾。每次采集的圖像時(shí)都先復(fù)位FIFO,防止上一次采集過程出錯(cuò)有數(shù)據(jù)滯留而導(dǎo)致本次采集的圖像出錯(cuò)。CPLD采集程序的仿真波形如圖2所示凰侈,可以看出當(dāng)采集單幀數(shù)據(jù)時(shí)锋力,CPLD通過控制連續(xù)兩個(gè)VSYNC(幀同步信號(hào))間的FIFO(
CYPRESS的CYCY7C4291V)的/WE(寫使能信號(hào))低有效來達(dá)到圖像采集的目的。OV7640每幀圖像的時(shí)間為33ms(30f/s),工作在黑白模式下郎丰,每幅圖像數(shù)據(jù)有300K(640×480),即9.3MByte/s扯蕾,而DSP讀取的速度可以到66.7Mbyte/s,若采用16Bit總線寬度的FIFO珊煌,則可達(dá)到133Mbyte/s锚署。本系統(tǒng)中由CPLD對(duì)圖像的行進(jìn)行計(jì)數(shù),為保證圖像數(shù)據(jù)不溢出FIFO(FIFO為128K字節(jié))刻撒,選取每80行圖像數(shù)據(jù)觸發(fā)一次DMA傳輸(DMA選擇為外觸發(fā)模式)骨田,每幅圖像分成6次傳輸(共480行數(shù)據(jù))。
以太網(wǎng)的圖像傳輸
本系統(tǒng)的以太網(wǎng)設(shè)計(jì)声怔,采用Wiznet公司全功能硬件協(xié)議棧芯片W5100态贤。W5100內(nèi)有16K的發(fā)送/接收緩存,支持TCP醋火、UDP悠汽、ICMP、IPV4
ARP芥驳、IGMP等協(xié)議柿冲,本系統(tǒng)中采用TCP/IP協(xié)議,接收上位機(jī)的命令并執(zhí)行相應(yīng)的圖像采集和處理任務(wù)兆旬。Wiznet公司提供了完整的Socket
API函數(shù)假抄,其工作方式類似于Windows的Socket
API,程序在TI公司的CCS集成開發(fā)環(huán)境下丽猬,非常方便用C語(yǔ)言編寫宿饱。圖3是利用VC編寫的基于異步Socket的系統(tǒng)軟件。在不同的命令代碼下上傳圖像脚祟。如果所示輸入命令1丐吹,可以上傳單幅不加任何圖像處理的灰度圖惊申。
軟件流程
系統(tǒng)初始化后配置網(wǎng)絡(luò)設(shè)置,建立命令Socket性聚,Socket連接成功后處在TCP連接狀態(tài)中滓莱。當(dāng)接收到命令時(shí),通過中斷觸發(fā)使DSP從W5100讀取命令字暴赡,根據(jù)命令字做出相應(yīng)的操作,添加圖像預(yù)處理程序阀洛。然后關(guān)閉命令Socket蒂茶,啟動(dòng)數(shù)據(jù)Socket進(jìn)行數(shù)據(jù)傳輸,發(fā)送處理后的圖像數(shù)據(jù)以便上位機(jī)進(jìn)行更高級(jí)的圖像處理调拳,最終得到用戶想要的結(jié)果和數(shù)據(jù)小梢。
圖像采集和處理程序示例
本系統(tǒng)可以應(yīng)用于視覺系統(tǒng)的多個(gè)領(lǐng)域,通過開發(fā)標(biāo)準(zhǔn)的軟件處理模塊杀肩,如幾何邊緣提取挤奢、Blob、灰度直方圖洞难、OCV/OCR舆吮、簡(jiǎn)單的定位和搜索等,由用戶根據(jù)實(shí)際的測(cè)量需求選擇相應(yīng)的處理模塊队贱,由上位機(jī)編譯成相應(yīng)的固件并下載到系統(tǒng)中色冀,從而實(shí)現(xiàn)特定功能的視覺檢測(cè)。目前系統(tǒng)開發(fā)柱嫌,只能完成特定的幾種功能锋恬,以下以圓盤的直徑檢測(cè)為例,介紹系統(tǒng)的處理效果编丘。
算法的基本思想是:先對(duì)采集的圖像進(jìn)行濾波与学,再用邊緣檢測(cè)算法檢測(cè)出圓的邊緣,最后再利用圓檢測(cè)算法算出圓的外徑和孔徑嘉抓。
檢測(cè)基本過程如下:
標(biāo)定
在能夠進(jìn)行檢測(cè)之前索守,系統(tǒng)必須要標(biāo)定。標(biāo)定決定圖像與物理世界之間的映射關(guān)系抑片。因此蕾盯,把圖像中的每個(gè)點(diǎn)與一定的物理世界坐標(biāo)以及反過來建立一一映射。使用一個(gè)無畸變的理想二維標(biāo)定平面來進(jìn)行標(biāo)定孤批。首先取涕,可以使用一個(gè)標(biāo)準(zhǔn)的網(wǎng)格變換把物理坐標(biāo)變換到目標(biāo)平面;然后使用非線性映射把這些中間坐標(biāo)變換到圖像平面。用于變換運(yùn)算的參數(shù)可以通過對(duì)一個(gè)包含已知位置信息的已知特征標(biāo)定物成像來獲取谒绍。非線性變換是通過在確定的測(cè)量點(diǎn)之間進(jìn)行線性插補(bǔ)來實(shí)現(xiàn)痛恃。
圖像預(yù)處理
由于CMOS傳感器本身的噪聲或系統(tǒng)的擾動(dòng)等其它原因颓腮,原始圖像中會(huì)含有噪聲,所以要先對(duì)原始圖像做低通濾波處理杜糕,可采用3×3模板的低通濾波器谭某,或選擇一些其它的更為復(fù)雜的濾波器,如自適應(yīng)濾波器悉种。
邊緣檢測(cè)
采用牛頓插值法對(duì)圖像實(shí)現(xiàn)高精度的邊緣檢測(cè)接竣,具體計(jì)算步驟如下:
·搜索像邊緣過渡區(qū)計(jì)算向量
根據(jù)像邊緣的位置沿著灰度值對(duì)應(yīng)的行或列從亮區(qū)向暗區(qū)搜索,若相鄰的兩個(gè)點(diǎn)的灰度值下降幅度大于閾值(閾值應(yīng)由實(shí)驗(yàn)確定)函唾,即認(rèn)為該點(diǎn)為像邊緣過渡區(qū)的起始節(jié)點(diǎn)巢季,過渡區(qū)包含有3~4個(gè)節(jié)點(diǎn),把其定義為一維數(shù)組味扼,以像邊緣過渡區(qū)起始節(jié)點(diǎn)為首項(xiàng)沾谓,沿灰度值矩陣的行或列順序存放由亮到暗像邊緣的灰度值。
·使用牛頓插值函數(shù)實(shí)現(xiàn)像邊緣光強(qiáng)函數(shù)軟件解調(diào)設(shè)向量u[m]={u1戳鹅,u2均驶,......un},m=0枫虏,1妇穴,.......n。
在基點(diǎn)m=0處向前5階差分為:
D1u0=u1-u0
D2u0=u2-u1+u0
D3u0=u3-3u2+u1-u0 (1)
D4u0=u4-4u3+6u2-4u1+u0
D5u0=u5-5u4+10u3-10u2+5u1-u0
設(shè)t為[0.5]內(nèi)的連續(xù)變量隶债,則五階牛頓向前插值函數(shù)為:
v(t)=u0+tD1u0+(t-1)D2u0/2+t(t-1)(t-2)D3u0/6+t(t-1)(t-2)(t-3)D4u0/24+t(t-1)(t-2)(t-3)(t-4)D5u0/120
(2)
·確定像邊緣特征點(diǎn)的坐標(biāo)
式(2)給出了表征象邊緣位置的連續(xù)函數(shù)伟骨,對(duì)其求二階導(dǎo)數(shù),即燃异,
d2u/dt2=D2u0+(t-1)D3u0+(12t2-36t+22)D4u0/24+(20t3-120t2+210t-100)D5u0/120
(3)
其零交叉點(diǎn)(d2u/dt2=0)即為特征點(diǎn)携狭。
直徑的計(jì)算
通過圓檢測(cè)算法,計(jì)算出圓的外徑和內(nèi)徑回俐。限于篇幅逛腿,具體算法在此不作詳細(xì)介紹。
在實(shí)驗(yàn)中仅颇,使用的f=35mm的鏡頭单默,采用LED環(huán)形光源從底部同軸照明,圖像分辨率為640×480瘦肥,相面尺寸為3.6mm×2.7mm入荞。系統(tǒng)標(biāo)定在XY方向上每像素為0.0375mm。對(duì)標(biāo)稱外徑為15mm挟伯,內(nèi)徑為9mm的元件做了10次檢測(cè)捌冲,檢測(cè)直徑的平均外徑值為401.6像素即15.06mm,內(nèi)徑為241.3像素即9.049mm。
實(shí)驗(yàn)結(jié)果
我們?cè)O(shè)計(jì)的視覺傳感器樣機(jī)的系統(tǒng)實(shí)物圖麸颜。其由三部分組成低白,分別為主板、電源板和CMOS電路板朴魁。采用抓包程序Ethereal對(duì)數(shù)據(jù)傳輸速度進(jìn)行了測(cè)試酣夫。我們分別對(duì)發(fā)送數(shù)據(jù)量為100kbyte,200kbyte和300kbyte進(jìn)行了測(cè)試牙娇,實(shí)驗(yàn)結(jié)果如表1所示若又,對(duì)于本系統(tǒng)可以達(dá)到10f/s的圖像傳輸速度。
結(jié)語(yǔ)
本文介紹的的視覺系統(tǒng)粱快,在硬件系統(tǒng)秩彤,采用CMOS圖像傳感器,CPLD時(shí)序控制皆尔,以及高速DSP和以太網(wǎng)高速數(shù)據(jù)傳輸,構(gòu)成了一個(gè)典型嵌入式視覺系統(tǒng)币励。通過以太網(wǎng)接口可組成分布式視覺檢測(cè)網(wǎng)絡(luò)慷蠕。對(duì)于簡(jiǎn)單的視覺檢測(cè)任務(wù),系統(tǒng)可滿足在線檢測(cè)的要求食呻。當(dāng)然流炕,要想最終脫離微機(jī)高速的完成復(fù)雜的圖像處理任務(wù),單DSP還不能滿足要求仅胞。今后改進(jìn)是添加FPGA實(shí)現(xiàn)FPGA與DSP融合的處理系統(tǒng)以及多DSP并行處理系統(tǒng)每辟,實(shí)現(xiàn)高速嵌入式視覺系統(tǒng)。
聲明:本網(wǎng)站所收集的部分公開資料來源于互聯(lián)網(wǎng)干旧,轉(zhuǎn)載的目的在于傳遞更多信息及用于網(wǎng)絡(luò)分享渠欺,并不代表本站贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé),也不構(gòu)成任何其他建議椎眯。本站部分作品是由網(wǎng)友自主投稿和發(fā)布酥丛、編輯整理上傳,對(duì)此類作品本站僅提供交流平臺(tái)咒舰,不為其版權(quán)負(fù)責(zé)蘸暮。如果您發(fā)現(xiàn)網(wǎng)站上所用視頻、圖片埂帜、文字如涉及作品版權(quán)問題懊据,請(qǐng)第一時(shí)間告知,我們將根據(jù)您提供的證明材料確認(rèn)版權(quán)并按國(guó)家標(biāo)準(zhǔn)支付稿酬或立即刪除內(nèi)容跑科,以保證您的權(quán)益接纽!聯(lián)系電話:010-58612588 或 Email:editor@mmsonline.com.cn。
- 暫無反饋
編輯推薦
- 2025新年特刊:打造新質(zhì)生產(chǎn)力拔鹰,智啟未來新篇章
- 定義制造業(yè)未來的數(shù)控加工中心技術(shù)專題
- 航空航天及交通領(lǐng)域先進(jìn)制造技術(shù)應(yīng)用專題
- 解碼消費(fèi)電子產(chǎn)品生產(chǎn)的數(shù)字化之路技術(shù)專題
- 精密智能機(jī)床,助力制造升級(jí)技術(shù)專題
- 汽車輕量化驅(qū)動(dòng)下的零部件加工應(yīng)用專題
- 高性能銑刀實(shí)現(xiàn)高精加工生產(chǎn)技術(shù)專題
- 航空航天發(fā)動(dòng)機(jī)解決方案專題
- 高效齒輪加工生產(chǎn)技術(shù)方案專題
- 金屬加工液的性能不止?jié)櫥夹g(shù)應(yīng)用專題