基于機(jī)器視覺(jué)的磁翻板液位計(jì)實(shí)時(shí)讀數(shù)識(shí)別方法

發(fā)布時(shí)間： 2023-11-23 作者：陳漢濤,王晶航,伍哲,韓江桂來(lái)源： (海軍工程大學(xué) 動(dòng)力工程學(xué)院,武漢

摘要:在現(xiàn)代艦船機(jī)艙等無(wú)人值守的場(chǎng)合,艦員往往無(wú)法及時(shí)有效地跟蹤監(jiān)測(cè)液位計(jì)信息。因此,提出了一種基于機(jī)器視覺(jué)的磁翻板液位計(jì)實(shí)時(shí)液位識(shí)別方法。首先,運(yùn)用改進(jìn)的 DB-FFT 識(shí)別方法對(duì)液位計(jì)面板中的字符進(jìn)行檢測(cè);然后,利用 CRNN 模型識(shí)別檢測(cè)到的字符內(nèi)容,并采用基于圖像識(shí)別和圖像差值的靜態(tài)與動(dòng)態(tài)分析方法識(shí)別液位指示位;zui后,結(jié)合刻度及液位位置計(jì)算出液位實(shí)時(shí)讀數(shù)。實(shí)驗(yàn)結(jié)果表明:該方法能夠?qū)崟r(shí)、高效地識(shí)別磁翻板液位計(jì)液位并顯示數(shù)值,對(duì)磁翻板液位計(jì)的數(shù)字化轉(zhuǎn)型應(yīng)用具有重要意義。

磁翻板液位計(jì)(磁性浮子式液位計(jì))根據(jù)浮力原理和磁性耦合作用研制而成。當(dāng)被測(cè)容器中的液位變化時(shí),液位計(jì)本體管中的磁性浮子也隨之變化,浮子內(nèi)的永久磁鋼通過(guò)磁耦合傳遞到磁翻柱指示器,驅(qū)動(dòng)紅、白翻柱翻轉(zhuǎn),指示器的紅白交界處即為容器內(nèi)部液位的實(shí)際高度。目前,常用的磁翻板液位計(jì)自身還不能實(shí)現(xiàn)自動(dòng)化、遠(yuǎn)距離識(shí)別和實(shí)時(shí)監(jiān)測(cè)等功能。

隨著計(jì)算機(jī)及人工智能技術(shù)的發(fā)展,基于機(jī)器視覺(jué)的各類不同場(chǎng)景液位識(shí)別方法研究取得了長(zhǎng)足的進(jìn)步。劉治鋒[3]應(yīng)用圖像識(shí)別的方法,對(duì)采集的水位圖像進(jìn)行了一系列處理,包括形狀矯正、光強(qiáng)矯正、目標(biāo)分析等處理方法,從而實(shí)現(xiàn)了水位的自動(dòng)檢測(cè)。任明武等[4]同樣應(yīng)用圖像識(shí)別方法,精確地檢測(cè)和定位出了水位線。在瓶裝液體識(shí)別的場(chǎng)景中,黃玲等[5]研發(fā)了一種帶標(biāo)桿的透明瓶裝液體液位檢測(cè)系統(tǒng),有效地利用了液體的折射原理,通過(guò)圖像處理確定標(biāo)桿斷開(kāi)的位置從而得到液位的高度。而神經(jīng)網(wǎng)絡(luò)的興起又為機(jī)器視覺(jué)的圖像識(shí)別研究提供了新的思路,深度神經(jīng) 網(wǎng) 絡(luò) 模型,特別是深度卷積神經(jīng) 網(wǎng) 絡(luò) (deepconvolutionalneuralnetworks,DCNN)[6]在各種視覺(jué)任務(wù)中的應(yīng) 用獲得了巨大成功。Laroca等[7]提出了利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)自動(dòng)抄表的功能。陳志恒等[8]實(shí)現(xiàn)了基于 EMD 的神經(jīng)網(wǎng)絡(luò)空耦超聲存儲(chǔ)油罐液位的檢測(cè),其具體采用了 BP(backpropagation)神經(jīng)網(wǎng)絡(luò),識(shí)別率高達(dá)99% 。基于上述理論技術(shù)的發(fā)展,各類指示計(jì)、液位計(jì)等的自動(dòng)化識(shí)別應(yīng)用場(chǎng)景層出不窮,如血管血清液位計(jì)的檢測(cè)[9]、試管液位檢測(cè)[10]等。因此,本文提出了一種基于計(jì)算機(jī)視覺(jué)的液位實(shí)時(shí)讀數(shù)識(shí)別方法,通過(guò)高精度攝像頭實(shí)時(shí)抓拍液位計(jì)面板獲得圖像數(shù)據(jù),再利用圖像識(shí)別的方法來(lái)識(shí)別并計(jì)算液位計(jì)讀數(shù)。

1 理論基礎(chǔ)

1.1 字符檢測(cè)

進(jìn)行圖像識(shí)別前,需先識(shí)別和定位液位計(jì)上的刻度值,刻度值一般從下至上均勻分布于磁翻板液位計(jì)面板,常見(jiàn)的磁翻板液位計(jì)面板如圖1所示。

場(chǎng)景字符檢測(cè)作為場(chǎng)景字符讀取的關(guān)鍵組成部分,其目標(biāo)是定位每個(gè)字符實(shí)例的邊界或區(qū)域。近年來(lái),基于分割的方法在文本檢測(cè)的場(chǎng)景中十分常用,分割之后的二值化處理也至關(guān)重要,分割的結(jié)果將在這一過(guò)程中被轉(zhuǎn)換為文本框或文本區(qū)域。

本文基于可微二值化(differentiablebinarization,DB)的模塊來(lái)簡(jiǎn)化分割后的處理步驟,該方法可設(shè)定自適應(yīng)閾值來(lái)提升網(wǎng)絡(luò)性能。在此基礎(chǔ)上,結(jié)合液位計(jì)面板上字符位置分布特征,結(jié)合快速傅里葉變換(fastFouriertransform,FFT)提出優(yōu)化方法(簡(jiǎn)稱 DB-FFT 方法),從而提高字符檢測(cè)效率。

1.1.1 基于 DB實(shí)現(xiàn)字符檢測(cè)

對(duì)于標(biāo)準(zhǔn)的二值化處理,給定一個(gè)由分段網(wǎng)絡(luò)生成的概率圖P∈RH ×W ,其中 H 代表圖像的高度,W 代表圖像的寬度。將其轉(zhuǎn)換為二值化的圖,若一個(gè)像素點(diǎn)的值為1,則代表該像素屬于字符區(qū)域,一般來(lái)說(shuō)圖像二值化可表示為 360桌面截圖20231124092803.jpg

式中:t為預(yù)測(cè)字符區(qū)域所定義的閾值;(i,j)為圖像中像素的位置。

由于Bi,j的值為0和1是不可微分的,所以無(wú)法參與到網(wǎng)絡(luò)的訓(xùn)練。為此,將式(1)進(jìn)行轉(zhuǎn)換,使得 CNN 中的二值化過(guò)程可以端到端地進(jìn)行訓(xùn)練。轉(zhuǎn)換過(guò)程為 360桌面截圖20231124092807.jpg

式中:B∧i,j為近似二值化映射;T 為從網(wǎng)絡(luò)中學(xué)習(xí)到的自適應(yīng)閾值映射;k 為放大系數(shù),根據(jù)經(jīng)驗(yàn)?zāi)J(rèn)將其設(shè)置為50。

基于上述方法,利用分段網(wǎng)絡(luò)訓(xùn)練可實(shí)現(xiàn)字符檢測(cè),部分檢測(cè)效果如圖2所示。

在復(fù)雜環(huán)境下或存在噪聲干擾時(shí),檢測(cè)結(jié)果會(huì)出現(xiàn)中心位置略有偏移、部分字符位置未檢測(cè)出等現(xiàn)象。經(jīng)過(guò)分析后發(fā)現(xiàn),磁翻板液位計(jì)面板上的字符位置分布存在如下規(guī)律:從上至下均勻分布,從左至右對(duì)稱分布。因此,可以通過(guò)左右對(duì)稱將另一側(cè)的字符推理出來(lái),通過(guò)垂直方向字符位置均勻分布來(lái)校驗(yàn),并補(bǔ)齊沒(méi)有被檢測(cè)出的字符。

1.1.2 基于 DB-FFT 實(shí)現(xiàn)字符檢測(cè)

在獲取字符行坐標(biāo)時(shí),為了使用字符的相同間隔來(lái)提取數(shù)字字符并過(guò)濾掉其他字符,采用傅里葉變換來(lái)獲取字符的峰值坐標(biāo),zui終根據(jù)行和列的峰值得到zui終的字符位置,處理結(jié)果如圖3所示。

在應(yīng)用傅里葉變換推理優(yōu)化字符檢測(cè)位置后,不僅可補(bǔ)全未被檢測(cè)出的字符位置,還可增強(qiáng)字符位置的區(qū)域?；?DB方法和 DB-FFT 方法的檢測(cè)效果對(duì)比如圖4所示。可見(jiàn),后者檢測(cè)出的字符位置相對(duì)更加全面。

1.2 字符識(shí)別

本文應(yīng) 用文獻(xiàn) [6]提出的 CRNN(convolutionalrecurrentneuralnetwork)模型來(lái)識(shí)別磁翻板液位計(jì)面板中的字符。CRNN 是一種卷積循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),用于解決基于圖像的序列識(shí)別問(wèn)題,特別是場(chǎng)景文字識(shí)別問(wèn)題。具體過(guò)程為:首先,通過(guò) CNN 將圖片的特征提取出來(lái);然后,采用 RNN 對(duì)序列進(jìn)行預(yù)測(cè);zui后,通過(guò)一個(gè) CTC的翻譯層得到zui終結(jié)果。

1.3 液位計(jì)指示位置識(shí)別

磁翻板液位計(jì)指示的位置為黑白交界處(見(jiàn)圖5箭頭所指位置)。

由于磁浮子翻轉(zhuǎn)時(shí),暗色部分是從上往下翻轉(zhuǎn),會(huì)出現(xiàn)暗色部分不連續(xù)的情況。具體存在兩種情況:①該磁浮子僅部分翻轉(zhuǎn),未完全翻轉(zhuǎn)為暗色;②該磁浮子完全翻轉(zhuǎn)為暗色。為有效識(shí)別磁翻板液位計(jì)指示位置,本文分別從靜態(tài)和動(dòng)態(tài)角度提供了兩種識(shí)別方法。

1.3.1 靜態(tài)分析法

靜態(tài)分析法針對(duì)單幀圖像進(jìn)行分析,主要采用基于顏色像素的計(jì)算方法。從靜態(tài)角度分析,液位計(jì)的暗色磁浮子部分代表了液位信息,因此只需識(shí)別出暗色磁浮子區(qū)域即可。首先將顏色空間轉(zhuǎn)換到 HSV(huesaturationvalue),然后根據(jù)閾值去除其他顏色,zui后找到暗色矩形塊。

如圖6所示,結(jié)合磁浮子翻轉(zhuǎn)特征,若磁浮子完全翻轉(zhuǎn)為暗色,則zui上方暗色矩形塊的上側(cè)為當(dāng)前指示位置;若磁浮子未完全翻轉(zhuǎn)為暗色,則zui上方暗色矩形塊的下側(cè)為當(dāng)前指示位置。

1.3.2 動(dòng)態(tài)分析法

動(dòng)態(tài)分析法主要適用于液位計(jì)指示值實(shí)時(shí)變動(dòng)的場(chǎng)景。通過(guò)對(duì)連續(xù)兩個(gè)時(shí)序的圖像進(jìn)行像素相減,可識(shí)別出變化區(qū)域,此即液位計(jì)指示位置?；谏鲜鲈?在液位計(jì)指示動(dòng)態(tài)變化過(guò)程中,先獲取連續(xù)兩個(gè)時(shí)序的圖片信息,再將這兩幀圖像像素值相減,便可獲得變化區(qū)域的二值化圖(見(jiàn)圖7(a));進(jìn)行去除噪聲處理后,所得結(jié)果如圖7(b)所示;采用水平投影方法獲取波的峰值如圖7(c)所示,此即為液位計(jì)指示值。

由于篇幅原因，想要了解完整內(nèi)容，請(qǐng)聯(lián)系作者本人。