數(shù)字媒體技術(shù)艦船視頻處理系統(tǒng)研究
時間:2022-01-13 09:00:21
導(dǎo)語:數(shù)字媒體技術(shù)艦船視頻處理系統(tǒng)研究一文來源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。
摘要:當(dāng)前的艦船視頻處理系統(tǒng)通過對視頻采用直接編解碼的方式來保證視頻質(zhì)量,應(yīng)用于高清大尺寸視頻處理時,存在效率低、傳輸丟包率高的缺陷。為優(yōu)化上述缺陷,將研究設(shè)計數(shù)字媒體技術(shù)的艦船視頻處理系統(tǒng)。選用2片DSP和FPGA結(jié)合的方式,搭建處理系統(tǒng)硬件架構(gòu)。對艦船視頻圖像預(yù)處理,確定視頻處理邊界。依據(jù)HEVC編碼標(biāo)準(zhǔn),對艦船視頻進(jìn)行壓縮編碼,降低系統(tǒng)存儲傳輸壓力,完成系統(tǒng)設(shè)計。系統(tǒng)測試結(jié)果表明,設(shè)計的系統(tǒng)丟包率低于2.4%,壓縮比大于100∶1,視頻處理耗時短,性能明顯提升。
關(guān)鍵詞:數(shù)字媒體技術(shù);艦船視頻;視頻處理;系統(tǒng)設(shè)計;DSP;HEVC
艦船航行時搭載的各項設(shè)備會實(shí)時采集不同的視頻圖像,用以對艦船航行環(huán)境、搭載設(shè)備運(yùn)行監(jiān)控、遠(yuǎn)程信息交流等。由此,對艦船視頻處理系統(tǒng)的設(shè)計性能也提出了更高的要求。當(dāng)前的視頻處理系統(tǒng)從視頻編碼角度處理視頻,雖然保證了視頻高清分辨率,但是無法滿足系統(tǒng)實(shí)時處理的要求[1]。在FPGA基礎(chǔ)上加入APU處理器能夠提升浮點(diǎn)操作造成的視頻失真,但是該系統(tǒng)對大量視頻同時處理時,效率低,存在較為明顯的缺陷[2]。根據(jù)上述分析內(nèi)容,借助數(shù)字媒體技術(shù)的優(yōu)勢,設(shè)計了基于數(shù)字媒體技術(shù)的艦船視頻處理系統(tǒng),以提高艦船視頻處理的效率、降低處理視頻時對視頻質(zhì)量的損壞程度,確保艦船視頻的正確傳輸與存儲。
1硬件部分設(shè)計
以DSP和FPGA為核心進(jìn)行硬件設(shè)計,圖1為系統(tǒng)的整體框架。DSP處理器選用TMS320C6416芯片,該芯片的編解碼率為1080fps和多個接口,能夠以較低比特率處理視頻圖像。FPGA選用功耗低、I/O接口數(shù)量大的XC7K325T芯片[3]。DSP1的VP接口用以導(dǎo)入艦船視頻,由FPGA對視頻進(jìn)行編解碼處理。編解碼后的視頻數(shù)據(jù)通過VP接口傳輸至DSP2中進(jìn)行壓縮處理。DSP2將壓縮的視頻通過SATA接口傳輸至存儲模塊進(jìn)行存儲。各模塊之間通過RS232接口通信,DSP處理器通過VPX總線與存儲器進(jìn)行通信。
2軟件部分設(shè)計
2.1艦船視頻圖像預(yù)處理
艦船視頻采集器采集的視頻圖像在存儲前,需要進(jìn)行預(yù)處理。按照RGB通道轉(zhuǎn)換格式,由AD轉(zhuǎn)換器將視頻圖像統(tǒng)一轉(zhuǎn)換為RGB格式。采用Sobel算子對視頻進(jìn)行邊緣檢測,以確定視頻處理的邊界。Sobel算子在x,y方向的卷積模板,如下式:使用上述模板對艦船視頻每一幀圖像的x和y方向進(jìn)行卷積運(yùn)算:IxIyA式中,和分別為視頻圖像x和y兩個方向邊緣檢測的灰度值;為圖像亮度通道矩陣,最終的邊緣檢測矩陣的每個灰度值計算公式如下:由上式確定艦船視頻處理的邊緣后,以檢測邊緣為界,利用數(shù)字媒體技術(shù)壓縮艦船視頻。
2.2數(shù)字媒體技術(shù)壓縮艦船視頻
以數(shù)字媒體技術(shù)中的HEVC視頻編碼標(biāo)準(zhǔn)為依據(jù),對艦船視頻進(jìn)行壓縮處理。cs為降低視頻壓縮時,HEVC幀內(nèi)預(yù)測的復(fù)雜度,本文將以拉格朗日率失真值為HEVC幀內(nèi)預(yù)測模式的選擇標(biāo)準(zhǔn)。若壓縮時,預(yù)測進(jìn)行重構(gòu)的視頻塊為,其對應(yīng)的原始視頻宏塊為,則該視頻塊的拉格朗日率失真值的計算公式如下。式中:M×N為原始視頻宏塊的大小。(i,j)為對應(yīng)視頻圖像的像素點(diǎn)坐標(biāo)。利用上述幀間預(yù)測結(jié)果去除視頻中的冗余信息后,生成原始視頻圖像像素值與預(yù)測壓縮重構(gòu)后視頻圖像像素值之間的殘差。按照下式計算視頻圖像中真實(shí)視點(diǎn)像素值對應(yīng)壓縮后的合成虛擬視點(diǎn)。C(x,y)kdcl(x1,y1)cr(x2,y2)式中:為壓縮后的合成虛擬視點(diǎn);為左右真實(shí)視點(diǎn)與虛擬視點(diǎn)之間的距離比值;為視點(diǎn)的深度;和分別為左右視點(diǎn)的坐標(biāo)。以視點(diǎn)像素為參考,對艦船視頻進(jìn)行分層處理。按照HEVC熵編碼過程對幀內(nèi)預(yù)測的殘差進(jìn)行變換,輸出壓縮后的艦船視頻碼流,即得到壓縮后的艦船視頻。將視頻按照通信協(xié)議傳輸至存儲位置,實(shí)現(xiàn)一次艦船視頻處理全過程。按照以上分析內(nèi)容,在系統(tǒng)軟件部分實(shí)現(xiàn)了利用數(shù)字媒體技術(shù)處理艦船視頻,以上文設(shè)計的系統(tǒng)硬件為架構(gòu)支撐,完成了對數(shù)字媒體技術(shù)的艦船視頻處理系統(tǒng)的設(shè)計研究。
3系統(tǒng)測試
3.1測試內(nèi)容
首先在開發(fā)環(huán)境下對系統(tǒng)軟件部分進(jìn)行調(diào)試,確認(rèn)在當(dāng)前開發(fā)環(huán)境下系統(tǒng)各模塊功能正常后,對系統(tǒng)進(jìn)行軟硬件聯(lián)合調(diào)試。將系統(tǒng)軟硬件聯(lián)合調(diào)試作為系統(tǒng)測試的第一環(huán)節(jié)。通過該環(huán)節(jié)的測試,來認(rèn)證系統(tǒng)整體運(yùn)行情況。系統(tǒng)測試的第二環(huán)節(jié)為對系統(tǒng)進(jìn)行功能性對比測試,以對比的形式驗證系統(tǒng)是否在功能上實(shí)現(xiàn)優(yōu)化。選用基于APU+FPGA的視頻處理系統(tǒng)為對比,通過比較2個系統(tǒng)處理相同視頻時,系統(tǒng)處理視頻圖像的耗時、系統(tǒng)處理視頻圖像的壓縮比、以及傳輸處理視頻時的丟包率3個指標(biāo),綜合驗證系統(tǒng)的視頻處理系統(tǒng)的性能。
3.2測試結(jié)果及分析
圖2為系統(tǒng)在軟硬件聯(lián)合調(diào)試過程中,系統(tǒng)壓力測試結(jié)果。分析可知,隨著系統(tǒng)中處理視頻的線程數(shù)量增加,系統(tǒng)的平均響應(yīng)時間增加。但是整體上系統(tǒng)的平均響應(yīng)時間與系統(tǒng)處理線程的增長幅度之間的關(guān)系波動較為穩(wěn)定。同時系統(tǒng)處理的視頻無明顯失真情況出現(xiàn),表明本文設(shè)計的系統(tǒng)具有較好的穩(wěn)定性。選用具有不同分辨率的視頻數(shù)據(jù)集作為系統(tǒng)功能對比性測試的測試集,分別使用本文系統(tǒng)和傳統(tǒng)系統(tǒng)對測試集中的視頻進(jìn)行處理。圖3為2個系統(tǒng)處理視頻圖像時的耗時對比,圖中曲線分別代表系統(tǒng)處理視頻耗時、傳輸顯示視頻耗時情況。分析可知,本文系統(tǒng)的處理和傳輸顯示視頻的耗時要少于對比系統(tǒng)。并且隨著視頻尺寸的增加,對比系統(tǒng)的處理耗時增加幅度逐漸變大,而本文系統(tǒng)的處理耗時則以一種相對平穩(wěn)的狀態(tài)小幅度緩慢增加。從處理視頻的耗時來講,本文系統(tǒng)需要的時間更少,在對相同量視頻處理時,本文系統(tǒng)的效率更高。同時從傳輸視頻耗時來講,本文系統(tǒng)仍少于對比系統(tǒng),其主要原因在于本文系統(tǒng)對視頻處理時有效壓縮了視頻尺寸,減少了傳輸耗時,提高了系統(tǒng)的實(shí)時性。表1為2個系統(tǒng)對測試集中視頻進(jìn)行處理時,系統(tǒng)的丟包率以及視頻的壓縮比數(shù)據(jù)。分析可知,對相同數(shù)量不同分辨率視頻進(jìn)行處理時,本文系統(tǒng)的丟包率遠(yuǎn)低于對比系統(tǒng);視頻分辨率相同、數(shù)量不同條件下,對比系統(tǒng)的丟包率隨著視頻數(shù)據(jù)的增加而增加,而本文系統(tǒng)的丟包率則整體保持在低于2.4%的情況。系統(tǒng)對于不同分辨率的視頻進(jìn)行處理時,本文系統(tǒng)處理的所有視頻壓縮比均大于100∶1,而對比系統(tǒng)則相反。本文系統(tǒng)對視頻處理的壓縮比高于100∶1,表明系統(tǒng)節(jié)省了視頻存儲的空間,同時也降低了系統(tǒng)處理視頻實(shí)時傳輸時對通信通道的壓力。
4結(jié)語
視頻處理系統(tǒng)對于艦船自動化設(shè)備遠(yuǎn)程監(jiān)控、目標(biāo)識別等十分重要。隨著船舶自動化水平的提升,對于艦船視頻處理系統(tǒng)的要求也越來越高。針對當(dāng)前視頻處理系統(tǒng)存在的問題,本文設(shè)計了數(shù)字媒體技術(shù)的艦船視頻處理系統(tǒng),利用數(shù)字媒體技術(shù)在DSP和FP-GA的硬件支撐下,提升了系統(tǒng)的性能。
作者:王禾 單位:浙江長征職業(yè)技術(shù)學(xué)院 計算機(jī)與信息技術(shù)系