基於高光譜成像技術的壁畫文字識別分析報告

基於高光譜成像技術的壁畫文字識別分析報告

一
、測試原理及方法：

 高gao光guang譜pu成cheng像xiang技ji術shu是shi近jin二er十shi年nian來lai發fa展zhan起qi來lai的de基ji於yu非fei常chang多duo窄zhai波bo段duan的de影ying像xiang數shu據ju技ji術shu，其qi最zui突tu出chu的de應ying用yong是shi遙yao感gan探tan測ce領ling域yu，並bing在zai越yue來lai越yue多duo的de民min用yong領ling域yu有you著zhe更geng大da的de應ying用yong前qian景jing。它ta集ji中zhong了le光guang學xue、光電子學、電子學

、信息處理
、計算機科學等領域的先進技術

，是傳統的二維成像技術和光譜技術有機的結合在一起的一門新興技術。

 高光譜成像技術的定義是在多光譜成像的基礎上，在從紫外到近紅外（200-2500nm）的(de)光(guang)譜(pu)範(fan)圍(wei)內(nei)，利(li)用(yong)成(cheng)像(xiang)光(guang)譜(pu)儀(yi)，在(zai)光(guang)譜(pu)覆(fu)蓋(gai)範(fan)圍(wei)內(nei)的(de)數(shu)十(shi)或(huo)數(shu)百(bai)條(tiao)光(guang)譜(pu)波(bo)段(duan)對(dui)目(mu)標(biao)物(wu)體(ti)連(lian)續(xu)成(cheng)像(xiang)。在(zai)獲(huo)得(de)物(wu)體(ti)空(kong)間(jian)特(te)征(zheng)成(cheng)像(xiang)的(de)同(tong)時(shi)，也(ye)獲(huo)得(de)了(le)被(bei)測(ce)物(wu)體(ti)的(de)光(guang)譜(pu)信(xin)息(xi)。

目標物體-成像物鏡-入射狹縫-準直透鏡-PGP-聚焦透鏡-CCD棱鏡-光柵-棱鏡：PGP

圖1 成像原理圖

光譜儀的光譜分辨率由狹縫的寬度和光學光譜儀產生的線性色散確定。最小光譜分辨率是由光學係統的成像性能確定的（點擴展大小）。

成像過程為：每次成一條線上的像後（X方向），在檢測係統輸送帶前進的過程中，排列的探測器掃出一條帶狀軌跡從而完成縱向掃描（Y方向）。綜合橫縱掃描信息就可以得到樣品的三維高光譜圖像數據。

圖2 像立方體

圖3  Gaia Field高光譜成像儀

高光譜儀配置：鏡頭：22mm鍍膜消色差鏡頭；光譜範圍：400nm-1000nm，光譜分辨率: 4nm@435.8nm（@400-1000nm），像麵尺寸（光譜x空間）：6.15 x 14.2 mm，相對孔徑：F/2.4
，狹縫長度14.2 mm. 內置控製、掃描機構；內置電池；

SpecView軟件：控製完成自動曝光、自動對焦、自動掃描速度匹配
；數據處理：黑白、輻射度
、均勻性
、鏡頭等校準
；光譜查看。

GaiaField便攜式高光譜係統是雙利合譜自行研製的超便攜式高光譜成像儀器。它的核心由三部分構成
，分別是：duoweiyundongkongzhiqi，guangpuxiangjihechengxiangguangpuyi。shiyongcixitongjinxingsaomiao
，zaihuodemubiaoyingxiangxinxidejichushang，haikeyihuodeshubaishenzhishangqianboduandeguangpuxinxi。

GaiaField係統有著輕便靈活，續航能力出色的特點。廣泛適用於，目標識別、偽裝與反偽裝等軍事領域
，地麵物體與水體遙測、現代精細農業等生態環境監測領域，以及刑偵、文物保護、生物醫學等領域。

覆蓋可見光與近紅外全波段可提供超過700個光譜通道
，可自由選擇GaiaField便攜式高光譜係統采用了高分辨率的成像光譜儀。在可見光波段
，光譜分辨率高達3nm
，即使在短波紅外波段也能達到10nm。因而全波段內可以獲得超過700個的光譜通道
，更多的光譜通道意味著更多的信息

，有助於研究人員通過對連續光譜的分析、反演，獲得更多的高價值數據細節。

圖4  高光譜成像儀采集的影像效果圖

獨有的軟硬件功能：

輔助攝像頭功能

通過輔助攝像頭觀察目標拍攝區域

當前狹縫位置指示

選擇自動曝光與自動調焦區域，直觀方便
，僅需鼠標即可完成操作。

圖 5  輔助攝像頭觀察目標拍攝區域

自動掃描速度匹配、自動曝光：

自動曝光：根gen據ju當dang前qian光guang照zhao環huan境jing，進jin行xing曝pu光guang測ce試shi

，獲huo得de精jing準zhun的de曝pu光guang時shi間jian。在zai得de到dao最zui佳jia信xin噪zao比bi的de同tong時shi，又you可ke避bi免mian過guo度du曝pu光guang造zao成cheng數shu據ju作zuo廢fei。同tong時shi軟ruan件jian具ju有you實shi時shi過guo度du曝pu光guang監jian視shi功gong能neng。

自動掃描速度匹配：根據當前的曝光時間等參數，進行測試拍攝，得到實時幀速，進而計算出合適的掃描速度。從而避免了掃描圖像的變形（拉伸或壓縮）。

圖 6   采集數據自動曝光、速度匹配

二
、數據分析：

本文以山西壁畫為研究對象
，利用江蘇雙利合譜科技有限公司的高光譜成像儀Gaia Field（光譜範圍400 nm - 1000 nm）采集測試對象的高光譜數據。

對成像高光譜儀拍攝的原始影像數據進行數據的預處理，預處理過程主要包括兩部分。第一部分是輻射定標；第二部分為噪聲去除。

首先進行輻射定標。輻射定標的計算公式如1所示。

                       (1)

其中，Ref_target為目標物的反射率
，Ref_panel為標準參考板的反射率，DN_target為原始影像中目標物的的數值，DN_panel為原始影像中標準參考板的數值，DN_dark為成像光譜儀係統誤差。

其次是噪聲去除，本文運用國外較為常用的最小噪聲分離方法(Minimum Noise Fraction Rotation
， MNF)進行噪聲去除。最小噪聲分離工具用於判定圖像數據內在的維數（即波段數）
，分離數據中的噪聲

，減少隨後處理中的計算需求量。MNF本質上是兩次層疊的主成分變換。第一次變換（基於估計的噪聲協方差矩陣）用於分離和重新調節數據中的噪聲，這步操作使變換後的噪聲數據隻有最小的方差且沒有波段間的相關。第二步是對噪聲白化數據（Noise-whitened）的標準主成分變換。為了進一步進行波譜處理，通過檢查最終特征值和相關圖像來判定數據的內在維數。數據空間可被分為兩部分：一(yi)部(bu)分(fen)與(yu)較(jiao)大(da)特(te)征(zheng)值(zhi)和(he)相(xiang)對(dui)應(ying)的(de)特(te)征(zheng)圖(tu)像(xiang)相(xiang)關(guan)，其(qi)餘(yu)部(bu)分(fen)與(yu)近(jin)似(si)相(xiang)同(tong)的(de)特(te)征(zheng)值(zhi)以(yi)及(ji)噪(zao)聲(sheng)占(zhan)主(zhu)導(dao)地(di)位(wei)的(de)圖(tu)像(xiang)相(xiang)關(guan)。由(you)於(yu)此(ci)次(ci)采(cai)集(ji)的(de)高(gao)光(guang)譜(pu)影(ying)像(xiang)沒(mei)有(you)白(bai)板(ban)校(xiao)正(zheng)，因(yin)此(ci)數(shu)據(ju)預(yu)處(chu)理(li)的(de)第(di)一(yi)步(bu)輻(fu)射(she)定(ding)標(biao)沒(mei)有(you)進(jin)行(xing)分(fen)析(xi)處(chu)理(li)，直(zhi)接(jie)作(zuo)MNF降噪分析。圖7為MNF降噪前後的成像高光譜數據中DN值的變化。

圖7  MNF變換前(左)後(右)高光譜影像DN值的變化

下圖分別為壁畫中不同成分的高光譜影像RGB（640 nm

、550 nm、460 nm）真彩色合成數據及影像中不同位置的DN變化。從圖8kezhi，shouziranfushideyingxiang，bihuadezijibiandemohubuqing，shiyuanyoudeguangpuxinxifashengbianhua，yincizengjialetongguoguangpuxinxilaishibiebihuazhongfushizijidenandu。

圖8  壁畫中不同成分的DN值變化

利用SpecView軟件的Analysis-Animategongneng，nengkuaisuliubihuazhongdegeboduantuxiangdehuidubianhua，jieguobiaomingnengjiaoweiqingchudishibiebihuazhongzijidenggaoguangpuyingxiangxinxideboduanzhuyaojizhongzaihongguangyujinhongwaiquyu，zheyumuqianguoneiwaideyanjiujieguoxiangtong。yi730 nm波段影像為例，對壁畫730 nm處影像的灰度圖作密度分割，以期能更清楚地分辨壁畫內部成分的變化，如圖9所示。從圖9可ke知zhi
，通tong過guo對dui成cheng像xiang高gao光guang譜pu特te定ding某mou一yi波bo段duan作zuo密mi度du分fen割ge並bing賦fu予yu不bu同tong的de顏yan色se，不bu僅jin在zai圖tu像xiang能neng較jiao為wei清qing晰xi的de看kan到dao壁bi畫hua中zhong各ge成cheng分fen的de變bian化hua，而er且qie也ye能neng看kan到dao其qi在zai數shu值zhi上shang的de變bian化hua。

圖9  壁畫在730 nm處的灰度圖像的密度分割效果圖

為了客觀地分別壁畫內部成分的變化及壁畫字跡的識別
，對經預處理後的高光譜數據進行主成分分析（Principal Component Analysis, PCA）

，去除波段之間的多餘信息、將多波段的圖像信息壓縮到比原波段更有效的少數幾個轉換波段下。一般情況下，第一主成分包含波段中的80%的方差信息，前三個主成分包含了所有波段的中95%以上的信息量。由於各波段之間的不相關
，主成分波段可以生成更多顏色、飽和度更好的彩色合成圖像。圖分別對比分析壁畫高光譜影像在PCA變化前後影像的合成圖。

圖10 壁畫的PCA變化前影像合成圖

（左 R：640 nm,G:550 nm，B：460 nm；右 R：PCA2,G:PCA1

，B：PCA3）

從圖8-圖10可知，受自然腐蝕的影響，壁畫上的文字表現出不同的清晰度，被腐蝕的文字，其高光譜影像中的DN值與文字背景的DN值相似，因此很難通過光譜匹配
、監督分類、非監督分類、決策樹
、數學形態學等方法識別出被腐蝕的文字。為了提取壁畫上的文字信息，本文嚐試利用主成分分析，去除波段之間的多餘信息、將多波段的圖像信息壓縮到比原波段更有效的少數幾個轉換波段下

，並利用波段組合的方法組合成RGB圖像，如圖10所示，然而從圖中可知，主成分的RGB合成圖像仍無法識別受自然腐蝕的字跡；同樣，利用成像高光譜的單波段作密度分割識別壁畫上的受腐蝕的字跡效果也不理想。

但是，從圖9和圖10可知

，通過PCAgezhuchengfendeboduanzuhejidanboduandemidufengehou



，bihuaneibuchengfendebianhuanengjiaoweiqingxidezhanxianchulai
，yincikeyiliyongchengxianggaoguangpujishulaifenxibihuadeshoufushichengdu。

在zai自zi然ran界jie中zhong，存cun在zai著zhe許xu多duo同tong物wu異yi譜pu
，異yi物wu同tong譜pu的de現xian象xiang，傳chuan統tong的de非fei成cheng像xiang高gao光guang譜pu

，對dui於yu異yi物wu同tong譜pu的de現xian象xiang很hen難nan將jiang地di物wu相xiang互hu區qu別bie開kai來lai。但dan是shi隨sui著zhe遙yao感gan技ji術shu的de發fa展zhan，成cheng像xiang高gao光guang譜pu的de“圖譜合一”的特點為解決同物異譜
，異物同譜的問題提供了技術支撐
，本文壁畫中的字跡與其背景的光譜十分相似，但基於成像高光譜“圖譜合一”的特點，利用馬氏距離法能較好地從背景中提取影像中的字跡
，如圖11所示。

圖11  高光譜影像字跡提取