高光譜顯微成像係統結合多數據Faster RCNN的白細胞快速檢測

背景

白細胞（White blood cells, WBCs）shixueyedezhongyaozuchengbufen，juyoudikangbingduhexijunganrandegongneng。zaiyidingdexuerongliangzhong，baixibaodeshulianghebiliweiyishengzhenduanxiangyingjibingtigongleyoujiazhidexinxi。wulunshibaixibaojishuhaishixingtaijiance
，xuyaojiejuedeguanjianwentishishixianbaixibaodefenleiheshibie。raner，chuantongdexianweijingfangfayanzhongyilaiyucaozuorenyuandejingyan，jiancefangfaguoyufuza。

近jin年nian來lai，相xiang應ying的de計ji算suan機ji視shi覺jiao算suan法fa和he係xi統tong已yi廣guang泛fan應ying用yong於yu血xue細xi胞bao自zi動dong檢jian測ce領ling域yu。然ran而er，大da多duo數shu識shi別bie算suan法fa隻zhi是shi將jiang特te征zheng提ti取qu和he分fen類lei模mo塊kuai按an順shun序xu疊die加jia在zai一yi起qi。當dang樣yang本ben空kong間jian較jiao小xiao或huo類lei間jian差cha距ju不bu明ming顯xian時shi，這zhe些xie算suan法fa的de泛fan化hua能neng力li和he穩wen定ding性xing就jiu無wu法fa得de到dao保bao證zheng。深shen度du學xue習xi具ju有you準zhun確que、**、穩定的特點，這在醫學領域和大量圖像的分析和處理中具備巨大應用價值。但是常用的僅基於具有細胞空間特征的灰度或RGB圖像
，容易受到多種環境因素的影響
，如顯微鏡的光學條件、載玻片的厚度等。

高光譜成像（Hyperspectral imaging, HIS）技術是圖像和光譜技術的結合。獲得的高光譜數據包含被檢測目標的空間和光譜特征。雖然HSI在zai空kong間jian特te征zheng的de基ji礎chu上shang提ti供gong了le豐feng富fu的de光guang譜pu信xin息xi
，但dan數shu百bai個ge窄zhai波bo段duan使shi得de每mei張zhang高gao光guang譜pu圖tu像xiang占zhan用yong過guo多duo的de內nei存cun，巨ju大da的de計ji算suan資zi源yuan占zhan用yong使shi得de快kuai速su檢jian測ce難nan以yi實shi現xian。降jiang低di計ji算suan成cheng本ben的de有you效xiao方fang法fa是shi從cong整zheng個ge高gao光guang譜pu圖tu像xiang中zhong選xuan取qu目mu標biao區qu域yu作zuo為wei感gan興xing趣qu區qu域yu（Region of interest, ROI），隻計算ROI的光譜信息。然而

，ROI的獲取必須是手工的
，不能滿足快速和自動的要求。

具體研究內容如下：（1）利用高光譜顯微成像（Hyperspectral microscopic imaging, HMI）係統獲取血液塗片中含有白細胞區域的影像，並對每種類型的白細胞進行標記

，形成五種分類的數據集。（2）根據VGG16網絡架構構建一維CNN網絡，並基於WBC的光譜數據進行相應的訓練和預測
，驗證光譜數據作為WBC分類依據的可行性。（3）與一維CNN相似，采用Faster RCNN作為對照組，基於偽彩色圖像對WBC進行識別分類
，觀察基於單一數據的分類準確率。（4）最後，構建了基於圖像和光譜特征的多數據Faster RCNN深度學習模型，並探討多數據聯合在白細胞檢測中的可行性和優勢。

試驗設計

大連工業大學王慧慧教授團隊使用如圖1b所示的HMI係統采集血液圖片的高光譜數據。它由一個image-λ -N17E近紅外高光譜成像係統（江蘇雙利合譜公司）和一個三目生物顯微鏡（Nikon Eclipse 80i）和鹵光源組成。高光譜數據的波長範圍為382.3 ~ 1020.2 nm，光譜分辨率為1.8 nm。

為了驗證高光譜成像數據用於WBC分類的可行性，本研究構建三種網絡模型並探索其性能：基於WBC光譜數據的一維CNN

、基於WBC圖像特征的Faster RCNN和基於融合光譜和圖像特征的多數據Faster RCNN。一維CNN參考VGG16
，具體結構如圖2所示。圖3是Faster RCNN的詳細結構。其特征提取網絡為Resnet18，RPN網絡可以大大提高檢測WBC等小目標的能力。最後

，Dense和Softmax層將建議的框坐標和特定WBC類別作為Faster RCNN的輸出。對原有的Faster RCNN網絡進行修改，即在Faster RCNN的結構中加入光譜數據提取模塊、光譜特征提取網絡（一維CNN）和特征融合（Concatenate）層，構建多數據Faster RCNN檢測模型（圖4）。

圖1 主要研究流程圖

圖2 基於光譜數據的一維CNN結構

圖3 Faster RCNN的結構

圖4 多數據Faster RCNN

結論

如圖5所示
，在450 ~ 570 nm波長範圍內存在一個明顯的吸收穀，在640 ~ 680 nm波長範圍內存在一個較小的吸收穀。5種白細胞中
，Neu
、Eos、Lym和Mon含有酸性磷酸酶和過氧化物酶
，Bas含有大量的肝素和組胺酶。同時
，Neu還含有堿性磷酸酶，Eos含有芳基硫酸酯酶
，Lym含有遊離核糖體
，Monhanyoufeiteyixingzhimei。suoyouzhexiechengfendoushidanbaizhi。yinci
，womenrenweiguangpufanshelvdechayishiyouyumeigebaixibaozhongsuohanmeidechayizaochengde，zhelianggexishougukenengshibaixibaojiancemoxingdezhongdianguanzhuquyu。

圖5所有WBC（a）和五種WBC（b）的平均光譜反射率曲線

一維CNN對WBC的分類結果如圖6所示。從圖中可以清楚地看到

，模型在第20次迭代時基本收斂
，校準集和驗證集的損失分別為0.19和0.26，說明一維CNN對WBC光譜數據具有較強的適應性，適合分類。從混淆矩陣可以看出，每次分類的準確率都達到90%以上，沒有出現過擬合現象，說明該模型具有很好的泛化能力。模型的精度隨著召回率的增加而降低。另外，大多數白細胞的PR曲線在下降之前是穩定的，而Lym和Mon的PR曲線波動幅度較小，推測這兩種白細胞中的酶相似，因此它們的光譜反射率非常接近

，使得模型難以有效區分。

圖6 一維CNN的分類結果

WBC二維偽彩色圖像應用於Faster RCNN建模。從圖7的光譜波段權重可視化可以看出
，模型主要關注400 ~ 570 nm和640 ~ 700 nm範圍內的波段。這兩個範圍內的波段被模型賦予了更多權重

，從而包含了更多用於WBC識別的特征信息。在上述波段範圍內，在420.8 nm、536.5 nm和672.8 nm處(chu)存(cun)在(zai)較(jiao)強(qiang)的(de)光(guang)譜(pu)響(xiang)應(ying)峰(feng)和(he)波(bo)穀(gu)，表(biao)明(ming)其(qi)對(dui)應(ying)的(de)圖(tu)像(xiang)將(jiang)包(bao)含(han)較(jiao)強(qiang)的(de)響(xiang)應(ying)信(xin)息(xi)，選(xuan)擇(ze)這(zhe)些(xie)波(bo)峰(feng)和(he)波(bo)穀(gu)進(jin)行(xing)偽(wei)彩(cai)色(se)圖(tu)像(xiang)合(he)成(cheng)。然(ran)後(hou)，將(jiang)這(zhe)三(san)個(ge)波(bo)段(duan)對(dui)應(ying)的(de)單(dan)通(tong)道(dao)光(guang)譜(pu)圖(tu)像(xiang)分(fen)別(bie)映(ying)射(she)到(dao)R、G、B三個顏色通道進行合成。

圖8顯示了基於Faster RCNN的5種WBC類別在兩種不同圖像下的檢測結果。圖9展示了Faster RCNN模型的具體分類結果。從模型訓練的角度來看，總損失在20次迭代之前迅速下降

，80次迭代之後趨於平緩，基本收斂，這證明了Faster RCNN在本WBC圖像數據集中是可行的。與一維CNN相比，Faster RCNN不僅在訓練過程中收斂速度更慢，而且在Neu和Eos中的分類準確率也要低得多。然而，由於Lym的形態特征與Neu和Eos有很大的不同，因此不會與這兩者混淆。

圖10為從預測集得到的CAM圖。重點著色的區域基本集中在白細胞的細胞核上，這證明該模型主要根據細胞核的特征來區分不同的白細胞。而Lym和Mon的細胞核占據了大部分的細胞空間，使得細胞核的形態特征難以識別，導致模型將背景中一些顏色更深
、體積更大的紅細胞誤識別為Lym或Mon。然(ran)而(er)，紅(hong)細(xi)胞(bao)與(yu)白(bai)細(xi)胞(bao)在(zai)組(zu)成(cheng)上(shang)有(you)很(hen)大(da)的(de)不(bu)同(tong)，這(zhe)使(shi)得(de)它(ta)們(men)在(zai)光(guang)譜(pu)反(fan)射(she)率(lv)上(shang)更(geng)容(rong)易(yi)被(bei)識(shi)別(bie)。為(wei)此(ci)，建(jian)立(li)基(ji)於(yu)光(guang)譜(pu)反(fan)射(she)率(lv)和(he)圖(tu)像(xiang)特(te)征(zheng)的(de)多(duo)數(shu)據(ju)Faster RCNN聯合檢測模型，利用光譜和圖像的融合特征，提高模型對WBC的分類精度。

圖7 基於預測集WBC光譜波長的梯度加權類激活映射

圖8 基於偽彩色圖像的Faster RCNN對白細胞的檢測結果

圖9 Faster RCNN的分類結果

圖10 基於Faster RCNN的預測集梯度加權類激活映射

圖11詳細展示了多數據Faster RCNN的分類結果。當迭代次數達到40次時，校準集和驗證集的總損失值分別下降0.008和0.03，然後趨於穩定，證明模型訓練效果良好。與前兩種模型相比，Lym或Mon的分類精度有所提高。此外，各類別之間的混淆較少，表明該模型的預測能力得到了提高。從圖11c和表1可以看出，Lym和Mon的AP值改善最為明顯，分別達到0.917和0.911。融rong合he特te征zheng的de分fen類lei不bu僅jin減jian少shao了le白bai細xi胞bao之zhi間jian的de誤wu判pan，而er且qie有you效xiao地di減jian少shao了le背bei景jing與yu白bai細xi胞bao目mu標biao之zhi間jian的de誤wu判pan。證zheng明ming了le多duo數shu據ju聯lian合he檢jian測ce相xiang對dui於yu單dan一yi數shu據ju檢jian測ce的de可ke行xing性xing和he優you勢shi。

多數據Faster RCNN在預測集中得到的CAM圖如圖12所示。與單一數據一維CNN聚焦的400 ~ 570 nm和640 ~ 700 nm波段範圍相比
，多數據Faster RCNN模型在融合特征的指導下，聚焦的波段範圍分別為380 ~ 570 nm和640 ~ 950 nm。同時，與單一數據Faster RCNN相xiang比bi，背bei景jing的de注zhu意yi區qu域yu明ming顯xian變bian窄zhai，暗an紅hong色se區qu域yu更geng集ji中zhong在zai核he區qu。這zhe表biao明ming該gai模mo型xing更geng關guan注zhu細xi胞bao的de各ge種zhong特te征zheng，而er不bu是shi背bei景jing
，有you利li於yu在zai複fu雜za情qing況kuang下xia準zhun確que檢jian測ce白bai細xi胞bao，提ti高gao模mo型xing的de泛fan化hua能neng力li。

與現有的白細胞檢測方法相比，多數據Faster RCNN可以實現大量白細胞樣本的自動快速檢測，並且HMI的引入可以獲得高質量的細胞高光譜圖像，大大提高了檢測的準確性。該研究為其他生物試驗的高效準確開展提供了技術參考。

圖11 多數據Faster RCNN的分類結果

表1 多數據Faster RCNN在不同WBC分類中的性能比較

圖12 多數據Fasteer RCNN在預測集中的梯度加權類激活映射

作者信息

王慧慧，博士，大連工業大學機械工程與自動化學院教授
，博士生導師。

主要研究方向：基於機器視覺的智能檢測研究、裝備數字化設計。

參考文獻：

Zeng, F., Du, Z., Li, G., Li, C., Li, Y., He, X., An, Y., & Wang, H. (2023). Rapid detection of white blood cells using hyperspectral microscopic imaging system combined with Multi-data Faster RCNN. Sensors and Actuators B: Chemical, 389.

https://doi.org/10.1016/j.snb.2023.133865