高光譜成像預測膀胱癌分級：一種新型診斷策略

背景：

膀(pang)胱(guang)癌(ai)是(shi)全(quan)球(qiu)最(zui)常(chang)見(jian)的(de)泌(mi)尿(niao)係(xi)統(tong)惡(e)性(xing)腫(zhong)瘤(liu)之(zhi)一(yi)，其(qi)發(fa)病(bing)率(lv)和(he)死(si)亡(wang)率(lv)近(jin)年(nian)來(lai)持(chi)續(xu)上(shang)升(sheng)


，已(yi)成(cheng)為(wei)嚴(yan)重(zhong)的(de)公(gong)共(gong)衛(wei)生(sheng)問(wen)題(ti)。腫(zhong)瘤(liu)分(fen)級(ji)是(shi)膀(pang)胱(guang)癌(ai)診(zhen)療(liao)中(zhong)的(de)關(guan)鍵(jian)環(huan)節(jie)，能(neng)夠(gou)為(wei)個(ge)體(ti)化(hua)治(zhi)*fanganzhidinghehuanzheyuhoupinggutigongzhongyaoyiju。raner，muqianlinchuangshangpangguangaidefenjizhuyaoyilaibinglixuejiaduizuzhiqiepiandexianweiguanchayuzhuguanpanduan，zhezhongchuantongfangfacunzaizhenduanzhuguanxingqiang
、依賴經驗、效率低且易出錯等問題，難以滿足臨床對快速
、客觀
、高精度診斷的需求。

為克服這些局限，人工智能技術尤其是深度學習在醫學影像分析中得到廣泛應用
，已在病灶檢測、tuxiangfengejizhongliufenleidengrenwuzhongzhanxianchuyouyibiaoxian。raner，xianyouyanjiuduoyilaidanyimotaiyingxiang，weinengchongfenrongheduomotaishujudehubuxinxi，congerxianzhilezhenduandequan*性與穩定性。

高光譜成像（HSI）作zuo為wei一yi種zhong能neng夠gou同tong時shi獲huo取qu空kong間jian形xing態tai與yu光guang譜pu信xin息xi的de新xin興xing技ji術shu，能neng夠gou揭jie示shi組zu織zhi在zai不bu同tong波bo段duan下xia的de光guang譜pu特te征zheng變bian化hua
，對dui早zao期qi癌ai變bian組zu織zhi具ju有you高gao靈ling敏min度du和he高gao分fen辨bian率lv，在zai皮pi膚fu癌ai
、乳(ru)腺(xian)癌(ai)及(ji)肺(fei)癌(ai)等(deng)早(zao)期(qi)檢(jian)測(ce)中(zhong)已(yi)展(zhan)現(xian)潛(qian)力(li)。但(dan)其(qi)在(zai)膀(pang)胱(guang)癌(ai)分(fen)級(ji)中(zhong)的(de)應(ying)用(yong)尚(shang)處(chu)於(yu)起(qi)步(bu)階(jie)段(duan)，尤(you)其(qi)是(shi)結(jie)合(he)深(shen)度(du)學(xue)習(xi)與(yu)多(duo)模(mo)態(tai)融(rong)合(he)的(de)研(yan)究(jiu)仍(reng)然(ran)不(bu)足(zu)。

基(ji)於(yu)此(ci)

，本(ben)文(wen)提(ti)出(chu)了(le)一(yi)種(zhong)融(rong)合(he)高(gao)光(guang)譜(pu)成(cheng)像(xiang)與(yu)病(bing)理(li)圖(tu)像(xiang)的(de)多(duo)模(mo)態(tai)深(shen)度(du)學(xue)習(xi)模(mo)型(xing)，用(yong)於(yu)膀(pang)胱(guang)癌(ai)分(fen)級(ji)診(zhen)斷(duan)。通(tong)過(guo)整(zheng)合(he)組(zu)織(zhi)的(de)光(guang)譜(pu)與(yu)空(kong)間(jian)結(jie)構(gou)信(xin)息(xi)，並(bing)利(li)用(yong)深(shen)度(du)特(te)征(zheng)融(rong)合(he)機(ji)製(zhi)，實(shi)現(xian)了(le)對(dui)膀(pang)胱(guang)癌(ai)組(zu)織(zhi)的(de)精(jing)準(zhun)分(fen)級(ji)與(yu)智(zhi)能(neng)識(shi)別(bie)
，為(wei)提(ti)升(sheng)診(zhen)斷(duan)的(de)客(ke)觀(guan)性(xing)、精度與臨床可行性提供了新思路。

作者信息： 楊小青，山東*一醫科大學*一附屬醫院/山東省千佛山醫院病理科

期刊來源：Journal of Biophotonics

研究內容

本文提出了一種基於深度學習的多模態融合模型RVCK-net
，該係統集成了HSI和病理圖像以實現*確que的de膀pang胱guang癌ai分fen級ji。通tong過guo利li用yong來lai自zi兩liang種zhong模mo態tai的de空kong間jian和he光guang譜pu信xin息xi並bing采cai用yong自zi適shi應ying融rong合he機ji製zhi，實shi現xian了le膀pang胱guang癌ai的de準zhun確que分fen級ji。本ben研yan究jiu通tong過guo將jiang高gao光guang譜pu成cheng像xiang與yu深shen度du學xue習xi的de結jie合he
，實shi現xian了le膀pang胱guang癌ai組zu織zhi病bing理li分fen級ji的de快kuai速su、客觀、非侵入式識別，為臨床早期診斷與個體化治*提供智能輔助決策依據。

實驗設計

本研究的研究對象為在山東*一醫科大學附屬*一醫院泌尿外科住院的非肌層浸潤性膀胱癌（NMIBC）患者。病理切片采用3DHISTECH公司（匈牙利）的Pannoramic 250 掃描儀進行數字化，放大倍數為40×，共獲得120張全切片圖像（WSIs），其中包括50例低分級（LG）和70例高分級（HG）膀胱癌樣本，用於後續數字病理分析。

實驗中嚴格遵循標準化數據采集流程，使用20×物鏡的顯微高光譜係統采集高光譜數據。根據組織樣本麵積，每張切片采集5–8幅高光譜圖像。雖然GaiaMicro-V10係統的原始空間分辨率為2048×2048像素
，但研究人員手動裁剪出1392×1550像素的感興趣區域（ROI），以聚焦於腫瘤富集區域。為保證一致性與減少采樣偏差，ROI的選擇由病理專家確認，僅包含腫瘤區域，排除了偽影
、壞死或質量較差的圖像。各病例采樣數量保持一致，采用分層抽樣以維持50例LG與70例HG樣本在訓練與測試集中的比例。所有高光譜圖像數據通過光譜重采樣標準化為256個光譜波段。經偽彩合成後，醫生對圖像進行診斷性標注：首先標定膀胱癌組織區域
，再對不同分級腫瘤細胞進行分類標注。最終獲得標注完備的膀胱癌組織高光譜圖像塊，尺寸為1392×1550×256（寬×高×波段）
，用於後續數字分析。

本研究中使用的采集設備是GaiaMicro-V10顯微高光譜係統。GaiaMicro係列代表了能夠在寬光譜範圍內捕獲組織光譜信息的高性能顯微高光譜成像係統（400- 1000 nm）。GaiaMicro-V10配備高靈敏度CCD傳感器
，並具有 16 bit 的量化深度
，可實現高動態範圍與高精度的光譜數據采集。其光學孔徑為 F/2.4，光譜分辨率為 2.8 nm，空間采樣間隔（像素尺寸）為 0.5μm，可在顯微尺度上獲取組織的精細結構特征。係統生成的圖像尺寸為 2048×2048 像素，能夠實現高空間分辨率的樣品精細分析並捕捉微小結構細節。其係統結構示意圖如圖 1 所示。

​圖1 顯微高光譜成像係統結構示意圖

研究方法

本研究選用了 Daubechies 4（db4）小波作為去噪基函數。分解層數設為 3 ceng，gaicanshutongguoshiyanqueding，kezaibaoliuzhuyaoguangputezhengdetongshiyouxiaoyizhizaosheng。zaiquzaoguochengzhongcaiyongruanyuzhifangfa，yixueruogaopinzaoshengerbupohuaiguanjianguangpuxinxi；閾值選取依據 Donoho 的通用閾值準則
，並分別應用於每個光譜。閾值處理完成後，通過小波重構得到去噪後的高光譜圖像。

本文提出一種麵向病理圖像的跨模態交互融合網絡——RVCK-net
，其架構如圖2所示。模型采用雙分支設計，以 ResNet-34 與 Vision Transformer（ViT）協同完成特征提取，同步捕獲局部紋理、邊緣細節及全局上下文語義。ResNet-34 憑借殘差連接在深層網絡中有效保留局部細微特征，避免梯度消失
；ViT 則通過自注意力機製建模長程依賴，提煉高階全局語義。二者互補，為複雜病理結構的精準解析提供全*表征。在此基礎上
，模型將兩條分支提取的特征輸入到基於交叉注意力機製的多尺度特征融合模塊中

，實現不同模態特征的高*交互與信息互補，從而增強整體特征表達能力。融合後的特征經由多層感知機（MLP）統一變換，並最終通過全連接層進行分類。

為防止模型過擬合，在全連接層前加入Dropout機製以提升模型的泛化性能。訓練過程中采用 Adam 優化器（初始學習率 0.001）
，批大小為 32

，迭代 100 輪
，並使用餘弦退火（cosine annealing）學習率調度器動態調整學習率。上述參數均通過驗證集實驗優化獲得

，以實現*佳收斂性與泛化效果。

圖2  RVCK-net 結構圖

為了客觀地評估各種模型的性能，作者采用了總體準確度、*確度、召回率、F1評分和Brier評分（BS）指zhi標biao作zuo為wei膀pang胱guang癌ai分fen類lei的de評ping價jia標biao準zhun。此ci外wai，為wei了le證zheng明ming模mo型xing在zai不bu同tong場chang景jing下xia的de魯lu棒bang性xing

，這zhe些xie評ping估gu度du量liang與yu交jiao叉cha驗yan證zheng和he置zhi信xin區qu間jian相xiang結jie合he，以yi提ti供gong更geng可ke靠kao的de性xing能neng評ping估gu。

結果

為確保高光譜成像（HSI）在膀胱癌分級中的準確性與可靠性，設計了多步預處理流程。圖3 展示了從原始數據到最終去噪結果的演變
，並量化各步驟對圖像質量的提升效果。圖3a：原始圖像受噪聲與照明不均影響
，癌與正常組織難以區分。圖3b：經反射率校正後
，照明均勻性顯著改善，平均信噪比（SNR）提升 21.3%
，係統照明偽影被有效抑製，光譜可比性增強。圖3c：進一步采用小波多尺度去噪
，在保留關鍵光譜-空間信息的同時抑製高頻噪聲；峰值信噪比（PSNR）再增 3.7 dB
，背景方差降低 28.6%，充分保留診斷結構並減少無關變異。

圖3 高光譜圖像預處理結果：(a) 原始高光譜圖像；(b) 反射率校正後圖像
；(c) 小波變換去噪後圖像。

圖4 展示了不同分級膀胱癌腫瘤樣本經高光譜成像獲取的光譜特征。(a) 為低級別與高級別腫瘤的光譜強度曲線
，(b) 為對應的反射率光譜曲線。兩圖直觀呈現了不同分級腫瘤在光譜維度上的差異，為模型後續分類與分級提供了關鍵的光譜依據。

圖4  膀胱癌光譜曲線：(a) 原始光譜曲線；(b) 校準後光譜曲線

為驗證多模態融合（病理 + 高光譜）在膀胱癌分級診斷中的有效性，作者設計了對照實驗：先分別單獨使用病理圖像與高光譜圖像進行特征提取與分類，以評估各模態的獨立貢獻；隨後采用 RVCK-net 融合兩類特征，驗證多模態協同帶來的性能增益。具體結果見表1。具體來說，病理圖像模型取得了83.6%的準確率（±2.9%），Brier評分為0.69，而高光譜圖像模型的精度達到88.5%（±2.3%），Brier評分降低0.60。這表明高光譜成像在捕獲組織光譜細節方麵的優勢，使膀胱癌的診斷更加*確que。然ran而er，無wu論lun是shi病bing理li圖tu像xiang還hai是shi高gao光guang譜pu圖tu像xiang，單dan模mo態tai特te征zheng在zai準zhun確que性xing和he魯lu棒bang性xing方fang麵mian都dou存cun在zai局ju限xian性xing

，尤you其qi是shi病bing理li圖tu像xiang模mo型xing在zai處chu理li數shu據ju複fu雜za度du和he光guang譜pu信xin息xi方fang麵mian存cun在zai局ju限xian性xing，而er高gao光guang譜pu圖tu像xiang模mo型xing雖sui然ran能neng夠gou捕bu捉zhuo到dao豐feng富fu的de光guang譜pu信xin息xi，但dan缺que乏fa詳xiang細xi的de空kong間jian結jie構gou信xin息xi。

相較於單模態模型
，多模態融合框架 RVCK-net 在所有指標上均實現顯著提升。通過整合病理圖像的空間細節與高光譜數據的光譜信息，RVCK-net 達到 91.7 % (±1.9 %) 的*確率、90.6 % (±1.7 %) 的召回率
、93.7 % (±1.6 %) 的 F1 分數，以及 94.1 % (±1.5 %) 的總體準確率；Brier 分數降至 0.43，biaomingyucegailvgengjuzhixinduyukekaoxing。ronghecelvebujindafutigaolefenleijingdu，haizaiyingduifuzabinglitezhengshibiaoxianchugengqiangdelubangxing
，chongfenzhengmingduomotaihubunenggouquan*捕獲膀胱癌組織的空間-光譜特性
，從而增強對癌變區域的識別能力（見表 2）。

為了進一步驗證特征融合模塊在膀胱癌分級模型中的有效性
，作者使用三種不同的特征融合方法進行了消融實驗：簡單連接（Concat）
，連接後進行卷積（Concat+Conv）
，實驗結果表明
，采用簡單拚接的模型準確率為88.9%（±2.3%），Brier評分為0.58。引入卷積後，準確率提高到90.2%（±2.0%），Brier得分下降到0.53，說明卷積運算起到了增強特征提取能力的作用
，但隨著多模態融合策略的使用
，模型性能全*提升，準確率達到94.1%（±1.5%），並進一步將Brier評分降至0.43
，采用不同融合策略的消融實驗進一步驗證了多模態融合模塊的優越性。

圖5與圖6分別展示了混淆矩陣及核心指標（準確率、*確率、召回率、F1 分數）。綜合可見，RVCK-net 在多項關鍵指標上均表現*優。圖5b的混淆矩陣顯示，RVCK-net僅出現1例假陽性
、未發生假陰性，測試階段所有陽性樣本均被檢出，這一特性對亟需高敏感度的早期篩查尤為關鍵。結合圖6的量化指標，RVCK-net在多項評價維度上均居前列，其召回率顯著優於其他模型
，提示假陰性率大幅降低，同時在敏感度與*確度之間實現了更佳平衡。

本研究將所提出的 RVCK-net 模型與多種先進模型進行了對比，包括 CAFNet（基於通道注意力機製的CNN模型）、UbiSpectNet（結合Transformer結構以增強光譜特征提取的網絡）、AMM-Fusion（融合空間
、光譜與形態特征的注意力引導多模態融合模型）以及傳統的多模態融合模型（Concat+ConvBlock）。由圖6可見：CAFNet*確率較高，但召回率顯著落後，混淆矩陣顯示假陰性多
，易遺漏真實的癌變樣本。UbiSpectNet同樣假陰性偏高
，對高級別腫瘤識別能力不足。簡單多模態拚接+卷積塊（Concat+ConvBlock）各指標均衡，但整體性能不及RVCK-net與AMM-Fusion。AMM-Fusion憑借自適應注意力融合在各項指標上拔得頭籌，表現*佳；然而其複雜架構帶來的計算開銷在需要*效診斷的場景下不如RVCK-net有利。

圖5  各模型混淆矩陣。(a) UbiSpectNet；(b) RVCK-net；(c) CAFNet；(d) 多模態融合（Concat+ConvBlock）

圖6  不同網絡性能指標對比

結論

本文提出基於 RVCK-net 的(de)多(duo)模(mo)態(tai)深(shen)度(du)學(xue)習(xi)框(kuang)架(jia)，融(rong)合(he)高(gao)光(guang)譜(pu)與(yu)病(bing)理(li)圖(tu)像(xiang)特(te)征(zheng)，實(shi)現(xian)膀(pang)胱(guang)癌(ai)的(de)精(jing)準(zhun)分(fen)級(ji)。實(shi)驗(yan)結(jie)果(guo)表(biao)明(ming)
，相(xiang)較(jiao)單(dan)模(mo)態(tai)模(mo)型(xing)，多(duo)模(mo)態(tai)融(rong)合(he)在(zai)分(fen)類(lei)準(zhun)確(que)率(lv)

、魯棒性與診斷可靠性上均顯著提升。然而，研究仍存在局限：高光譜成像設備昂貴

、操作複雜、采(cai)集(ji)耗(hao)時(shi)
，可(ke)能(neng)限(xian)製(zhi)其(qi)即(ji)時(shi)臨(lin)床(chuang)應(ying)用(yong)。本(ben)方(fang)法(fa)不(bu)僅(jin)在(zai)技(ji)術(shu)層(ceng)麵(mian)拓(tuo)展(zhan)了(le)高(gao)光(guang)譜(pu)成(cheng)像(xiang)的(de)醫(yi)學(xue)應(ying)用(yong)邊(bian)界(jie)

，也(ye)為(wei)膀(pang)胱(guang)癌(ai)早(zao)期(qi)檢(jian)出(chu)與(yu)分(fen)級(ji)提(ti)供(gong)了(le)新(xin)工(gong)具(ju)。