傳感器技術的顯著進步使得獲取同一場景的多模態圖像成為可能。然而，受傳感器成像機制和復雜地面環境的影響，單模圖像往往不能提供足夠詳細的場景信息。例如，熱紅外圖像包含來自物體的熱輻射信號，因此在可見光譜之外提供了額外的信息，但紋理信息較弱。合成孔徑雷達(SAR)圖像具有豐富的地物極化信息，且不受云層覆蓋的影響，但嚴重缺乏細節信息。與紅外和SAR數據相比，可見光圖像雖然提供了大量的紋理細節，但極易受到天氣和光照變化的影響。因此，多模態圖像融合對于同時彌補單模傳感器的內容或細節不足，增強圖像提供的信息具有重要意義。
基于此，煙臺大學隋晨紅副教授的多模態遙感智能感知與認知團隊設計開發了一種新的交互式引導生成對抗網絡，稱為IG-GAN，用于多模態圖像融合任務。IG-GAN包括為增強細節和內容的學習以及跨模態一致性量身定制的引導雙流。此外，為了使融合網絡能夠在沒有監督的情況下生成內容完整、邊緣銳利、保真度高的融合圖像，還建立了一個損失函數，便于生成器和兩個鑒別器之間相互博弈。結果表明，IG-GAN可以通過整合不同模態的互補信息來提高目標檢測的精度。
相關工作以“IG-GAN: Interactive Guided Generative Adversarial Networks for Multimodal Image Fusion” 為題發表在期刊《IEEE Transactions on Geoscience and Remote Sensing》（影響因子8.2）上。該工作第一作者為隋晨紅副教授，第二作者是物理與電子信息學院2020級碩士研究生楊國彬。該工作受到了國家重點研發計劃項目、國家自然科學基金項目和中國博士后科學基金項目的資助。
來稿時間：9月13日 審核：劉希斌 責任編輯：安興爽
