REMOTE SENSING遙感SISR十年全景綜述GRSM 2026 · L8S2PS-SR 真實場景基準Deep Learning for Remote Sensing Image Superresolution導讀遙感圖像超分辨率的研究已經(jīng)走過了四十余年的歷程。隨著深度學習的不斷推進CNN、Transformer、GAN、Diffusion、Mamba等路線層出不窮但是有一個現(xiàn)實的問題一直存在合成退化上得到很高的分數(shù)是否可以真實的反映出衛(wèi)星影像中重建的能力呢已經(jīng)被IEEE Geoscience and Remote Sensing MagazineGRSM接受的內(nèi)容已經(jīng)完成了一次方法回顧。作者對近年來深度學習遙感單幅圖像超分辨率(SISR)的研究進行了系統(tǒng)的梳理并構建了一個真實的環(huán)境基準數(shù)據(jù)集L8S2PS-SR再用15 種代表性的方法對公開的數(shù)據(jù)集和真實的場景數(shù)據(jù)進行統(tǒng)一評價在同一篇文章中把“綜述-數(shù)據(jù)-實驗-未來方向”放在一起。PART. 01核心信息綜述、基準與測評一次到位論文標題Deep Learning for Remote Sensing Image Superresolution: A Comprehensive Review and a New Real-World Benchmark作者Fanen Meng, Sensen Wu, Yi Xiao, Qiangqiang Yuan, Zhiguo Jiang, Fengying Xie, Zhenhong Du, Haopeng Zhang*單位天目山實驗室、浙江大學、鄭州大學、武漢大學、北京航空航天大學論文鏈接https://doi.org/10.1109/MGRS.2026.3706999代碼鏈接https://github.com/Meng-333/L8S2PS-SRDemohttps://pan.baidu.com/s/1AmqSB3HznH_mDTxuBy3OVQ?pwddemo完整數(shù)據(jù)https://pan.baidu.com/s/1MrYTAOhbUgrZsBCLAptbKQKagglehttps://www.kaggle.com/mengfanen/datasets一句話概括本文把近十年方法譜系、真實世界數(shù)據(jù)集和統(tǒng)一測評放到了一套完整框架里。論文的封面上有作者的信息論文把工作總結(jié)為三方面全面綜述、建立真實的環(huán)境作為標準、以及系統(tǒng)的評價和未來的方向分析。01全面綜述對最近十年來以深度學習為基礎的單幅遙感圖像超分辨率的研究文獻進行回顧包括相關的算法、系統(tǒng)的比較、數(shù)據(jù)集和評價指標等。論文在貢獻總結(jié)部分把現(xiàn)有的方法歸結(jié)為七種類型CNN、Transformer、GAN、Diffusion、Mamba、Foundation Model、HybridFig. 2/ Fig. 3 主要網(wǎng)絡結(jié)構圖和數(shù)量統(tǒng)計集中在CNN、Transformer、GAN、Diffusion以及Mamba這五種上。02、建立真實的環(huán)境作為標準L8S2PS-SR 最后剩下195個場景/ROI可以適用于各種不同的季節(jié)以及地理位置數(shù)據(jù)集正文部分包含了空間配準后的Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope影像Landsat 8-Sentinel-2、Sentinel-2-PlanetScope 構成了不同尺度的真實世界 SR 配對。03系統(tǒng)測評對15種代表性的方法進行合成數(shù)據(jù)集和真實場景數(shù)據(jù)上的評價并就遙感圖像超分辨率所面臨的問題以及未來的研究方向進行討論。Fig. 1論文的整體結(jié)構框架包括架構、公開的數(shù)據(jù)、評價指標、L8S2PS-SR、實驗、挑戰(zhàn)和未來方向PART. 02背景空間分辨率為什么是遙感低層視覺的硬需求遙感對地觀測屬于現(xiàn)代技術體系的重要部分可以給環(huán)境監(jiān)測、城市規(guī)劃、精準農(nóng)業(yè)、軍事偵察和災害管理等各個領域提供重要的數(shù)據(jù)支持。在光學遙感中空間分辨率越高所得到的影像中地物的細節(jié)就越清晰這對圖像分類、目標識別、語義分割等精細的應用來說意義重大。目前提高遙感圖像的空間分辨率主要途徑有二種硬件改進與軟件改進。升級硬件的成本很高工藝水平也很高研發(fā)周期很長而且遙感傳感器的載荷和信噪比提高已經(jīng)到了物理極限。軟件途徑就是在現(xiàn)有的硬件條件下利用設計好的算法來提高遙感圖像的空間分辨率。超分辨率(Super-Resolution, SR)重建是利用一幅或多幅低分辨率(LR)圖像來重建出高分辨率(HR)圖像在一定程度上可以恢復出圖像中丟失的一些細節(jié)信息。從而提升圖像的質(zhì)量。對于單幅超分辨率問題本文首先從圖像退化的角度來給出定義其中 f 表示退化函數(shù)ILR與 IHR分別表示退化后低分辨率圖像和原高分辨率圖像s 為下采樣倍率。論文還提到常用的Bicubic合成退化不能完全模擬真實的退化過程因此提出了一個包含模糊核、下采樣和噪聲等更復雜的退化模型。遙感圖像SISR的研究已經(jīng)有四十多年的歷史了。早期的傳統(tǒng)SR方法可以歸結(jié)為以下三種類型基于插值法、基于重建法和基于學習法。近幾年來在深度學習技術不斷進步的過程中各種SR方法也相繼出現(xiàn)并且使得性能不斷提高。但是作者認為在遙感領域中對深度學習SISR進行全面綜述仍然不足早期綜述覆蓋不全部分綜述沒有包括從2022年至2025年期間出現(xiàn)的新方法。但是最新的綜述一般只會做方法上的回顧缺少統(tǒng)一的性能對比以及真實的世界上超分辨率的數(shù)據(jù)集。PART. 03十年方法譜系從CNN、Transformer到Diffusion和Mamba論文匯集了過去十年間共253篇有關的研究成果在方法綜述的主要網(wǎng)絡范式統(tǒng)計中又以2026年5月作為檢索截止日期統(tǒng)計了從2015年開始至今的110篇相關的研究并將它們的主要結(jié)構歸結(jié)為五種類型CNN、Transformer、GAN、Diffusion和Mamba。根據(jù)論文中給出的統(tǒng)計數(shù)據(jù)圖可以知道在 2020 年之后各種方法的發(fā)表數(shù)量明顯增多。從 2022 年之前來看CNN 仍然處于主導地位之后 GAN、擴散模型和 Transformer 等的數(shù)量也迅速增多Mamba 也開始參與到遙感超分辨率的研究當中來。兩種組織口徑的存在使得論文中的貢獻總結(jié)中還把基礎模型和混合架構單獨列出一個類別所以完整的綜述口徑是七個類別Fig. 2/ Fig. 3 主要架構示意圖和數(shù)量統(tǒng)計集中于五種網(wǎng)絡范式。兩種口徑服務的是不同的層次的綜述組織二者并不矛盾。Fig. 2CNN、Transformer、GAN、Diffusion 以及 Mamba 五種SR網(wǎng)絡結(jié)構示意圖Fig. 32020-2026年5月不同深度學習網(wǎng)絡在遙感SR中的論文數(shù)量Fig. 4遙感圖像超分辨率研究關鍵詞詞云Table 1代表性的遙感單幅超分辨率方法概覽PART. 04L8S2PS-SR把超分辨率 benchmark 搬到真實的衛(wèi)星場景為進一步縮小合成數(shù)據(jù)和現(xiàn)實世界之間差距的研究中使用了Google Earth Engine、Google Drive以及Planet衛(wèi)星影像數(shù)據(jù)云平臺建立了一個可以模擬真實的環(huán)境并且能夠進行空間配準的多個來源超分辨率數(shù)據(jù)集。數(shù)據(jù)來源于Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope等衛(wèi)星包含了各個季節(jié)和地點的數(shù)據(jù)總的存儲量為217.3GB。Landsat 8 影像的空間分辨率是30 米Sentinel-1和Sentinel-2都是10 米PlanetScope 為3.7 米。經(jīng)過數(shù)據(jù)篩選和人工審核之后最后被保留195 個場景/ROI。Sentinel-2和PlanetScope數(shù)據(jù)之間的時間間隔小于等于7天Sentinel-2和Landsat8數(shù)據(jù)之間的時間間隔小于等于30天。該套數(shù)據(jù)的關鍵不只在于“分辨率不一樣”而且要盡量保證空間配準、時間接近和無云遮擋。作者使用隨機ROI采樣、影像拼接、兩輪人工檢查以及PlanetScope數(shù)據(jù)篩選等方法最后得到了不同季節(jié)、不同地理區(qū)域的真實場景樣本。真實的 world benchmark 有什么用而在于它把算法從理想的合成中拉回到真實的傳感器、真實的時延和真實的地理分布。Table 3遙感SR常用的公開數(shù)據(jù)集對比L8S2PS-SR面向全球尺度的真實世界的SRFig. 7/8數(shù)據(jù)對提取流程和規(guī)則矩形區(qū)域選擇Fig. 9最終ROI結(jié)構包括四季、城市和鄉(xiāng)村場景Fig. 10全球隨機ROI分布和真實的遙感圖像示例PART. 0515 種方法實測CNN、擴散模型、Transformer 各有千秋本文在公開的NWPU-RESISC45數(shù)據(jù)集以及所提的L8S2PS-SR數(shù)據(jù)集中進行實驗并得到結(jié)果。對基線方法Bicubic以及15種代表性SR模型進行定量和定性實驗包括DRCAN、DSSR、AMSSRN、EGASR、ESRGAN等。SRAGAN、NDSRGAN、SRADSGAN、SwinIR、TransENet、HAT、TTST、EDiffSR、FastDiffSR、CNN-DiffSR。根據(jù)論文在NWPU-RESISC45上的一致性對比以及實際場景下的實驗結(jié)果可以得出CNN 方法在像素級別的PSNR、SSIM等指標上都具有明顯的優(yōu)勢而CNN和GAN類方法的復雜程度總體上低于擴散模型擴散模型在FID、LPIPS以及視覺效果上都具有很強的競爭優(yōu)勢而在像素保持一致性的前提下Transformer可以達到感知質(zhì)量以及復雜度之間的平衡。Table 4NWPU-RESISC45上15種方法的×4超分辨率定量結(jié)果論文中對于PSNR的定義是MAX(IHR)表示HR圖像的最大像素值MSE(ISR,IHR))表示SR重建結(jié)果和HR真值之間的均方誤差。論文里PSNR 越大就說明像素級別的重建質(zhì)量越好FID用來評價SR圖象和真值圖象之間的分布差異LPIPS用來評價感知相似性兩者都要求越小越好。因此在不同的方法分別在PSNR/SSIM和FID/LPIPS上占優(yōu)的時候并沒有矛盾之處而是在于說明**“數(shù)值保真”與“視覺感知”之間還存在著選擇的問題**。Fig. 14Landsat 8/Sentinel-2建筑場景上3×超分辨率的結(jié)果Fig. 15Sentinel-2/PlanetScope儲罐場景上3×超分辨率的結(jié)果PART. 06挑戰(zhàn)和展望接下來的研究會往哪個方向發(fā)展本文對目前遙感SISR領域所遇到的問題以及今后的研究方向進行了總結(jié)。論文正文把歸納為四種類型真實的LR-HR配對數(shù)據(jù)稀缺、大倍率SR、跨模態(tài)SR處理以及實時/在線SR。其中目前大部分現(xiàn)有的模型仍然針對某一特定模態(tài)進行設計跨模態(tài)和零樣本遷移的能力不夠大多數(shù)深度學習SR模型都存在這個問題計算復雜度高、模型規(guī)模大但是也受到了資源限制以及實時應用的影響。方向輕量高效SR使模型在參數(shù)量、計算量以及恢復能力上達到一個更加現(xiàn)實的平衡點。方向|和下游遙感視覺任務相結(jié)合除了要使圖像看起來更加清楚之外還要去驗證該算法對于分類、檢測、分割等任務是否有實際的幫助。方向適合遙感特點的新穎評價標準論文認為目前使用的PSNR、SSIM等全參考指標都存在評價維度少、不能反映人的視覺感受以及和后續(xù)的任務不相關等問題未來的遙感指標應該更加符合遙感的特點并且能夠體現(xiàn)出分類、檢測等一系列后端功能的表現(xiàn)另外還要探索出適合遙感領域的無參照評價指標。論文正文部分一共提到了七種以后的研究方向。除了上述三種情況之外還明確指出真實的現(xiàn)實、真實的地理所對應的人力資源-地理位置HR-LR訓練數(shù)據(jù)連續(xù)尺度SR、多模態(tài)遙感SR框架、遙感SR大模型等。遙感超分辨率要想真正地走向真實的這個世界還需要真實的地理對應的訓練數(shù)據(jù)、連續(xù)尺度和多模態(tài)處理能力、下游任務驗證、輕量化部署以及更加貼近遙感應用的新穎評價指標。PART. 07往期推薦END