论文标题：When Remote Sensing Meets Foundation Model: A Survey and Beyond

论文链接：https://www.mdpi.com/2072-4292/17/2/179

期刊名：Remote Sensing

期刊主页：https://www.mdpi.com/journal/remotesensing

在遥感大数据与人工智能深度融合的时代背景下，深度学习技术已广泛应用于资源勘探、环境监测、精准农业、军事侦察等领域。然而，传统深度神经网络（DNN）严重依赖人工标注数据，且通常只能针对单一任务进行训练，难以满足遥感应用对多任务、多模态智能解译的需求。近年来，基础模型（Foundation Models, FMs）作为人工智能领域的重要突破，通过从海量多模态数据中学习丰富特征，实现了单一模型对多种视觉任务的零样本预测能力，为解决遥感图像标注稀缺问题提供了新思路。

然而，遥感图像与自然图像在成像机理、观测视角、地物尺度等方面存在本质差异，直接应用通用基础模型往往效果有限。针对这一挑战，首都师范大学信息工程学院霍春雷团队联合中国科学院空天信息创新研究院、中国科学院西安光学精密机械研究所等机构的研究人员，在Remote Sensing期刊发表了题为"When Remote Sensing Meets Foundation Model: A Survey and Beyond"的综述文章，系统梳理了通用基础模型与遥感领域专用基础模型的最新进展，并深入探讨了该领域面临的开放挑战与未来发展方向。

图1. 用于自然图像和遥感图像视觉任务的基础模型流程图。

主要研究内容以及发现

该综述从基础模型的预训练策略、微调技术与适配方法出发，全面回顾了四大类基础模型在遥感领域的应用：

1. 视觉基础模型（Vision Foundation Models）

研究团队详细分析了基于Vision Transformer（ViT）、卷积神经网络（CNN）以及新兴Mamba架构的视觉基础模型。特别值得关注的是，Mamba模型凭借其线性复杂度的状态空间建模能力，在高分辨率遥感图像处理中展现出独特优势。文中列举了HSIDMamba（高光谱去噪）、Pan-Mamba（全色锐化）、ChangeMamba（变化检测）等十余种遥感专用Mamba模型，证实其在长序列建模任务上的卓越性能。

2. 文本提示基础模型（Textually Prompted FMs）

该类模型将传统遥感任务重新定义为开放词汇识别问题。代表性工作包括RemoteCLIP（首个遥感视觉-语言基础模型）、EarthGPT（多模态大语言模型）、SkyEyeGPT（统一遥感视觉-语言理解模型）等。这些模型通过图像-文本对齐学习，实现了零样本场景分类、视觉定位、图像描述生成等新功能。

3. 视觉提示基础模型（Visually Prompted FMs）

以Segment Anything Model（SAM）为代表的视觉提示模型在遥感图像分割领域引发广泛关注。研究团队总结了SAM与CLIP结合的"预SAM"和"后SAM"两种策略，并介绍了RSBuilding（建筑物提取）、SAM-Road（道路网络提取）、RSPrompter（实例分割）等典型应用，证实基础模型在减少人工标注依赖方面的巨大潜力。

4. 异构基础模型（Heterogeneous FMs）

遥感异构基础模型目前较少。

图2.最新的基础模型（里程碑式模型以红色标标注）

通过对现有研究的系统分析，研究团队总结出遥感基础模型面临的三大核心挑战：

数据层面：遥感数据存在显著的多模态异质性（光学、SAR、高光谱等）、空间分辨率差异及观测视角变化，加之高质量多模态标注数据稀缺，制约了基础模型的泛化能力。同一模型（SkySense）在不同变化检测数据集（LEVIR-CD与OS-CD）上的性能差异可达30%以上。

模型层面：现有架构难以充分捕捉遥感图像特有的地理先验知识与物理约束；在属性推理、评估推理等高级语义理解任务上，主流模型表现甚至低于随机猜测水平；模型规模与计算效率的矛盾也限制了在实时处理等场景的应用。

应用层面：遥感任务面临目标尺度变化大、视角差异显著、传感器特性复杂等特有困难，且现有研究多针对单一任务独立优化，缺乏多任务协同学习的系统性探索。

基于上述挑战，研究团队提出了八个重点发展方向：

• 多模态标注增强

• 领域专用架构设计

• 认知启发的模型增强

• 域自适应技术

• 多任务协同学习

• 自适应提示学习

• 模型评估体系

• 模型压缩优化

研究意义与展望

基础模型已成为遥感领域的热门话题，并在各类遥感任务中初步展现出广阔的应用前景。然而，遥感图像与自然图像之间的本质差异，使得通用基础模型在遥感图像上的应用受到限制。本文首先回顾了基础模型的通用技术，随后对遥感基础模型进行了系统性综述，并探讨了当前技术的局限性以及未来的发展方向。

Remote Sensing期刊介绍

主编：Prasad S. Thenkabail, USGS Western Geographic Science Center (WGSC), USA; Dongdong Wang, Peking University, China

期刊范围涵盖遥感科学所有领域，从传感器的设计、验证和校准，到遥感在地球科学、环境生态、城市建筑等各方面的广泛应用。