AI智能化提取——基于Segment Anything Model 2 Geospatial 中的进行房屋建筑提取分析

概述

基于Meta的"分割一切模型"（SAM），SAMGeo Python工具包为地理空间数据带来了先进的图像分割能力。本实践研讨会专为渴望在项目中释放GeoAI潜力的地理空间爱好者、研究人员和专业人士设计。

参与者将探索如何利用SAMGeo对卫星和航空影像进行精准高效的图像分割。研讨会包含分步演示与实践练习，涵盖以下内容：

• SAM与SAMGeo介绍：了解SAM的架构与功能，及其在地理空间分析中的变革性应用。
• 数据准备：为多光谱通道的地理空间数据集进行分割任务预处理。
• SAMGeo实战操作：通过坐标点、边界框和文本提示，分割地理空间要素（如建筑、树木、水体）。
• 后处理技术：计算分割要素的几何属性，筛选结果并提取有价值信息。
• 数据可视化：以标准地理空间格式展示对象掩膜和分割要素，支持分析与报告。

研讨会结束时，参与者将获得运用SAMGeo解决真实地理空间挑战的实战经验，并掌握提升地理空间数据工作流程的新工具。

目标受众

本研讨会适合地理空间数据科学家、遥感分析师、研究人员，以及对AI应用于地理空间数据感兴趣的所有人士。

先决条件

• Google Colab账号
• 建议具备Python编程基础知识和地理空间数据概念

录像回放

研讨会录像已上传至YouTube：点击观看

SAM2模型与SAM模型的对比

Meta Segment Anything Model 2 (SAM 2) 模型介绍与优势对比

1. SAM 2 模型概述

Meta 的 Segment Anything Model 2 (SAM 2) 是 SAM 模型的升级版，旨在解决图像和视频中的可提示视觉分割问题。SAM 2 的核心思想是将图像视为单帧视频，从而将图像分割能力无缝扩展到视频领域。它采用了 Transformer 架构，并结合流式内存机制，实现了实时视频处理能力。

2. SAM 2 的核心特性

1. 统一的图像和视频分割能力 SAM 2 是首个能够同时处理图像和视频分割任务的统一模型。它支持从单帧图像到任意长度视频的分割，适用于多种场景。
2. 实时视频处理与记忆机制 SAM 2 通过引入流式内存机制，能够在视频帧之间跟踪目标对象，即使对象暂时消失或发生遮挡，也能保持连贯性。其处理速度可达每秒 44 帧，适用于实时应用场景。
3. 增强的交互性与提示技术 SAM 2 支持更高级的提示技术，包括点击、边界框和掩码输入。用户可以在任何帧上添加提示或进行修正，模型会实时更新分割结果。这种交互性使其在处理复杂场景时更加灵活。
4. 零样本泛化能力 SAM 2 具备强大的零样本泛化能力，能够分割未经过专门训练的物体。这一特性使其在处理多样化或不断变化的视觉内容时表现出色。

3. SAM 2 与 SAM 的对比

1. 性能提升
   • 准确性：SAM 2 在图像分割任务中的准确度显著高于 SAM，速度提升了 6 倍。
   • 视频分割：SAM 2 在视频对象分割任务中表现优异，特别是在跟踪物体部件方面，优于现有的专门视频分割模型。
2. 功能扩展
   • 视频支持：SAM 2 将 SAM 的图像分割能力扩展到了视频领域，支持实时视频分割和对象跟踪。
   • 记忆机制：SAM 2 引入了流式内存模块，能够在视频帧之间保持对象连续性，解决了遮挡和动态变化问题。
3. 交互性与效率
   • 交互时间减少：SAM 2 所需的交互时间比 SAM 减少了三倍，显著提高了用户效率。
   • 多掩码生成：SAM 2 在复杂场景中能够生成多个有效掩码，并根据置信度选择最佳结果，进一步提升了分割精度。

4. SAM 2 的应用场景

1. 创意产业：简化图像和视频编辑中的对象选择、背景替换和高级合成任务。
2. 科学研究：在医学成像中精确识别和分离不同身体部位，或在环境研究中分析卫星图像。
3. 自动驾驶：提高自动驾驶车辆感知系统的准确性，更好地识别和追踪行人、车辆和障碍物。
4. 增强现实：通过实时精确跟踪对象，创造更加沉浸式的 AR 体验。

5. 总结与展望

SAM 2 代表了计算机视觉领域的重要进展，它将图像和视频分割任务统一到一个高效的模型中，为众多应用场景提供了新的可能性。尽管 SAM 2 在处理复杂场景时仍面临一些挑战，但其开源性质将推动整个 AI 社区的创新和进步。未来，SAM 2 可能会在模型鲁棒性、多对象分割效率以及与其他 AI 技术的结合方面取得进一步突破。

通过 SAM 2，Meta 再次展示了其在计算机视觉领域的领先地位，为图像和视频分割技术的发展开辟了新的道路。

使用 Segment Anything Model (SAM) 对地理空间数据进行分割的 Python 软件包 🗺️

segment-geospatial

###简介 segment-geospatial 软件包的灵感来源于 Aliaksandr Hancharenka 编写的 segment-anything-eo 存储库。为了方便将 Segment Anything Model（SAM）用于地理空间数据，我开发了 segment-anything-py 和 segment-geospatial Python 软件包，现在可以在 PyPI 和 conda-forge 上下载。我的主要目标是简化利用 SAM 进行地理空间数据分析的过程，使用户能够以最小的编码工作量实现这一目标。我从 segment-anything-eo 软件库中改编了 segment-geospatial 的源代码，其原始版本归功于 Aliaksandr Hancharenka。

###功能

• 从瓦片地图服务 (TMS) 服务器下载地图瓦片并创建 GeoTIFF 文件
• 使用 Segment Anything Model (SAM) 和 HQ-SAM 对 GeoTIFF 文件进行分割 使用文本提示分割遥感图像 交互式创建前景和背景标记 从矢量数据集加载现有标记 将分割结果保存为常见的矢量格式（GeoPackage、Shapefile、GeoJSON） 将输入提示保存为 GeoJSON 文件 在交互式地图上显示分割结果 从时间序列遥感图像中分割对象

SAM与SAMGeo介绍

Meta AI于2023年4月推出的"分割一切模型"（SAM）是计算机视觉领域的重大突破，尤其在图像分割方向表现卓越。作为可提示式分割模型，SAM能根据坐标点、边界框或文本输入生成精确的分割掩膜。其显著特点是零样本迁移能力，无需额外训练即可适应新图像分布和任务，这得益于其在SA-1B数据集上的训练——该数据集包含1100万张图像的超过10亿个分割掩膜。

2024年8月，Meta AI在SAM基础上发布了升级版SAM 2。新版本实现了图像与视频的实时可提示对象分割，通过统一模型达到顶尖性能，支持快速精准提取任意视觉场景中的对象。SAM 2的核心增强包括精度与处理速度提升、高级提示技术，以及无缝处理视频分割任务的能力。

基于SAM和SAM 2的成功，SAMGeo Python工具包将这些能力扩展至地理空间数据领域。借助SAMGeo，用户可对卫星和航空影像执行高级图像分割任务，从地理空间数据集中提取关键信息。地理空间专业人员通过SAMGeo能优化工作流程，强化数据分析能力，并开拓遥感应用的新可能。

更多关于SAM与SAMGeo的信息，请访问幻灯片：查看链接

环境配置

本地安装依赖包

若在本地运行此笔记本，可通过以下命令安装所需包：

pip install samgeo

###使用conda进行安装

conda create -n sam python=3.12
conda activate sam
conda install -c conda-forge mamba
mamba install -c conda-forge segment-geospatial groundingdino-py gdal

###使用 Google Colab 如果使用 Google Colab，请确保为