将该目录添加到自己的环境变量Path中,比如我的路径是:E:\C++\Library\gdal\release-1800-gdal-2-1-0-mapserver-7-0-1\bin
Windows下的开发环境搭建参考博文:GDAL开发环境搭建(VS2010 C++版)
本文介绍基于C++语言的GDAL库,基于一个存储大量遥感影像的文件夹,依据每一景遥感影像的文件名中表示日期的那个字段,找出这些遥感影像中缺失的成像日期,并新生成多个像元值全部为0的栅格文件,作为这些缺失日期当日的遥感影像文件的方法。
前面写了几篇博客介绍了Geotrellis的简单使用,具体链接在文后,今天我主要介绍一下Geotrellis在数据处理的过程中需要注意的细节,或者一些简单的经验技巧以供参考。 一、直接操作本地Geotiff 如果不想将tiff数据切割成瓦片存放到集群中,也可以直接使用Geotrellis操作本地geotiff文件,可以直接使用SinglebandGeoTiff读取单波段的tiff,使用MultibandGeoTiff读取多波段tiff。 val geotiff = SinglebandG
前言 在上一篇文章中我讲了如何直接将Geotiff文件发布为TMS服务,在其中只讲了单幅Geotiff的操作,其实单幅这种量级的数据对Geotrellis来说就是杀鸡焉用牛刀,Geotrellis针对的是大数据量的操作。在进行完单幅Geotiff的操作后,就去出差了一周,这一周也没闲着,稍有空隙便在思索这个问题,并抽空写那么两行,回来一调试果然可以,于是就有了本文。下面我来介绍如何对大量Geotiff实时进行TMS服务化操作。 一、总体效果 上次使用的是北京首都国际机场影像数据,这次我又下载了部分北京市区影
MEIC清单仅为中国境内的排放清单,但是在模拟全国污染场的案例中,中国周边国家的排放是不容忽视的,因此需要通过MIX清单来对MEIC进行一个补充。
前言 传统上我们需要先将Tiff中存储的影像等数据先切割成瓦片,而后再对外提供服务。这样的好处是服务器响应快,典型的用空间来换时间的操作。然而这样造成的问题是空间的巨大浪费,一般情况下均需要存储1-18级左右的瓦片数据。我一直在思考有没有办法不存储瓦片而直接发布TMS服务,当然这样响应速度肯定是要受一点影响,但是基于Geotrellis的分布式计算对这一点提供了巨大帮助,大大缩短了瓦片临时切割(存储于内存中)所用的时间。而且这样不仅仅是节省了存储空间的问题,何况我们有时可能只是为了查看数据情况(大量的Tif
由于将geotiff文件转为WRF所需的二进制文件,需要在服务器上编译安装convert_geotiff。
前言 Geotrellis 已经迭代到了 2.0 版本(截止写作此文时为 2.0.0-SNAPSHOT 版),2.0 版多了很多新的特性,其中最重要的应该就是 COG,COG 是什么鬼?刚看到时我也是一脸懵,认认真真的学习了一天,稍有体会,本文对此进行简单介绍。 一、COG 简介 1.1 什么是 COG COG 是 Cloud Optimized GeoTIFF's 的简称,从这个名字就能大概猜出他的意义——云端优化的 GeoTIFF。GDAL 官方 WIKI 定义如下: A cloud optimize
前言 前面介绍过了如何在 ETL 的时候更新 Layer,使得能够在大数据量的时候完成 ETL 操作,同时前两篇文章也介绍了 COG 以及如何在 Geotrellis 中实现 COG 的读取。本文介绍如何在进行 COG 方式 ETL 的时候实现 Layer 的更新。 一、实现 1.1 原理分析 其实实现 COG 方式的 Layer 更新就是把上述两种方式结合起来,唯一的区别在于普通的 ETL 操作更新的时候需要合并的是同一个 Layer 下编号相同的瓦片,而 COG 方式的 ETL 更新的时候需要合并的是同
本教程通过一个制作珠江三角洲模拟域(空间分辨率:3km)的排放清单来讲解以下两个程序的运行流程。
HDF(Hierarchical Data Format)由NCSA(National Center for Supercomputing Applications)设计提出,官方对其定义是:HDF5 is a unique technology suite that makes possible the management of extremely large and complex data collections.
本文介绍基于C++语言GDAL库,批量创建大量栅格遥感影像文件,并将数据批量写入其中的方法。
Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html 目录 前言 BUG说明 解决方案 总结 一、前言 在上一篇文章中介绍了一个自己写程序过程中的BUG,并提出质疑是否是Geotrellis的BUG,又经过几天的折腾之后,最终可以明确证明这个BUG肯定是Geotrellis造成的,现记录之。 二、BUG说明 当我们将一个Byte有符号类型的Getiff数据使用Geotrellis(版本0.10.1
前言 上一篇中简单介绍了 COG 的概念和 Geotrellis 中引入 COG 的原因及简单的原理,本文为大家介绍如何在 Geotrellis 中使用 COG 来写入和读取 GeoTIFF数据。 一、写入数据——ETL 1.1 实现方案 其实这与之前的普通 ETL 操作在概念上是相似的,都是将原始数据转换成系统能用的数据的过程,这是宽泛的 ETL 的定义。在 Geotrellis 中实现很简单,与之前代码基本一致,只要切换一下 writer 类型以及最后建立金字塔额时候略有不同。实现方案如下: val i
本文介绍基于C++语言GDAL库,批量读取大量栅格遥感影像文件,并生成各像元数值的时间序列数组的方法。
不知道该怎么详细地写,直接上代码算了! (开发环境的搭建参考我的博文:GDAL开发环境搭建(VS2010 C++版))
之前简单介绍了geotrellis的工作过程以及一个简单的demo,最近在此demo的基础上实现了SRTM DEM数据的实时分析以及高程实时处理,下面我就以我实现的上述功能为例,简单介绍一下geotrellis的数据处理过程。 一、原始数据处理 geotrellis支持geotiff的栅格数据(矢量数据还未研究),可以将geotiff直接缓存至hadoop框架下的Accumulo NOSQL数据库,并建立金字塔等,具体处理过程在geotrellis.spark.etl.Etl类中。具体代码如下: 1 de
ABoVE: AirSWOT Ka-band Radar over Surface Waters of Alaska and Canada, 2017
前言 这两天帮一个朋友处理了些 nc 数据,本以为很简单的事情,没想到里面涉及到了很多的细节和坑,无论是“知难行易”还是“知易行难”都不能充分的说明问题,还是“知行合一”来的更靠谱些,既要知道理论又要知道如何实现,于是经过不太充分的研究后总结成此文,以记录如何使用 python 处理 nc 数据。 一、nc 数据介绍 nc 全称 netCDF(The Network Common Data Form),可以用来存储一系列的数组,就是这么简单(参考https://www.unidata.ucar.edu/so
ABoVE: LVIS L3 Gridded Vegetation Structure across North America, 2017 and 2019
scikit-image包含一下相关子模块,这里我们使用io模块实现格式转换,输入的geotiff具有很多个波段。
目录 前言 变化情况介绍 总结 一、前言 之前版本是0.9或者0.10.1、0.10.2,最近发现更新成为1.0.0-2077839。1.0应该也能称之为正式版了吧。发现其中有很多变化,在这里为大家简单介绍。 二、变化情况介绍 2.1 数据导入变化 之前数据导入参数基本都要写在命令行,刚查看之前写的博客发现没有介绍数据导入的,只有一个老版的调用本地数据的,本文就在这里简单介绍Geotrellis的数据导入。 Geotrellis可以将数据(Tiff)从本地、HDFS
由于WRF自带最高分辨地形数据是30s的,约900m。要使用更高分辨率的地形数据需要自己制作、添加。下面简要介绍一下下载、制作和使用流程,仅供参考。
在气象数据分析中,地理空间要素是一个必须考虑的关键特征项,也是重要的影响因素。例如气温会随着海拔的升高而降低,地形的坡向朝向也会影响风速的分布,此外,典型的地形会形成特定的气候条件,也是数据挖掘中可以利用的区域划分标准。数据分析中,地理空间分析往往能提供有效的信息,辅助进行决策。随着航空遥感行业的发展,积累的卫星数据也成为了数据挖掘的重要数据来源。 地理空间分析有好多软件可以支持,包括Arcgis,QGIS等软件平台,本系列文章将会着重分享python在地理空间分析的应用。主要包括地理空间数据的介绍,常用的python包,对矢量数据的处理,对栅格数据的处理,以及常用的算法和示例。 地理空间数据包括几十种文件格式和数据库结构,而且还在不断更新和迭代,无法一一列举。本文将讨论一些常用的地理空间数据,对地理空间分析的对象做一个大概的了解。 地理空间数据最重要的组成部分:
要上传和管理地理空间数据集,请使用代码编辑器中的资产管理器。资产管理器位于代码编辑器左侧的资产选项卡上(图 1)。有关上传栅格(图像)数据的说明,请参阅导入栅格数据,有关上传表格数据的说明,请参阅导入表数据。您的资产最初是私有的,但可能会与他人共享。有关详细信息,请参阅 共享资产部分。
在这个教程中,我们将学习如何使用three.js渲染土耳其最高的Ağrı山脉的数字高程模型(DEM)数据,使用的工具包括Three.js、geotiff、webpack和QGIS。
版权声明:本文为博主原创文章,转载请注明原文出处! https://blog.csdn.net/T_27080901/article/details/82194108
WRF中地形数据(海拔高度)分辨率最高为30s,差不多就是900m,当模型空间分辨率较高时,比如在低于1km的情况下,经常会考虑增加地形高度的分辨率,这里使用美国的SRTM( Shuttle Radar Topography Mission)的DEM数据,这个数据覆盖了全球陆地,在美国本地分辨率为1s,其他地区为3s(约90m),因此使用这个更高分辨率数据来测试一下。
参看《从二进制数据流中构造GDAL可以读取的图像数据》这篇文章。这个问题的内涵在于,处理图像时都会将其读取成宽X高X波段的三维数组的内存Buffer,但是图像文件本身却会被压缩成各种各样的数据类型(jpg、png、tif等)。在某些直接获取到数据流的情况下,可以直接在内存中构建GDAL数据集并进行读写操作,这样就可以避免磁盘IO的性能。
GeoTrellis是一个基于Apache spark 的用于处理栅格数据的scala库和框架 1.可以高效的读/写和操作栅格,实现了地图运算和矢栅转换工具 2.可以将栅格数据渲染成PNG图片,元数据转换成JSON
目录 前言 整体介绍 前台界面 后台控制 总结 一、前言 之前Geotrellis数据导入集群采用的是命令行的方式,即通过命令行提交spark任务来ingest数据,待数据导入完毕再启动主程序进行数据的调用。这样造成的一个问题就是数据导入与数据处理不能无缝对接,并且只能由管理员导入数据导入数据流程也很麻烦,用户想要导入自己的数据几乎不可能。本文为大家介绍一种自动数据导入方式——通过浏览器前端界面实现交互式数据导入。 二、整体介绍 通过浏览器方式导入,摆脱了SHELL的限制并且可交
GIS数据有很多种分类方式,按照数据结构可分为矢量数据、栅格数据、DEM数据,还可以再细致的分为数据库格式、点云格式、3D格式,也可以按照各厂家和标准类别来分等等。
上文《GeoServer发布地图服务 》介绍了如何利用GeoServer发布WCS服务,那么如果我有很多数据需要进行发布,这样利用GeoServer提供的UI界面进行操作显然很不显示。那能不能利用GeoServer提供的API进行操作呢?GeoServer提供了REST API方便我们利用代码进行操作。用户手册中提供了如下语言或方法进行操作:cURL,PHP,Python,Java和Ruby。
Landsat 卫星计划由美国地质勘探局 (USGS) 和美国国家航空航天局 (NASA) 管理,从 1972 年起至今,一直致力于采集覆盖整个地球的图像。这个海量资料档案库包含超过四百万图像,全部可通过公共下载渠道获得 - 但是对用户来说,找到最合适的图片是一大挑战。在本课程中,您作为一名城市规划师,正在研究东南亚人口稠密的城邦岛屿新加坡,并且您正在寻找支持发展规划项目的影像。使用 USGS Global Visualization Viewer (GloVis) 应用程序,您将标识并下载代表新加坡的 Landsat 图像。
美国国家航空航天局(NASA)和国际商业机器公司(IBM)合作,利用大规模卫星和遥感数据,包括大地遥感卫星和哨兵-2 号(HLS)数据,创建了地球观测人工智能基础模型。通过奉行开放式人工智能和开放式科学的原则,两家机构都在积极为促进知识共享和加快创新以应对重大环境挑战的全球使命做出贡献。通过Hugging Face的平台,他们简化了地理空间模型的训练和部署,使开放科学用户、初创企业和企业能够在watsonx等多云人工智能平台上使用这些模型。此外,Hugging Face 还能在社区内轻松共享模型系列(我们的团队称之为 Prithvi)的管道,促进全球合作和参与。有关 Prithvi 的更多详情,请参阅 IBM NASA 联合技术论文。
1. https://bitbucket.org/osrf/gazebo_tutorials/raw/default/dem/files/
最近想用C++在windows下实现一个基本的图像查看器功能,目前只想到了使用GDI或OpenGL两种方式。由于实在不想用GDI的API了,就用OpenGL的方式实现了一下基本的显示功能。
深度学习已经占据了解决复杂问题的大多数领域,地理空间领域也不例外。文章的标题让您感兴趣,因此希望熟悉卫星数据集 ; 目前,Landsat 5 TM。机器学习(ML)算法如何工作的知识很少,将帮助快速掌握这本动手教程。对于那些不熟悉ML概念的人,简而言之,它是建立一个实体的一些特征(特征或X)与其他属性(值或标签或Y)之间的关系 - 提供了大量的例子(标记数据) )到模型,以便从中学习,然后预测新数据(未标记数据)的值/标签。这对于机器学习来说已经足够理论了!
MODIS影像以HDF4或者HDF5格式进行存储。关于如何搭建开发环境,参见Ubuntu下GDAL读取HDF4(MODIS影像)开发环境搭建。
ASTER全球数字高程模型(GDEM)v3 ASTER GDEM的第一个版本于2009年6月发布,是利用Terra上的ASTER仪器收集的立体对射图像生成的。ASTER GDEM的覆盖范围从北纬83度到南纬83度,包括了地球上99%的陆地。
世界住区足迹和演变¶。 2015年世界住区足迹¶。 2015年世界住区足迹(WSF)是一个10米(0.32角秒)分辨率的二进制掩码,概述了2015年全球住区范围,是通过联合利用多时相哨兵一号雷达和陆地卫星8号光学卫星图像得出的。
2000-01-01T00:00:00Z - 2020-01-01T00:00:00
在项目中往往使用地图作为底图(比如 天地图卫星图等),再其上覆盖你的通过geoserver发布自定义图层。本文记录了我的实现方法。
ABoVE: Tundra Plant Functional Type Continuous-Cover, North Slope, Alaska, 2010-2015
目录 前言 实现方法 总结 一、前言 今天要介绍的绝对是华丽的干货。比如我们从互联网上下载到了一系列(每天或者月平均等)的MODIS数据,我们怎么能够对比同一区域不同时间的数据情况,采用传统的方法可能只能将所有要参考的数据用ArcGIS等打开,然后费劲的一一对比等,不仅操作繁琐,搞不好日期等还会对应错。本文就是介绍使用Geotrellis动态加载时间序列数据,使我们能够自由选择日期浏览或者像动画一样循环展示一系列数据。直接进入干货。 二、实现方法 2.1 前台界面 前台与以往保持
swissSURFACE3D光栅(DSM) 该数据集目前只对内部人员计划中的人开放。
遥感大数据云计算服务平台为区域或全球土地利用空间信息的获取提供了新的途径和方法。GEE 云平台是一款专门用于处理卫星影像数据和其他地球观测数据的云端运算平台,不但存储了完整的对地观测卫星影像数据,以及环境和社会经济等数据,还提供足够的运算能力对这些数据进行处理,成为解决遥感数据收集困难和处理效率低下问题的新途径。
很多时候我们需要注意导出的错误信息,这里我们看到首先第一个错误就是我们选择波段的时候并没有按照指定的波段名称来进行,同时,我们不能直接导出影像集合,所以这里在导出的过程中又出现了将影像集合导出的低级错误。
领取专属 10元无门槛券
手把手带您无忧上云