ABoVE LVIS L1B Geolocated Return Energy Waveforms V001
读者的问题涉及到地理信息系统(GIS)操作的一系列步骤,具体包括将栅格数据转换为点数据、为这些点数据添加XY坐标、通过空间连接给这些点添加行政区属性、以及计算指定行政区的质心。读者在使用ArcGIS软件完成前两步时未遇到明显问题,但在执行第三步时遇到了性能瓶颈,即使用ArcGIS和GeoPandas进行空间连接操作时系统会卡死。为了解决这个问题,读者尝试使用了dask-geopandas来处理约两百万个点的数据,但似乎遇到了错误。
首先,我们需要安装 geopandas 和 shapely 库。可以通过以下命令来安装:
SAFARI 2000 AERONET Ground-based Aerosol Data, Dry Season 2000
ABoVE: LVIS L3 Gridded Vegetation Structure across North America, 2017 and 2019
ABoVE: AirSWOT Color-Infrared Imagery Over Alaska and Canada, 2017
CARVE: Alaskan Fire Emissions Database (AKFED), 2001-2013
GeoPandas是一个Python开源项目,旨在提供丰富而简单的地理空间数据处理接口。 GeoPandas扩展了Pandas的数据类型,并使用matplotlib进行绘图。GeoPandas官方仓库地址为:GeoPandas。 GeoPandas的官方文档地址为:GeoPandas-doc。 本文主要参考GeoPandas Examples Gallery。 GeoPandas的基础使用见Python绘制数据地图1-GeoPandas入门指北。 GeoPandas的可视化入门见Python绘制数据地图2-GeoPandas地图可视化。
Daily SnowModel Outputs Covering the ABoVE Core Domain, 3-km Resolution, 1980-2020
ABoVE: AirSWOT Water Masks from Color-Infrared Imagery over Alaska and Canada, 2017
ABoVE: Hyperspectral Imagery AVIRIS-NG, Alaskan and Canadian Arctic, 2017-2019 V2
北极-北方脆弱性实验(ABoVE)开发了两种标准化空间数据产品,以加快研究活动的协调,促进数据的互操作性。ABoVE 研究域包括美国阿拉斯加的北极和北方地区,以及北美加拿大的西部省份。在该域内指定了核心和扩展研究区域,并以矢量表示法(Shapefile)、栅格表示法(空间分辨率为 1,000 米的 GeoTIFF)和 NetCDF 文件的形式提供。已开发出一个标准参考网格系统,覆盖整个研究区域,并延伸至北美东部。该参考网格以嵌套多边形网格的形式提供,空间分辨率分别为 240 米、30 米和 5 米。5 米网格是第 2 版中新增的网格。请注意,所有 ABoVE 产品的指定标准投影是加拿大阿尔伯斯等面积投影。 该数据集包含五个数据文件:(1) 一个形状文件(压缩为 .zip),包含核心研究区和扩展研究区的矢量图;(2) 一个形状文件(压缩为 .zip),包含 240 米、30 米和 5 米空间分辨率的嵌套标准参考网格;(3) 以 .kmz 格式提供的网格数据;(4) 一个形状文件(压缩为 .zip),包含核心研究区和扩展研究区的矢量图。kmz 格式的网格数据;(4) 一个以 1,000 米像素分辨率表示核心研究区和扩展研究区的栅格的 GeoTIFF 文件;(5) 一个核心研究区和扩展研究区的 NetCDF 文件,供国际陆地模型基准 (ILAMB) 建模环境使用。
该数据集提供了 2016 年 8 月、2017 年 6 月和 9 月以及 2018 年 7 月至 8 月期间在阿拉斯加七个地点进行的解冻深度测量。其中三个地点是成对的未烧毁-烧毁地点。在每个地点,建立了三个 30 米的横断面,并使用 1.15 米的 T 型解冻深度探头沿每个横断面以 1 米为单位测量解冻深度。所选地点旨在调查火灾干扰,跨越从连续到零星的永久冻土区域范围,并涵盖阿拉斯加各地的北方森林、草丛苔原、高地柳树/草本灌丛以及低地沼泽和湿润苔原等植被类型。数据以逗号分隔值 (CSV) 格式提供。 该数据集有一个逗号分隔(.csv)格式的数据文件。
今天在刷视频的时候看到了我订阅的Youtube博主更新了,感觉内容蛮有用的,就分享给大家
❝本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes ❞ 1 简介 就在前不久,我们非常熟悉的Python地理空间分析库geopandas更新到了0.10.0版本,而伴随最近一段时间其针对新版本的一些潜在bug进行的修复,写作本文时最新的正式版本为0.10.2。此次0.10.x版本为我们带来了诸多令人兴奋的新功能新特性,本文就将带大家一睹其中一些比较重要的内容😋。 2 geopandas 0.10版本重要新
本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 就在前不久,我们非常熟悉的Python地理空间分析库geopandas更新到了0.10.0版本,而伴随最近一段时间其针对新版本的一些潜在bug进行的修复,写作本文时最新的正式版本为0.10.2。此次0.10.x版本为我们带来了诸多令人兴奋的新功能新特性,本文就将带大家一睹其中一些比较重要的内容😋。 2 geopandas 0.10版本重要新
ABoVE: Soil Moisture and Active Layer Thickness in Alaska and NWT, Canada, 2008-2020
cABoVE: Lichen Forage Cover over Fortymile Caribou Range, Alaska and Yukon, 2000-2015
ABoVE: Fractional Open Water Cover for Pan-Arctic and ABoVE-Domain Regions, 2002-2015
该产品由原始观测数据(0 级)通过数据编辑(如位重新调整和添加轨道信息)生成。它是重建的、未经处理的信号数据,带有辐射和几何校正系数(附加但未应用)。
高质量的现场测量是卫星数据产品验证、算法开发和许多气候相关调查的先决条件。因此,NASA 海洋生物处理小组(OBPG)维护着一个本地海洋和大气原位数据存储库,以支持其定期科学分析。SeaWiFS 项目最初开发了这一系统 SeaBASS,用于对辐射测量和浮游植物色素数据进行编目,以开展校准和验证活动。为了便于收集全球数据集,根据 NASA 研究公告 NRA-96 和 NRA-99,利用 SIMBIOS 计划参与者收集的海洋和大气数据对 SeaBASS 进行了扩充,这在最大限度地减少空间偏差和最大限度地提高数据采集率方面提供了很大帮助。存档数据包括表观和固有光学特性、浮游植物色素浓度的测量值,以及其他相关海洋和大气数据,如水温、盐度、受激荧光和气溶胶光学厚度。数据的收集使用了许多不同的成套仪器,如剖面仪、浮标和手持式仪器,并在包括船舶和系泊设备在内的各种平台上进行制造。
ABoVE: Tundra Plant Functional Type Continuous-Cover, North Slope, Alaska, 2010-2015
RAPIDS cuGraph库是一组图形分析,用于处理GPU数据帧中的数据 - 请参阅cuDF。 cuGraph旨在提供类似NetworkX的API,这对数据科学家来说很熟悉,因此他们现在可以更轻松地构建GPU加速的工作流程
ABoVE: Post-Fire and Unburned Vegetation Community and Field Data, NWT, Canada, 2017
在气象数据分析中,地理空间要素是一个必须考虑的关键特征项,也是重要的影响因素。例如气温会随着海拔的升高而降低,地形的坡向朝向也会影响风速的分布,此外,典型的地形会形成特定的气候条件,也是数据挖掘中可以利用的区域划分标准。数据分析中,地理空间分析往往能提供有效的信息,辅助进行决策。随着航空遥感行业的发展,积累的卫星数据也成为了数据挖掘的重要数据来源。 地理空间分析有好多软件可以支持,包括Arcgis,QGIS等软件平台,本系列文章将会着重分享python在地理空间分析的应用。主要包括地理空间数据的介绍,常用的python包,对矢量数据的处理,对栅格数据的处理,以及常用的算法和示例。 地理空间数据包括几十种文件格式和数据库结构,而且还在不断更新和迭代,无法一一列举。本文将讨论一些常用的地理空间数据,对地理空间分析的对象做一个大概的了解。 地理空间数据最重要的组成部分:
本文为《通过深度学习了解建筑年代和风格》论文复现的第三部分——获取阿姆斯特丹高质量街景图像的上篇,主要讲了如何获取利用谷歌街景地图自动化获取用于深度学习的阿姆斯特丹的高质量街景图像,此数据集将用于进行建筑年代的模型训练[1]。
ABoVE: L1 S-0 Polarimetric Data from UAVSAR P-band SAR, Alaska and Canada, 2017
ABoVE: Landsat-derived Annual Disturbance Agents Across ABoVE Core Domain, 1987-2012
该数据集对碳循环各组成部分的不确定性进行了估算,包括:土壤碳储量、自养呼吸(Ra)、异养呼吸(Rh)、净生态系统交换(NEE)、净初级生产力(NPP)和总初级生产力(GPP)。不确定性是根据陆地大气碳交换净值趋势计划(TRENDY)和北美碳计划(NACP)区域综合模式输出平均到年度平均值的多模式(n = 20)差异(即标准偏差)计算得出的。这个总不确定性综合了各模式间陆面物理结构的不确定性、模式内固有参数的不确定性以及强迫数据的不确定性。 对 ABoVE 域创建了一个半度分辨率掩模,用于从全球 TRENDY 和北美(NACP 区域)模式输出中剪切。根据需要对掩模进行转换,以匹配 20 个模式的不同原始分辨率。通过对现有的月度模式输出进行平均,并保留每个模式的本地空间分辨率,为 2003 参考年制作了 NEE、GPP、Rh、Ra、NPP 和 C 土壤的年平均值图。绘制了多模式标准偏差(σ)图,与单个年均值图进行比较。
AMSR-E/Aqua Daily L3 Global Snow Water Equivalent EASE-Grids V002
AIRS/Aqua L2 CO2 support retrieval (AIRS+AMSU) V005 (AIRX2SPC) at GES DISC
高精度地图,通俗来讲就是精度更高、数据维度更多的电子地图。精度更高体现在精确到厘米级别,数据维度更多体现在其包括了除道路信息之外的与交通相关的周围静态信息。
本数据集提供了2017-07-20至2017-08-08期间在美国阿拉斯加以及加拿大育空地区和西北地区上空进行的二氧化碳夜间、白天和季节排放主动传感(ASCENDS)部署期间收集的大气后向散射系数剖面图。这些剖面由一架 DC-8 飞机上搭载的二氧化碳探测仪激光雷达仪器测量。机载二氧化碳探测仪是一种脉冲式多波长集成路径差分吸收激光雷达,可估算从飞机到散射表面的天底路径上的柱均干空气二氧化碳混合比(XCO2)。除 XCO2 外,激光雷达接收器还记录了激光脉冲在大气中传播时的时间分辨大气反向散射信号强度。激光雷达原始数据被转换为大气后向散射截面积和双向大气传输,也称为衰减后向散射剖面。这些 ASCENDS 飞行与 2017 年北极-北方脆弱性实验(ABoVE)活动协调进行,并以 ICARTT 格式提供。
AMSR-E/AQUA月度L3全球雪水当量EASTER-GRIDS V002。 如果您从数据池 HTTPS 目录中订购数据,版本号会写在数据集简称的末尾:AE_MoSno.002。 产品代码 AMSR-E 数据文件名包含一个产品成熟度代码(如 B01、T02 或 V03),用于指示生成数据所使用的算法版本。产品成熟度代码包括成熟度级别(P、R、B、T 或 V)和两位数的迭代编号,如以下示例文件名中的 B06:AMSR_E_L3_SeaIce25km_B06_20080207.hdf。
该数据集以 300 米的空间分辨率提供了 2016-08-18 至 2018-09-12 期间阿拉斯加和加拿大西北部受永久冻土影响的冻原和北方生态系统内发生的土壤呼吸作用产生的二氧化碳(CO2)排放量的网格估算值。估算结果包括月平均二氧化碳通量(gCO2 C m-2 d-1)、按季节(秋季、冬季、春季、夏季)划分的日平均二氧化碳通量和误差估算值、二氧化碳年吸收偏移量(即植被总初级生产力)估算值、植被总初级生产力年度预算(GPP;gCO2 C m-2 yr-1)以及每个 300 米网格单元内开放(非植被)水域的比例。地下呼吸源(即根和微生物)也包括在内。网格化土壤二氧化碳估算值是利用季节性随机森林模型、遥感信息以及来自土壤呼吸站和涡度协方差塔的原位土壤二氧化碳通量新汇编获得的。通量塔数据与每个土壤呼吸站强制扩散(FD)室记录的每日间隙通量观测数据一起提供。数据覆盖 NASA ABoVE 域。
ABoVE: Lake Growing Season Green Surface Reflectance Trends, AK and Canada, 1984-2019
关于动态条形图,小F以前推荐过「Bar Chart Race」这个库。三行代码就能实现动态条形图的绘制。
ABoVE: Modeled Top Cover by Plant Functional Type over Alaska and Yukon, 1985-2020
ABoVE: Landsat-derived Burn Scar dNBR across Alaska and Canada, 1985-2015
9r 版是数据集的当前版本。旧版本将不再提供,并被第 9r 版取代。该数据集目前由 OCO(轨道碳观测站)项目提供。在 OCO-2 发射之前,空间大气二氧化碳观测(ACOS)任务利用 GOSAT TANSO-FTS 光谱开发了该算法,作为筹备项目。在 OCO-2 发射之后,"ACOS "数据仍在利用应用于 OCO-2 光谱的方法进行制作和改进。ACOS "数据集包含所有探测到的二氧化碳(CO2)柱平均干空气摩尔分数,并尝试对其进行检索。这些是 OCO 项目提供的最高级别产品,使用 TANSO-FTS 光谱辐射和 7.3 版算法。日本宇宙航空研究开发机构的 GOSAT 小组制作 GOSAT TANSO-FTS 1B (L1B) 级数据产品,供内部使用并分发给欧空局和美国航天局等合作伙伴。这些经过校准的产品由 OCO 项目用额外的地理位置信息和进一步的修正进行扩充。这样生产出的 1B 级产品(含校准辐射量和地理定位)是 "ACOS "2 级生产过程的输入。尽管 GES DISC 没有公开发布 1B 级 ACOS 产品,但应该知道,该版本的变化对 1B 级和 2 级数据都有影响。1B 级的一项重要改进将解决质量合格的探空数据数量减少的问题。预计 2 级检索将消除许多系统偏差,并与 TCCON(碳柱总量观测网络)更好地保持一致。L2 算法的主要变化包括缩放 O2-A 波段光谱(将 XCO2 偏差减少 4 或 5 ppm);使用仪器线形[ ILS ]插值(将 XCO2 偏差减少 1.5 ppm);以及将零电平偏移拟合到 A 波段。用户还必须仔细阅读新文档中的免责声明。需要注意的一个重要因素是数据筛选方面的更新。虽然数据产品中提供了一个主质量标志,但对更大数据集的进一步分析使科学团队能够提供一套更新的筛选标准。这些标准已在数据用户指南中列出,并被推荐用来代替主质量标志。最后,用户应继续仔细观察和权衡三个重要标志的信息: "结果标志"(outcome_flag)--基于某些内部阈值的检索质量(未经全面评估)。
AIRS/Aqua L3 8-day Standard Physical Retrieval (AIRS+AMSU) 1 degree x 1 degree V006 (AIRX3ST8) at GES DISC
本文件介绍了美国航天局北极-北方脆弱性实验(ABoVE)的简明实验计划,作为该计划确定在这项研究下开展研究的指南。ABoVE 的研究将把基于实地的过程级研究与机载和卫星遥感获得的地理空间数据产品联系起来,为提高分析和建模能力奠定基础,而分析和建模能力是了解和预测生态系统反应及社会影响所必需的。ABoVE 简明实验计划(ACEP)概述了实地考察活动的概念基础,并表达了解释该研究的科学和社会重要性的令人信服的理由。它既提出了推动 ABoVE 研究的科学问题,也提出了解决这些问题的研究设计的最高要求。
ABoVE: Active Layer Thickness from Airborne L- and P- band SAR, Alaska, 2017, Ver. 3
ABoVE: Characterization of Carbon Dynamics in Burned Forest Plots, NWT, Canada, 2014
AIRS/Aqua L2 CO2 in the free troposphere (AIRS+AMSU) V005 (AIRX2STC)
ABoVE: Level-4 WRF-STILT Particle Trajectories for Circumpolar Receptors, 2016-2019
AfriSAR LVIS L1B Geolocated Return Energy Waveforms V001
不过今天我还是想介绍一下如何将 GPS 数据转换为行驶轨迹,推断某个时间点或时段车辆所在的位置,并判断车辆是否经过指定区域。
大数据时代到来,随着智能设备与物联网技术的普及,人在社会生产活动中会产生大量的数据。在我们的日常活动中,手机会记录下我们到访过的地点;在使用城市公交IC卡、共享单车等服务时,服务供应商会知道这些出行需求产生的时间与地点;公交车与出租车的定位信息,也可以告诉我们城市交通状态的具体情况。这些具备时间、空间与个体属性的数据能够为城市交通的智慧管控提供强有力的支持。
领取专属 10元无门槛券
手把手带您无忧上云