Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >一键获取历史行政区数据,就是这么简单!

一键获取历史行政区数据,就是这么简单!

作者头像
数据处理与分析
发布于 2022-03-09 06:15:58
发布于 2022-03-09 06:15:58
9170
举报

数据介绍

今天要分享的数据是历史行政区划数据,数据来自于加利福尼亚大学伯克利分校。数据的具体内容为1949年至2014年的中国行政区划数据,分为省、市、区县三级。对科研人员来说,是不可多得的好数据。经过整理,现在数据已经全部梳理好了,现在将方法和数据分享给各位读者。

本文数据、模板获取方式,文末可见。

这份数据的链接之前看到过小猿猴分享过:【直接下载】1949-2014全国县级区划shp

今天咱们来试一试用fme来批量获取它。

获取数据

在正式开始之前,先来介绍一下获取数据的思路。

1.首先是要找到下载链接

在这个步骤,不仅要找到网页,也要对网页做好分析,理解数据的存储方式。后续能不能正确的获取到这些数据,就依赖于对这些内容的理解。

2.打开FME

在这次行政区划数据的获取工具,我选择了FME。所以在分析过网页之后,就打开FME写模板,获取数据吧!

只需要做到以上两个步骤,就可以获取任何你想获取的公开数据。无论是科研还是做商业项目,有了这种搜集数据的技术,一定可以让你如虎添翼!

分析网页

图1

打开网页,输入关键词之后可以看到弹出了很多的标签,标签的标题是一个个图层的名称。点击图1中的标签,可以看到图2所示的图层详情界面。

图2

在图2所示的详情页面中可以看到有Web services的选项。

图3

点击Web services选项,发现如图3所示的特点:WFS typeNames与鼠标悬停在标签上的链接末尾部分是一致的。划重点:typeName与图层名称超链接的末尾部分相等!

图4

根据页面的geoserver地址,在如图4所示的预览页面进行搜索,可以看到确实有这个图层存在。熟悉geoserver的朋友都知道,根据这个图层名就可以下载相应的数据。根据页面图层名-关键字-geoserver图层名之间的这种特点,我梳理了图1所示的数据项中的标签文本与其超链接中的图层名,整理了如图5所示的表格:

图5

以上为样例表格,全量数据共198条。根据这个表格,就可以获取全量的数据。

整理的过程也是用FME完成的,不过这不是本文的重点,就不多做介绍了。需要的这个全量表格数据的朋友可以在后台直接回复文末关键字。

开始获取

相比前面对于网页的一些分析,数据的获取就容易多了。Geoserver数据的获取有多种方式,可以直接下载shp压缩包、也可以下载kml、gml等格式。针对今天分享的这个数据,我测试了一下下载shp压缩包,发现下载的数据shp数据会出现乱码的现象,而geojson格式不会出现这种状况。所以我决定使用geojson的方式来获取数据。

FME对geojson的支持非常好,无论是本地的文件类型数据,还是在线的数据,都可以很好的支持。使用FME获取数据也分厂简单,按照如下步骤即可:首先打开FME,读取整理好的Excel,再根据typeName字段的值进行数据的获取,最后写出数据。反映到如图6所示的模板上,除了读写模块,只需要五个转换器即可!非常的精简(如果数据规范的话,只要一个reader就行了,会更精简)!

图6

数据读取

数据的读取非常简单,按照默认参数直接读取即可。

数据获取

数据的获取这里使用的是FeatureReader转换器,具体参数设置如图7所示:

图7

数据写出

数据写出有一点需要注意,就是我们需要用featureTypeName字段作为写出的图层名称。如图8所示,这里用了扇出。

图8

根据数据的结构,将写出数据的图层各字段定义成如图9所示的类型。

图9

总结

本文通过对历史行政区划数据的采集,展示了数据获取的一般做法。通过本文的内容,大家也可以看到使用FME来获取数据是多么的简单。稍微有点FME的基础,按照本文所述内容获取这些数据基本上是没有什么难度的。如果没有基础也没问题,我自己也有FME的相关课程,感兴趣的话可以看下面的往期推荐,也可以后台发送关键字“教程”。希望大家都能掌握这种实用的技术!

图1地址:https://geodata.lib.berkeley.edu/?f%5Bdc_format_s%5D%5B%5D=Shapefile&f%5Bdct_isPartOf_sm%5D%5B%5D=Administrative+Boundary+Maps+of+China%2C+1949-2014&per_page=100&q=boundaries

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-03-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据处理与分析 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
免费快速下载省市区县行政区的Shp数据
摘要:一般非专业的GIS应用通常会用到省市等行政区区划边界空间数据做分析,本文简单介绍了如何在互联网上下载省,市,区县的shp格式空间边界数据,并介绍了一个好用的在线数据转换工具,并且开源。
Twcat_tree
2023/10/16
2.2K0
免费快速下载省市区县行政区的Shp数据
史上最全知识图谱建模实践(上):本体结构与语义解耦
在“无需复杂图谱术语,7个原则搞定Schema建模”一文中,我们总结了知识建模最佳实践的7个指导原则。本文中,我们将分基础篇、进阶篇,针对不同业务场景的建模需求,由浅及深讲解基于SPG的知识建模的方法和案例,并涉及术语的解释。
可信AI进展
2024/01/26
3.7K0
史上最全知识图谱建模实践(上):本体结构与语义解耦
【数据】带审图号的2024省_市_县行政区划矢量下载
点击行政区划可视化即可直接下载审图号为:GS(2024)0650号的省、市、县GeoJSON格式行政区划。
陈南GISer
2024/04/30
1.9K0
【数据】带审图号的2024省_市_县行政区划矢量下载
百度高德地图行政区域边界GeoJSON数据获取并绘制行政区域
highcharts 是提供地图数据包的:https://www.highcharts.com/docs/maps/map-collection
周陆军博客
2023/04/09
4.6K0
【数据分享】区县级行政区划数据-审图号:GS(2022)1873号
在之前,本号分享过数次行政区划数据。之前的数次分享数据源都是高德,数据时效性比较新,质量也说的过去,不足之处是不够权威。
数据处理与分析
2022/08/30
2.7K5
【数据分享】区县级行政区划数据-审图号:GS(2022)1873号
Mapbox添加行政区矢量图层,Mapbox添加分级设色图层,Mapbox添加文本标记图层,Mapbox给行政区矢量数据添加名称,Mapbox自定义鼠标悬浮框,Mapbox添加天地图底图
Mapbox 是一家提供定制地图服务的公司,它允许开发者和设计师通过其平台创建和部署个性化的地图。Mapbox 提供了一整套地图工具和API,使得用户可以轻松地在网站、移动应用和各种设备上集成地图服务。
watermelo37
2025/01/22
5750
Mapbox添加行政区矢量图层,Mapbox添加分级设色图层,Mapbox添加文本标记图层,Mapbox给行政区矢量数据添加名称,Mapbox自定义鼠标悬浮框,Mapbox添加天地图底图
数据库update 随机时间-FME【耕地资源质量分类年度更新】数据库表格汇总统计模板工具
  前段时间参与了2020年度耕地资源质量分类年度更新与监测项目的建库工作,当时在进行数据库生成汇总统计表时是逐个表逐项手动统计的,耗费了很多时间,不细心还容易统计错误。想到还要做2021年度的更新,为了提高数据库汇总表统计的效率和准确度,就基于FME编写了这个模型工具,感觉还有点用处,顺手就分享出来了。
宜轩
2022/12/29
8036
R可视化 | 地理信息空间(上)
设计目的:进行地理文件的加载、数据转换及基础处理,将地理信息数据与业务数据的融合(sp与sf数据模型),添加地理标签,应用地理坐标轴,最终完成一个地理空间可视化的小demo。
朱小五
2020/10/27
1.2K0
R可视化 | 地理信息空间(上)
ArcGis小技巧 | 地理要素的重心转移
最近小编在忙一个比较大的项目。在这个项目中有一部分需要应用到地理重心转移来反映出某地理要素或现象在空间分布上的变化情况。鉴于有很多小伙伴都不是很了解“重心转移”这一方法,因此小编在今天抽出时间来向大家介绍一下。
GIS与遥感开发平台
2022/04/29
7.2K0
ArcGis小技巧 | 地理要素的重心转移
2022年7月5日最新全国行政区划数据
我认为地理信息也就是GIS本来也就是为了服务人类而诞生的,所以我一直赞同开源的理念,也喜欢分享一些数据来帮助初学者更好的进行学习
陈南GISer
2022/09/27
2K0
2022年7月5日最新全国行政区划数据
这是一篇很务正业的可视化推送~(上篇)
自带学习R语言以来,从来没用把这些技能用在自己的专业方向上,说好的学以致用呢~ 最近看到的一篇微信公众号推文,内容是关于山东省各县(细化到137个县级行政区)2016年的GDP规模、公共预算收入规模及其增速指标,数据质量还不错,是山东省发改委公布的。 http://mp.weixin.qq.com/s/Sk4fIh3-ykcNK8uP0gZryw 感觉自己终于离专业方向近了一些(本人学财政的),数据就在眼前,这次机会一定要抓住了。 数据虽然质量不错,但是苦于手头没有最新的山东省县级地图素材(之前练习用的SH
数据小磨坊
2018/04/11
7180
ThingMap一键城市2.0重新出发:快速生成三维城市
在城市级可视化项目中,一般需要可视化的三维地图作为承载各种应用的载体,但大家在使用三维地图的过程中经常碰到3道难题:1、资源获取不便2、操作使用复杂3、模型效果不理想。为了降低三维地图的获取和使用难度,以及提升地图效果调整的便利性,需要建立一个服务城市级可视化应用的三维地图服务平台,能够便捷地获取和使用心仪的三维地图。
thingjs
2021/09/27
8680
ThingMap一键城市2.0重新出发:快速生成三维城市
腾讯地图获取全国行政区划检索列表Demo
全国行政区划检索功能, 由于高德和百度也没有提供一个比较完美的解决方案, 因此使用了腾讯地图iOS SDK内部封装的Web接口来实现. 行政区划共分为三个等级, 省级/市级/区级, 对于北京市和天津市这样的城市, 通常直接认为是省级, 并直接以同样的内容来填充市级. 但是SDK内部并没有提供这样的填充, 因此需要自行再省级里面将其复制到市级。
腾讯位置服务
2020/09/18
1.7K0
批量获取百度地图中的县级以上行政区域的边界数据
最近在做一个演示DEMO的时候,需要省界和市一级界线的数据。以前自己是有这样的SHP数据的,然而现在由于行政区划更新很快,而自己之前下的数据还是2010年版本的国家基础数据。
sparkexpert
2022/05/07
9120
批量获取百度地图中的县级以上行政区域的边界数据
从新冠肺炎可视化说起,数据展示如何简约但不简单
过去的十数年间,公共卫生事件如 SARS、甲型流感、禽流感等严重威胁人民的生命安全,无不对社会造成深远影响。而 19 年底从武汉开始爆发的新型冠状病毒疫情,在三个月时间内扩散范围已包括在亚洲、欧洲、北美洲和大洋洲的二十多个国家,逾六万患者,数字仍在持续攀升中。
机器之心
2020/02/27
1.1K0
行政区划矢量数据还不会找?那你一定没用过ArcGIS Pro的这个功能
这套数据库分为1:100w和1:25w,精确到县级。大家可以参考下方文章自行申请,切记不要外传
陈南GISer
2022/02/09
1.4K0
行政区划矢量数据还不会找?那你一定没用过ArcGIS Pro的这个功能
一键城市2.0和BuilderPro双双重磅更新,你想要的功能这次全都有!
一键城市2.0(ThingMap)是ThingJS平台推出的在线3D城市模型场景快速生成系统,所生成的3D城市模型场景,可用于快速构建网页版3D城市类型的管理应用。支持海量基础三维空间数据在不同尺度下的快速加载、渲染、显示,为智慧城市相关应用和企业提供便捷的三维地图沙盘服务;
thingjs
2021/09/07
6290
一键城市2.0和BuilderPro双双重磅更新,你想要的功能这次全都有!
【2020年FME博客大赛参赛作品】拱墅区学区分析之二(数据准备篇)
以上数据来源于杭州本地宝 这显然不够友好,所以我想做点什么,来让学区更易读一些,也更形象一些。
数据处理与分析
2020/05/25
4760
(数据科学学习手札82)基于geopandas的空间数据分析——geoplot篇(上)
  在前面的基于geopandas的空间数据分析系列文章中,我们已经对geopandas的基础知识、基础可视化,以及如何科学绘制分层设色地图展开了深入的学习,而利用geopandas+matplotlib进行地理可视化固然能实现常见的地图可视化,且提供了操纵图像的极高自由度,但对使用者matplotlib的熟悉程度要求较高,制作一幅地图可视化作品往往需要编写较多的代码,而geoplot基于geopandas,提供了众多高度封装的绘图API,很大程度上简化了绘图难度,就像seaborn之于matplotlib。
Feffery
2020/05/07
2.4K0
(数据科学学习手札82)基于geopandas的空间数据分析——geoplot篇(上)
ArcGIS中使用带审图号的地图
政府部门提供的带审图号的标准地图是正式用图时的必备地图(尤其涉及国界)。本文介绍了如何将下载的标准地图制作为ArcGIS中可对位坐标的版本,同时分享了制作的shp格式标准中国地图、标准世界地图,可在ArcGIS中直接使用。
Sidchen
2021/03/19
13.3K18
ArcGIS中使用带审图号的地图
推荐阅读
免费快速下载省市区县行政区的Shp数据
2.2K0
史上最全知识图谱建模实践(上):本体结构与语义解耦
3.7K0
【数据】带审图号的2024省_市_县行政区划矢量下载
1.9K0
百度高德地图行政区域边界GeoJSON数据获取并绘制行政区域
4.6K0
【数据分享】区县级行政区划数据-审图号:GS(2022)1873号
2.7K5
Mapbox添加行政区矢量图层,Mapbox添加分级设色图层,Mapbox添加文本标记图层,Mapbox给行政区矢量数据添加名称,Mapbox自定义鼠标悬浮框,Mapbox添加天地图底图
5750
数据库update 随机时间-FME【耕地资源质量分类年度更新】数据库表格汇总统计模板工具
8036
R可视化 | 地理信息空间(上)
1.2K0
ArcGis小技巧 | 地理要素的重心转移
7.2K0
2022年7月5日最新全国行政区划数据
2K0
这是一篇很务正业的可视化推送~(上篇)
7180
ThingMap一键城市2.0重新出发:快速生成三维城市
8680
腾讯地图获取全国行政区划检索列表Demo
1.7K0
批量获取百度地图中的县级以上行政区域的边界数据
9120
从新冠肺炎可视化说起,数据展示如何简约但不简单
1.1K0
行政区划矢量数据还不会找?那你一定没用过ArcGIS Pro的这个功能
1.4K0
一键城市2.0和BuilderPro双双重磅更新,你想要的功能这次全都有!
6290
【2020年FME博客大赛参赛作品】拱墅区学区分析之二(数据准备篇)
4760
(数据科学学习手札82)基于geopandas的空间数据分析——geoplot篇(上)
2.4K0
ArcGIS中使用带审图号的地图
13.3K18
相关推荐
免费快速下载省市区县行政区的Shp数据
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档