前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一键获取历史行政区数据,就是这么简单!

一键获取历史行政区数据,就是这么简单!

作者头像
数据处理与分析
发布2022-03-09 14:15:58
7260
发布2022-03-09 14:15:58
举报

数据介绍

今天要分享的数据是历史行政区划数据,数据来自于加利福尼亚大学伯克利分校。数据的具体内容为1949年至2014年的中国行政区划数据,分为省、市、区县三级。对科研人员来说,是不可多得的好数据。经过整理,现在数据已经全部梳理好了,现在将方法和数据分享给各位读者。

本文数据、模板获取方式,文末可见。

这份数据的链接之前看到过小猿猴分享过:【直接下载】1949-2014全国县级区划shp

今天咱们来试一试用fme来批量获取它。

获取数据

在正式开始之前,先来介绍一下获取数据的思路。

1.首先是要找到下载链接

在这个步骤,不仅要找到网页,也要对网页做好分析,理解数据的存储方式。后续能不能正确的获取到这些数据,就依赖于对这些内容的理解。

2.打开FME

在这次行政区划数据的获取工具,我选择了FME。所以在分析过网页之后,就打开FME写模板,获取数据吧!

只需要做到以上两个步骤,就可以获取任何你想获取的公开数据。无论是科研还是做商业项目,有了这种搜集数据的技术,一定可以让你如虎添翼!

分析网页

图1

打开网页,输入关键词之后可以看到弹出了很多的标签,标签的标题是一个个图层的名称。点击图1中的标签,可以看到图2所示的图层详情界面。

图2

在图2所示的详情页面中可以看到有Web services的选项。

图3

点击Web services选项,发现如图3所示的特点:WFS typeNames与鼠标悬停在标签上的链接末尾部分是一致的。划重点:typeName与图层名称超链接的末尾部分相等!

图4

根据页面的geoserver地址,在如图4所示的预览页面进行搜索,可以看到确实有这个图层存在。熟悉geoserver的朋友都知道,根据这个图层名就可以下载相应的数据。根据页面图层名-关键字-geoserver图层名之间的这种特点,我梳理了图1所示的数据项中的标签文本与其超链接中的图层名,整理了如图5所示的表格:

图5

以上为样例表格,全量数据共198条。根据这个表格,就可以获取全量的数据。

整理的过程也是用FME完成的,不过这不是本文的重点,就不多做介绍了。需要的这个全量表格数据的朋友可以在后台直接回复文末关键字。

开始获取

相比前面对于网页的一些分析,数据的获取就容易多了。Geoserver数据的获取有多种方式,可以直接下载shp压缩包、也可以下载kml、gml等格式。针对今天分享的这个数据,我测试了一下下载shp压缩包,发现下载的数据shp数据会出现乱码的现象,而geojson格式不会出现这种状况。所以我决定使用geojson的方式来获取数据。

FME对geojson的支持非常好,无论是本地的文件类型数据,还是在线的数据,都可以很好的支持。使用FME获取数据也分厂简单,按照如下步骤即可:首先打开FME,读取整理好的Excel,再根据typeName字段的值进行数据的获取,最后写出数据。反映到如图6所示的模板上,除了读写模块,只需要五个转换器即可!非常的精简(如果数据规范的话,只要一个reader就行了,会更精简)!

图6

数据读取

数据的读取非常简单,按照默认参数直接读取即可。

数据获取

数据的获取这里使用的是FeatureReader转换器,具体参数设置如图7所示:

图7

数据写出

数据写出有一点需要注意,就是我们需要用featureTypeName字段作为写出的图层名称。如图8所示,这里用了扇出。

图8

根据数据的结构,将写出数据的图层各字段定义成如图9所示的类型。

图9

总结

本文通过对历史行政区划数据的采集,展示了数据获取的一般做法。通过本文的内容,大家也可以看到使用FME来获取数据是多么的简单。稍微有点FME的基础,按照本文所述内容获取这些数据基本上是没有什么难度的。如果没有基础也没问题,我自己也有FME的相关课程,感兴趣的话可以看下面的往期推荐,也可以后台发送关键字“教程”。希望大家都能掌握这种实用的技术!

图1地址:https://geodata.lib.berkeley.edu/?f%5Bdc_format_s%5D%5B%5D=Shapefile&f%5Bdct_isPartOf_sm%5D%5B%5D=Administrative+Boundary+Maps+of+China%2C+1949-2014&per_page=100&q=boundaries

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-03-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据处理与分析 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 数据介绍
  • 获取数据
    • 分析网页
    • 开始获取
      • 数据读取
        • 数据获取
          • 数据写出
          • 总结
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档