前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >FME基础教程之一(数据处理基础)

FME基础教程之一(数据处理基础)

作者头像
数据处理与分析
发布于 2019-11-06 14:58:38
发布于 2019-11-06 14:58:38
3.5K0
举报

FME的一些基础知识

FME是一个很好的数据处理平台,如果想要掌握它,在工作中使用它,需要了解很多的内容。学习一门技术,最好的途径就是通过系统的课程,而FME相关的系列课程比较少。针对这种情况,我与城市数据派合作推出FME系列课程。本课程从基础知识开始,循序渐进,穿插各种数据处理的案例,系统性的学习FME。现在课程还处于制作阶段,在课程上线后,欢迎各位到城市数据派(首发平台:https://www.udparty.com/index.php/lists/college)或腾讯课堂(这个暂时还没上线)观看学习。

以下内容,为课程部分文字资料,现分享给各位读者朋友。

FME读取数据

通过读模块或者是转换器完成数据的读取,这个有基础的朋友都知道。但FME在读入数据后是怎么在程序里进行处理的?在初学FME的时候,偶然有一次读取文本数据的时候,我才真正体会到,什么叫让数据自由的流动。只要是FME支持的格式,在读取到FME之后都是作为一个要素在FME中进行流动的,针对文本数据,就是一行文本,针对数据库中,就是一条记录,针对shp,就是一个点/线/面。

处理数据

在FME中,如果只做格式间的转换,那是不需要处理的,那也不能叫数据处理,只能叫格式转换。在FME中,绝大多数数据处理都是使用转换器来完成的,转换器也是FME中最重要的一部分内容。在FME中,数据可以自由的在模板中流动,一个转换器处理后的数据,可以直接传递给下一个转换器。一个写好的FME模板,就像一条流水线一样,每个模块各司其职,完成从数据输入到处理最后输出,就像一个数据处理工厂一样。

写出数据

我们处理完的数据,最后要写出去才算完成了一个完整的数据转换流程。FME支持的写出格式,就像支持的读入格式一样多。而数据写出,从我使用FME的经验来看,需要学习的无外乎几点:

1、使用模板

在FME中,使用模板可以写出很漂亮的Excel数据;也可以写出带别名、带值域的mdb/gdb数据。

2、数据类型定义

由于工作原因,我接触的数据大多都是空间数据,针对空间数据,基本上在写出的时候,都需要定义其几何类型,也就是点/线/面/注记/多面体……等一系列的类型。

3、几种模式

在写出的时候,FME对数据库类型的数据,可以实现增删改操作。

others

使用FME做数据的处理,需要学习多方面的内容,我将推出FME系列教程,从基础知识开始,与大家一步步学习FME,中间也会穿插一些其他的数据处理方面的知识。如果你有好的问题,也欢迎与我联系,我将在课程中做出解答。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-11-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据处理与分析 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【技能分享】快速补全数据的两种方式
具体的包括:在ArcGIS的字段计算器中使用脚本、多要素支持【FME的AttributeCreator转换器】、全局变量【Python】
数据处理与分析
2021/09/29
1.3K0
使用FME查找顺序码的漏编和重复 | 直播作业
这两天看了一个FME的直播课程,非常不错,适合入门者学习! 在直播结束后,举办方留了一个作业,要求非常的精简! 要求:请制作一个模板,判断相同标识码的要素,其顺序码是否存在漏编和重复。 这么简练的要求,科科还让我猜,你说,我猜不猜?
数据处理与分析
2020/02/25
2.5K0
做数据处理要遵守的一些规则
不造锤子; 不论是FME还是Python,又或者是SQL。这些工具都很好用,在进行数据处理的时候,应当思考如何合理的使用他们。通过工具的组合,绝大多数问题都能得到解决。就像使用生活中的工具,单纯的使用一把锤子,是造不出汽车的。为了造出复杂的机械,需要的是合理的使用工具,在这过程中,可能需要使用到一些比锤子更加高级的机械等一系列工具。如果目的是造汽车,那么这些高级工具是怎么造出来的,就不是最该关注的点。造汽车的人,只需要使用好这些工具就好了。 不造锤子,并不意味着思想上的懈怠。相反的,不造锤子意味着作为一个数
数据处理与分析
2019/07/31
5910
FME转换器介绍之(二)
做数据处理,经常要在各个平台转来转去的。在从一个平台转向另一个平台进行处理的时候,就涉及到数据如何在平台中进行交换的问题了。在平台之间,可以使用如SHP、TAB等数据格式进行数据的流动。在前端与后台,可以通过WKT、WKB、geoJson等数据交换格式进行数据的传递。但在FME中呢? 今天要介绍的转换器,将讲一讲如何通过数据交换格式,实现数据(几何)在FME中进行传递,来更高效的进行数据处理!
数据处理与分析
2019/07/31
2.3K0
FME转换器介绍之(二)
一键获取历史行政区数据,就是这么简单!
今天要分享的数据是历史行政区划数据,数据来自于加利福尼亚大学伯克利分校。数据的具体内容为1949年至2014年的中国行政区划数据,分为省、市、区县三级。对科研人员来说,是不可多得的好数据。经过整理,现在数据已经全部梳理好了,现在将方法和数据分享给各位读者。
数据处理与分析
2022/03/09
9130
一键获取历史行政区数据,就是这么简单!
GIS基础技能篇之一(文本数据矢量化)
包含xy信息的Excel都可以,xy可以在一个字段里,也可以在两个字段中。另外如果包含高程信息,还可以生成三维的矢量数据。
数据处理与分析
2019/08/28
2.3K0
数据处理基础—数据类型了解一下
好的书籍是人类进步的阶梯,但有些人却找不到优秀的阶梯,为此我们开设了书籍翻译这个栏目,作为你学习之路的指路明灯;分享国内外优秀书籍,弘扬分享精神,做一个知识的传播者。
生信技能树jimmy
2020/03/30
2.7K0
(数据科学学习手札77)基于geopandas的空间数据分析——文件IO
  在上一篇文章中我们对geopandas中的坐标参考系有了较为深入的学习,而在日常空间数据分析工作中矢量文件的读入和写出,是至关重要的环节。
Feffery
2020/02/26
2.2K0
空间数据库基础理论 GIS空间数据处理分析涉及的基本概念
《空间数据库》课程整理汇总,106篇课程,内容太长,学习中,把一些关键点,汇总记下笔记
周陆军博客
2023/05/14
1.4K0
PostGIS空间数据库简明教程
在本文中,我们将介绍 PostGIS 的一些基础知识及其功能,以及一些可用于简化解决方案或提高性能的提示和技巧。
用户1758543
2023/05/09
3.3K0
PostGIS空间数据库简明教程
【独家】一文读懂聚类算法
1. 聚类的基本概念 1.1 定义 聚类是数据挖掘中的概念,就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起,不同类数据尽量分离。 1.2 聚类与分类的区别 Clustering (聚类),简单地说就是把相似的东西分到一组,聚类的时候,我们并不关心某一类是什么,我们需要实现的目标只是把相似的东西聚到一起。因此,一个聚类算法通常只需要知道如何计算相似度就可以开
数据派THU
2018/01/29
3K0
YashanDB多模数据融合管理技术探索与实践
本文基于YashanDB架设技术开发负责人——李伟超2024年11月在“2024年国产数据库创新生态大会”-“根”技术专场的演讲整理形成,主要阐述了YashanDB如何通过创新架构设计以及在各类多模数据(空间、BIM、图、向量)管理上的独特策略,应对AI+时代下多模态数据融合管理挑战。
用户11441800
2025/02/26
1500
cytof数据处理工具大比拼
可以看到, 不同工具的开发语言大不一样,其实这样的比较哪怕是告诉我那个MATLAB开发的工具多么的有优势,我也不想去使用,毕竟新学一门语言还是压力有点大。
生信技能树
2022/01/10
1.6K1
cytof数据处理工具大比拼
tmap ! 绘制地图超方便,关键还能交互操作!绝了~~
在我们的R语言可视化课程中,大部分的地图绘制都是使用R语言中的ggplot2和一些拓展绘图工具包完成的,大家学习起来也特别顺心~~
DataCharm
2024/07/31
4830
tmap ! 绘制地图超方便,关键还能交互操作!绝了~~
“平民化”半结构数据处理
伴随着大数据技术的兴起,半结构化数据得到了迅猛发展,时至今日仍趋势不减。半结构化数据被视为一种特殊的结构化数据,其拥有语义元素,是一种自描述结构。常见的半结构数据格式有,XML、Json等。据IDC预测,2025年,结构化数据规模将达35ZB,约占数据总量的20%。虽无准确数据表明半结构化数据在结构化数据中的占比。但通过我们对日常生产、生活中遇到的各类数据格式推断,半结构化数据占有结构化数据的半壁江山不算为过。比如,我们生活中最常遇到的HTML数据等就是一种特殊的XML结构。伴随着半结构化数据的广泛应用,面向半结构化数据的分析处理需求也不断提升。
colorknight
2023/02/09
1.1K0
我们精选出十篇数据干货,助你圆满收官2017!
回顾2017,始终紧跟历史进程的DT君,带大家用数据视角探索世界:从人工智能到共享经济,从影视热点到古典文学,我们探索过新零售的“门店秘密”,也挖掘过城市空间的“可视化创新”;我们讨论过科技圈最前沿的算法,也揭示过潜藏在人际关系数据中的社会价值……今天DT君精选出年度十篇数据侠好文回馈各位新老粉丝,祝你们携满干货跨入2018年。
DT数据侠
2018/08/08
3560
我们精选出十篇数据干货,助你圆满收官2017!
【C++】基础:开源GIS平台开发基础(MapServer+QGIS+PostGIS+OpenLayers)
在GIS数据处理时,我们最熟悉的就是ArcGIS了,它的功能十分强大,但同时对电脑性能要求也挺高,而且很多功能我们其实用不上;其他类似的GIS软件还有:GeoDa、LocaSpace图新地球、uDig、OpenJump、QGIS、gVSIG、Whitebox GAT、SAGA GIS、GRASS GIS、MapWindow、ILWIS、Diva GIS。
DevFrank
2024/07/24
6390
【C++】基础:开源GIS平台开发基础(MapServer+QGIS+PostGIS+OpenLayers)
(数据科学学习手札140)详解geopandas中基于pyogrio的矢量读写引擎
  大家好我是费老师,前不久我在一篇文章中给大家分享过geopandas在其0.11版本中为我们带来的一些重要新特性,其中提到过新的矢量读写后端,使得我们在read_file()以及to_file()中添加参数engine='pyogrio'即可获得500%的性能提升。
Feffery
2022/09/07
1K0
(数据科学学习手札140)详解geopandas中基于pyogrio的矢量读写引擎
@@金山文档的智能表格中使用Python进行数据处理和分析,可以定时、结合爬虫、动态图、数据大屏、本地保存!!2024.3.7
1、网址:https://airsheet.wps.cn/docs/python/quickstart.html
用户7138673
2024/03/13
9170
@@金山文档的智能表格中使用Python进行数据处理和分析,可以定时、结合爬虫、动态图、数据大屏、本地保存!!2024.3.7
开发大数据基础教程(前端开发入门)
第一阶段:linux+搜索+hadoop体系Linux大纲这章是基础课程,帮大家进入大数据领域打好Linux基础,以便更好地学习Hadoop,hbase,NoSQL,Spark,Storm,docker,kvm,openstack等众多课程。因为企业中无一例外的是使用Linux来搭建或部署项目。1) Linux的介绍,Linux的安装:VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程
全栈程序员站长
2022/07/28
1.3K0
推荐阅读
相关推荐
【技能分享】快速补全数据的两种方式
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档