当FME不能的时候

FME不能？

大多数时候，FME都很给力，但一个月总有那么……那么……那啥来着。反正就是不好用了。就像这样：

你分析好数据，理清思路，然后开开心心的打开软件准备工作了。突然，蹦出 了一个error！什么情况，是我打开方式不对？ 看日志分析数据错误原因吧，日志又写的不清不楚的。 直到写这篇推送，我都不知道到底出现了什么问题。但这并没有影响到我的工作，此路不通，换一条走就好了。

那怎么做

内心戏

首先我找了一个别的excel文档试了一下，FME好像是正常的，没啥问题。 既然工具没问题，那问题肯定是就在数据上了？ 我用excel打开了两个文件看了一下，好像也正常。完蛋，数据好像也没问题。此时，我内心慌的一批。 既然excel文档看起来也没问题，工具也没啥毛病，那问题也许就出现在了平台之间了。 所以，我打算在FME处理之前，再进行一步预处理。 虽然人工做预处理是肯定没问题的，但考虑到数据量还比较大，人工预处理耗时费力。再者，作为一个有追求的工具人，首先要考虑的方式肯定是:用工具!

基本思路

尝试使用工具，来合并excel文档，把文档处理成FME可以支持的格式。 然后使用已有的模型来进行接下来的数据处理。

开干

既然是处理excel文档，那就使用Python来测试一下。我随便读了几个文件夹下的文件，都没啥问题，显示都比较正常。

import pandas as pd
import os
#定义一个函数，把目录下的excel都合并在一起
def process_xls(pth,opth,oname):
    files = os.listdir(pth)
    os.chdir(pth)
    features = []
    for file in files:
        tx = pd.read_excel(file)
        tx['n'] = file
        features.append(tx)
    ox = pd.concat(features)
    of = os.path.join(opth,oname)
    ox.to_excel(of)
    print(of)
p   = 'excel数据路径'
op  = '输出路径'
of  = '输出文件名称'
#开始执行函数
process_xls(p,op,of)

回归正轨

其实，数据处理的模型我早就写好了，但是由于数据源发生了变化，我的FME不好用了。前面做的事情，就是让处理流程回归到正常

预处理

其实这个步骤，才是预处理，上面的Python应该叫预预处理了。

预处理成果

数据处理

由于处理流程很复杂，我使用了书签来让模型看起来清爽一点（书签添加方式可以点击这里瞅一瞅）。在这个环节，我把上面预处理后的成果进行了三维化，直接处理成了模型。

数据处理成果

小结

数据处理，相当复杂，中间涉及到的环节很多，说不定什么时候哪个工具或者数据源就掉了链子。再出现问题的时候，要尽快的去分析，找出问题出现的原因，能解决就解决，不能解决就想办法绕过去。所以多掌握点技能是很有必要的，毕竟，备选方案多一点。