当我们使用任何ETL工具使用webservices下载数据时,我们会遇到以下问题。
是否有可调用的脚本来下载txt或csv格式的数据?是否有任何大容量提取方法在一次拍摄中提取像400个字段这样的数据?
发布于 2017-08-14 06:03:33
是否有可调用的脚本来下载txt或csv格式的数据?
是否有任何大容量提取方法可以在一次拍摄中提取像400个字段这样的数据?
简短的回答是否定的。
但你在这里有两个选择:
选项1.您可以编写代码,通过Archer API逐页提取数据,并将这些数据转换为您的ETL工具可以集成的格式。最初,Archer将返回XML中的数据,正如您所描述的那样,但这可以由您的自定义代码来更改。
注意-例如,Informatica (ETL工具)允许您将Java和C#代码嵌入到ETL工作流中,因此您可以立即提取ETL工具所需的所有数据。配置(Archer中的报表ID )可以存储在文件中,因此从长远来看,这个解决方案应该很容易支持。
选项2:如果您可以读取对Archer数据库的访问权限,您可以创建一个SQL语句,该语句将直接从数据库中提取数据。这是一个复杂的解决方案,因为对于要提取的每个字段,您必须根据字段type.Just“连接”多个表,以便从一个文本字段中提取数据,您必须执行5个联接。对于价值列表、交叉引用和相关记录,复杂性更高。此外,您还必须记住,每次更改字段类型的字段名时,都必须更新SQL语句。因此,它更难得到支持。
Archer到ETL,Archer到BI工具集成是一个有趣的话题。
祝好运!
https://stackoverflow.com/questions/42279802
复制相似问题