我正在研究ETL工具,用于将平面文件导入到数据库中,然后导出xml文件。
许多工具都支持生成要在应用程序中使用的代码;但是,我还没有发现任何工具支持使用应用程序中已有的代码。我们的模型很复杂(关系、验证、多态关联、回调等)。
有哪些工具可以重用现有的代码?或者我在ETL工具中重新创建(和维护)我的模型?
注意:我对ETL (相对于批量插入或activerecord-import)的要求是转换。我们从200多个不同的来源接收各种格式、完整性和清洁度的数据。此外,“设计者”大多数包含更现实的技术含量较低的用户谁将定义的转换。
发布于 2012-03-05 18:09:18
ActiveWarehouse可能被证明是有用的。最初的搜索结果让人觉得这个项目有点陈旧和过时。稍微挖掘一下,就可以在GitHub上找到该项目的一个相当活跃且有良好文档记录的分支:https://github.com/activewarehouse/activewarehouse-etl
发布于 2012-03-08 19:15:58
写你自己的。ETL是一个非常简单的过程,ruby通过一些简单的代码提供了足够的反射支持来处理这个问题。ETL工具在这里并没有真正的帮助,只是生成dotty文件来显示数据源,流和转换。
我已经在smalltalk中为数据转换做了同样的事情。在那里,我使用了MOOSE reengineering工具套件中的glamour和mondrian,以提供更高的可见性。
发布于 2012-03-05 09:03:19
模块化,您希望Rails应用程序和ETL从同一位置询问'HND‘的含义。为此设置一个API。
https://stackoverflow.com/questions/9421995
复制相似问题