我正在尝试用开源框架来做ETL,我听说过两件事,Apache Beam和Apache Airflow,这两件事最适合整个ETL或ELT,比如Talend、Azure Data Factory等,事实上,我正在尝试用云数据仓库(redshift、azure数据仓库、雪花等)来做所有的事情。哪一个对这些类型的工作更好,如果我能在这两个框架之间进行一些比较,那就太好了。提前谢谢。
我们的软件商店做了一个大型的企业级系统,它的一个部分是一个复杂的监控和日志查看工具。最近我们的一个团队重写了它,因为之前的版本确实缺乏一些基本的功能。而且它真的很丑陋。由于这个团队厌倦了企业级的东西,他们听说过IoC和Spring (“看起来很酷,对吧?”),他们认为在这个应用程序中使用它是一个好主意。我认为IoC和Spring适合其他需求(比如更改数据库驱动程序或其他动态配置)。
编辑:此应用程序的GUI有点类似于Visual Studio GUI。