我正在考虑把我们的SSIS ETL转移到Azure数据工厂。我赞成这种飞跃的理由是:
我希望社会人士能够分享他们的经验,从而帮助我作出决定。
发布于 2020-03-13 13:25:59
这个旧帖子的答案已经过时了。下面我的评论与ADF第2版有关。
首先,ADF具有运行SSIS包的能力,因此将遗留的ETL进程移到那里并逐步迁移到ADF不仅是可能的,而且是推荐的。你不想用每一项新的技术来改变一切。然后,您只能在ADF活动上实现新的或修改的ETL进程。
其次,尽管可能还没有完全实现,但是有了ADF数据流,您可以使用SSIS进行转换。仍然存在一些缺失的部分,但是大多数常用的功能都在那里。
ADF创作不需要Visual。它确实需要特定的技能,但我发现学习曲线并不陡峭。在某些领域,文档和最佳实践仍然有些欠缺,但是在数据库/数据仓库体系结构和ETL方面已经有经验的人会发现它相对容易。它的最佳之处在于,大多数事情都可以在视觉上完成,而不需要修改代码(这只是简单的JSON)。
此外,ADF与Azure Devops集成,并使用Git进行版本控制。所以你可以免费得到变更管理。
为了满足更高的需求,您还可以使用Java (Scala)或Python运行Databricks活动,并与Hadoop (Hive和Pig)和Spark集成。
最后,ADF集成了监视和诊断工具,在SSIS中,您必须自己构建这些工具。您可以更容易地看到哪些活动失败了,以及错误是什么。
发布于 2017-07-03 02:26:55
如果您的ETL是简单和容易转换-替换数据工厂。如果它们需要复杂的逻辑,请使用SSIS。
换句话说,如果转换逻辑可以通过配置来实现,那么Data是最好的。如果需要编写代码和编程技能,SSIS是正确的工具。
一些可能帮助其他人的链接(你很可能已经做出了决定)
Azure数据工厂与SSIS比较
将ADF视为SSIS的补充服务,它的主要用例仅限于廉价地处理云中的大数据。
从sqlbit下载SSIS文章
发布于 2019-10-14 13:18:01
ETL是提取转换和加载,而ADF不转换任何东西(使用ADF,您可以使用SQL语句或Proc进行转换,但在ETL中基本的提取逻辑是不受限制的)。
如果你想从中选择一个,这完全取决于你的需求。
https://stackoverflow.com/questions/35985352
复制相似问题