首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Azure数据工厂与SSIS

Azure数据工厂与SSIS
EN

Stack Overflow用户
提问于 2016-03-14 10:43:12
回答 4查看 9.8K关注 0票数 8

我正在考虑把我们的SSIS ETL转移到Azure数据工厂。我赞成这种飞跃的理由是:

  • 我们的来源和目标已经在云中了。ADF是云本地的,因此它看起来非常合适。
  • ADF是一种服务,因此我们可以按需消费和支付。SSIS意味着授权成本,并不会自然地借给它自己用于按需消费(我们考虑过使用DevOps在临时基础上旋转ETL服务器)。
  • 使用SSIS以编程方式生成ETL代码需要非常特殊的技能,如BIML或DTS API。通过迁移到ADF,我希望JSON与USQL中的TSQL和C#的结合将使必要的技能更加通用。

我希望社会人士能够分享他们的经验,从而帮助我作出决定。

EN

回答 4

Stack Overflow用户

发布于 2020-03-13 13:25:59

这个旧帖子的答案已经过时了。下面我的评论与ADF第2版有关。

首先,ADF具有运行SSIS包的能力,因此将遗留的ETL进程移到那里并逐步迁移到ADF不仅是可能的,而且是推荐的。你不想用每一项新的技术来改变一切。然后,您只能在ADF活动上实现新的或修改的ETL进程。

其次,尽管可能还没有完全实现,但是有了ADF数据流,您可以使用SSIS进行转换。仍然存在一些缺失的部分,但是大多数常用的功能都在那里。

ADF创作不需要Visual。它确实需要特定的技能,但我发现学习曲线并不陡峭。在某些领域,文档和最佳实践仍然有些欠缺,但是在数据库/数据仓库体系结构和ETL方面已经有经验的人会发现它相对容易。它的最佳之处在于,大多数事情都可以在视觉上完成,而不需要修改代码(这只是简单的JSON)。

此外,ADF与Azure Devops集成,并使用Git进行版本控制。所以你可以免费得到变更管理。

为了满足更高的需求,您还可以使用Java (Scala)或Python运行Databricks活动,并与Hadoop (Hive和Pig)和Spark集成。

最后,ADF集成了监视和诊断工具,在SSIS中,您必须自己构建这些工具。您可以更容易地看到哪些活动失败了,以及错误是什么。

票数 4
EN

Stack Overflow用户

发布于 2017-07-03 02:26:55

如果您的ETL是简单和容易转换-替换数据工厂。如果它们需要复杂的逻辑,请使用SSIS。

换句话说,如果转换逻辑可以通过配置来实现,那么Data是最好的。如果需要编写代码和编程技能,SSIS是正确的工具。

一些可能帮助其他人的链接(你很可能已经做出了决定)

Azure数据工厂与SSIS比较

将ADF视为SSIS的补充服务,它的主要用例仅限于廉价地处理云中的大数据。

从sqlbit下载SSIS文章

票数 1
EN

Stack Overflow用户

发布于 2019-10-14 13:18:01

ETL是提取转换和加载,而ADF不转换任何东西(使用ADF,您可以使用SQL语句或Proc进行转换,但在ETL中基本的提取逻辑是不受限制的)。

如果你想从中选择一个,这完全取决于你的需求。

  • 如果转换逻辑是复杂的,使用ETL
  • 如果您正在处理大量数据,请选择ADF。
  • ADF按您的使用收取费用,但SSIS附带许可证。
  • 如果您的数据在现场,我建议您使用ETL。
  • ETL的性能完全取决于您的现场机器。 配置,而对于ADF,则不必担心 性能。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/35985352

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档