在Azure sql中摄取和处理数据的选项
在Azure sql中摄取和处理数据的选项
提问于 2019-11-08 19:15:28
我需要一个我正在做的项目的专家意见。目前，我们使用调用存储过程的本地脚本将数据文件加载到Azure sql数据库中。我计划用ssis作业替换脚本，将数据加载到Azure Sql中，但考虑到我们的需求，这是否是一个好的选择，我也可以接受不同的建议。我们所经历的过程是在对活动表进行更新之前将数据文件加载到暂存表并进行验证。验证和更新是通过调用存储的procedures...so来完成的，ssis包将只加载数据并调用这些存储过程。我看过ADF、IR和Databricks，但它们似乎有些过火，但我愿意听到有经验的人也使用这些工具。我目前也在本地运行ssis包。对于这个场景有什么更好的架构或工具的建议吗？谢谢!
回答 2
Stack Overflow用户
回答已采纳
发布于 2019-11-08 19:52:37
您可以从Azure Blob Store批量插入数据：
然后，您可以使用ADF (无IR)、Databricks或Azure批处理或Azure弹性作业来安排执行。
Stack Overflow用户
发布于 2019-11-09 16:20:34
我肯定会看到Azure Data数据流。有了它，您可以轻松地在Azure Data中构建ETL管道。
在下面的示例中，读取、连接Blob存储中的两个文本文件，添加一个代理键，最后将数据加载到Azure Synapse Analytics ( Azure SQL相同)：
最后，您将映射数据流放入管道中，并可以触发它，例如，如果新数据到达。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58772549
复制相关文章
相似问题
腾讯云开发者
