将数据提取和加载自动化到BigQuery
将数据提取和加载自动化到BigQuery
提问于 2022-04-29 18:03:10
我正在学习如何从GraphQL API中提取数据，并每天将其加载到BigQuery表中。我是GCP的新手，并试图理解建立安全数据管道所需的设置。为了使常规数据提取和加载过程自动化，我将遵循以下步骤，
- 我首先使用BigQuery、Python库与熊猫和pyarrow创建了一个云函数。我使用下面所示的方法将数据加载到BigQuery中--使用BigQuery和Pandas -google bigquery文档(触发器类型)，我选择了Cloud /Sub。请让我知道，这是否是一个好的选择(安全和高效)的数据提取，还是我应该使用HTTP，它需要身份验证或任何其他触发器类型的我的用例。
- ，在设置之后，我只设置运行时(是否还有其他设置，我需要设置上面的云函数是设置好的，我正在创建一个云计划程序来调用上面每天午夜创建的云函数。在“配置执行”下，我选择目标类型作为Cloud /Sub并选择主题。我不理解在选择Cloud /Sub主题来设置用于数据提取用例的Cloud之后是否需要“Message”，但是，它是设置中的一个基本字段。我使用的是通用消息(类似于“hello world”)。如果它对我的用例有任何意义，以及如何最好地设置它，请任何人纠正我吗？
如果你们中的任何人都可以回顾这个方法来提取并加载数据到BQ，请告诉我这是否是一个有效和安全的管道，这将是非常有帮助的。
非常感谢!
回答 1
Stack Overflow用户
发布于 2022-04-29 18:49:15
首先，慢一点:D.你混淆了两个功能。
云功能可以通过HTTP请求或Pubsub触发。当您将云调度器与pubsub一起使用时，body字段允许您输入您想要添加的自定义数据。这将由云调度程序发送到pubsub，当云功能通过pubsub触发时，它将得到由云调度程序设置的消息。您可以根据所获得的输入来触发不同的代码模块。AGain它的用例特定。
在您的情况下，这两种技术都可以工作。HTTP很容易，因为您只需使用适当的服务帐户来设置云功能，h/w就可以信任它了。一旦部署，使用触发器url设置云调度程序。而对于耻骨来说，两者之间有一个额外的成分。
请正确阅读云功能文档。它包含关于何时使用哪个触发器的所有详细信息。
希望这能回答。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72062056
复制相关文章
相似问题
腾讯云开发者
