问Dataflow应该使用Pub/Sub主题或订阅中的事件吗？

EN

BigQuery的主题和BigQuery模板的订阅都会消耗来自Pub/Sub的消息，并将它们流到BigQuery中。

如果将主题用于BigQuery模板，则Dataflow将在幕后为您创建从指定主题读取的订阅。如果使用BigQuery模板的订阅，则需要提供自己的订阅。

您可以使用BigQuery模板的订阅来模拟主题到BigQuery模板的行为，方法是创建从同一主题读取的多个与订阅连接的BigQuery管道。

对于新部署，最好使用对BigQuery模板的订阅。如果使用主题到BigQuery模板停止并重新启动管道，将创建新的订阅，这可能会导致您错过在管道关闭时发布的一些消息。对BigQuery模板的订阅没有这个缺点，因为即使在重新启动管道之后，它也使用相同的订阅。

核心概念

• 主题:由发布者向其发送消息的命名资源。
• Subscription: --一个命名的资源，表示要传递给订阅应用程序的单个特定主题的消息流。

根据核心概念，区别相当简单：

• 如果希望将主题消息从Dataflow发布到Pub/Sub (实际上，对于给定的主题)，请使用。
• 当您想要使用来自Dataflow中Pub/Sub的Subscription消息时，请使用。

因此，在您的例子中，选择一个subscription.

更多信息：

请注意，Pub/Sub使用自己的消息存储来管理主题。但是，Cloud /Sub主题对于BigQuery模板特别有用，当您希望在BigQuery中移动这些消息时(并最终执行您自己的分析)。

Cloud /Sub主题到BigQuery模板是一个流管道，它从Cloud /Sub主题读取JSON格式的消息并将它们写入BigQuery表。您可以将模板用作将Cloud /Sub数据移动到BigQuery的快速解决方案。模板从Cloud /Sub读取JSON格式的消息，并将它们转换为BigQuery元素。

https://cloud.google.com/dataflow/docs/guides/templates/provided-streaming#cloudpubsubtobigquery

免责声明:评论和意见是我自己的，而不是我的雇主的意见。