1回答
我正在尝试用Python语言从具有多个文件依赖关系的管道中创建一个模板DataFlow。functions.py在文件main.py中，有一个导入行：我的setup.py文件包含(按照建议的 )：
package_dir={'': ''},
浏览 29提问于2021-03-03得票数 1
我已经使用Apache光束为Google Cloud Dataflow创建了一个管道，但我不能在本地拥有Python依赖项。但是，远程安装这些依赖项是没有问题的。在我的本地(开发)环境中，有没有可能在不执行Python代码的情况下运行作业或创建模板？
浏览 1提问于2019-09-27得票数 0
有没有一个包含多个文件的Python Dataflow Flex模板的示例，其中脚本正在导入同一文件夹中包含的其他文件？flex模板在main.py中导入custom.py。Dockerfile示例：
ARG WORKDIR=/dataflow<
浏览 0提问于2020-11-18得票数 6
我正在尝试启动一个Dataflow flex模板。作为构建和部署过程的一部分，我正在预构建一个自定义SDK容器映像，以减少工人启动时间。当给定一个数据流时(预先安装了依赖项)，数据流作业就会启动，但是它不会在同一个作业上运行管道，而是尝试使用相同的名称为管道启动一个数据流作业，这会导致error.Errors：重复的数据流作业名DataflowJobAlreadyExistsError如果我试图为管道传递第二个job_name，管道成功地在一个单独的作
浏览 15提问于2022-10-18得票数 1
我用Bazel建造了我的束流管道。该管道在使用DirectRunner时运行良好，但是，当我使用DataflowRunner时，我在管理依赖关系方面遇到了一些困难，DataflowRunner无法在DataflowRunner中找到本地依赖项(例如py_library生成的依赖项)。有没有任何方法提示Dataflow使用工作者容器中的python文件(py_binray zip文件)来解决这个问题？
谢谢,
浏览 3提问于2022-04-01得票数 1
1回答
使用花朵数据集进行图像分类的示例
、、、、
但是，当我输入以下行时：
python trainer/preprocess.py \ --input_dict "$DICT_FILE“\ --input_path "gs://cloud-ml-data
浏览 0提问于2018-02-19得票数 0
我创建了一个服务帐户，并将Dataflow developer角色、Compute角色和角色分配给临时桶。最后，我提交了一个具有以下cmd的数据流作业：TMPBUCKET=temporarybucketOUTBUCKET=outputbucket --input
浏览 1提问于2020-01-06得票数 0
(我还提出了一个GitHub问题- )
依赖1- google-cloud-dataflow-java-sdk-all <dependenc
浏览 0提问于2018-11-22得票数 7
我们正在使用构建数据管道，并试图在Dataflow上运行，但是得到以下错误，我们尝试增加内存大小、工作人员数量等，但仍然得到相同的错误。这是我们使用的命令，--project=xyz \--staging_location=gs://xy
浏览 0提问于2018-03-23得票数 4
回答已采纳
需要为我的数据流工作存储临时文件的暂存位置。
到目前为止，我们一直在执行作业，这不需要太多的第三方作业。现在，我们希望执行一个具有许多第三方依赖项的作业。因此，在运行作业时上传的文件会增加。在每个作业执行的暂存位置中，Dataflow是否有多个jar副本？
浏览 2提问于2015-08-13得票数 2
回答已采纳
我正在从google cloud composer运行Dataflow，该dataflow脚本包含一些非标准依赖项，如zeep、googleads。因此，我创建了pythonvirtualenvoperator，并安装了所有需要的非标准依赖项，并尝试运行数据流作业，但它仍然抱怨导入zeep和googleads。下面是我的代码库： task_id=PROCESS_TASK
浏览 0提问于2019-03-05得票数 1
我正在尝试在数据流中运行一个简单的管道 import apache_beam as beam
gcloud_options.temp_location = 'gs://xxxx/temp'
gcloud_options.service_account_email = 'dataflow= beam.Pipeline(options=opti
浏览 12提问于2019-09-03得票数 0
回答已采纳
我的数据流流水线如下： | ReadFromMongoDB(uri='mongodb+srv://mongo_url',db='db_name',coll='column_name| "WriteMyFile" >> beam.io.WriteToText('gs://bucket_name/file123.json') 我的数据流管道失败pym
浏览 1提问于2021-02-03得票数 1
1回答
从迁移到Apache
、、、
我是Google的Mapreduce库的长期用户，用于处理Google中的数据。Google不再支持它，它在Python3中根本不起作用。我试图将我们以前的Mapreduce作业迁移到Google的Dataflow / Apache，但是很糟糕，它只是描述Apache，它没有告诉您如何迁移。然而，在Beam中，您必须创建和部署一个定制的Docker映像来构建Dataflow环境，对吗？
要在Mapreduce中创建一个新
浏览 4提问于2021-01-16得票数 0
Attempint使用具有自定义python容器映像的dataflow flex模板运行程序。FROM gcr.io/dataflow-templates-base/python3-template-launcher-base
RUNENV FLEX_TEMPLATE_PYTHON_REQUIREMENTS_FILE="$
浏览 4提问于2021-10-04得票数 1
然后我添加了sdk_location={ .tar.gz文件的位置}安装员工包失败。
还有其他人有这个问题吗？这就是应该提供的球吗？
浏览 12提问于2022-04-29得票数 0
1回答
我们需要创建一个从PubSub到Elasticsearch的数据流作业，但是该作业不能使出站互联网连接到Elastic。
谢谢
浏览 16提问于2022-08-04得票数 1
回答已采纳
虽然这个Dataflow作业在没有云函数的情况下工作得很好，但是Cloud做了一些其他的事情。它正确地记录文件详细信息，它会触发一个数据流作业，但是如果出现“模块未找到”错误，则Dataflow就会失败。因此，当函数正确地执行和触发作业时，Dataflow作业不会通过。input_file) | beam.io.WriteToText(output_path, file_name_suffix='.txt'))
我还在与函数相同的<
浏览 7提问于2022-06-12得票数 0
回答已采纳
我想使用最新的google bigquery和dataflow sdk，它可用于python 2.7。我的管道设置如下：*setup(** version/setup.py"
环境:数据流视图上的SDK版本显示了2.
浏览 1提问于2019-11-19得票数 0
我的Python包有以下结构，其中beam.py是Dataflow的入口点脚本： __init__.py __init__.pyFROM gcr.io/dataflow-templates-base/python3-template-launcher-base:latest
&a
浏览 8提问于2021-12-13得票数 0
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
