我见过其他人提到sigkill，但我认为我的用例略有不同。 我正在通过gcp cloud composer使用托管airflow服务，运行airflow 2。我有3个工作节点，都设置为默认的实例创建设置。 这个环境在很大程度上运行得相当流畅(api调用，从prem上移动文件)，但是它似乎很难执行几个稍微大一点的作业。其中一个作业使用samba连接器逐步回填丢失的数据并存储在gcs上。另一个是sale
浏览 30提问于2021-10-10得票数 0
回答已采纳
我正在尝试在GCP cloud composer airflow实例上的DAG中运行单个任务，并将dag中的所有其他任务都标记为成功。然而，下面的airflow命令似乎对我在cloud composer上不起作用。task_id
浏览 0提问于2020-07-04得票数 0
我正在尝试挂载dags文件夹，以便能够在Aiflow上的KubernetesPodOperator中运行python脚本，但我不知道怎么做。在生产中，我想在谷歌作曲家。这是我的任务： task_id='pod-ex-minimum',
cmds=["bash", "VolumeMount("my-volume", "/usr
浏览 4提问于2021-10-12得票数 1
我正在使用SimpleHTTPOperator在Airflow Composer上运行一个任务。此任务调用运行在另一个项目中的Cloud Run Service上的API。当我试图调用api时，会得到以下错误：
{secret_manager_client.py:88} ERROR - Google Cloud API Call Error (PermissionDenied): No access for Secr
浏览 4提问于2022-10-02得票数 0
我刚刚在本地设置了Airflow，封装在一个码头容器中。
我想知道是否有可能将此Airflow本地环境链接到GCP上的实际Airflow/Composer服务？
浏览 0提问于2019-04-01得票数 1
我正在尝试设置Google cloud platform Airflow managed service ( cloud composer)，它应该能够在我的本地Hadoop集群的工作流中触发任务，而不是在google Cloud上。Cloud composer文档介绍了如何在Google云中的共享VPC上触发作业，而不是使用本地VPC。任何帮助都将不胜感激。
浏览 1提问于2019-02-06得票数 1
我刚刚在Python3和Composer image版本composer-1.4.0-airflow-1.10.0上设置了一个Cloud Composer Environment。它在我的本地Airflow服务器上运行没有问题，但在Cloud Composer上，web服务器的任务信息视图显示消息Dependencies Blocking Tas
浏览 19提问于2018-12-20得票数 3
我有一个在Cloud Composer上运行的Airflow环境(3个n1-standard-1节点；镜像版本：composer-1.4.0-airflow-1.10.0；配置覆盖:核心catchup_by_default在DAG运行期间，一些任务(所有GKEPodOperators)由于气流工作者吊舱被逐出而失败。所有这些任务都设置为retries=0。其中一个已重新排队并重试。当任务设置为0次重试时，为什么会发生
浏览 2提问于2019-01-14得票数 5
我正在尝试创建一个Cloud Composer环境来在GCP上运行Airflow。然而，我一直收到这个错误： X分钟前，此环境上的创建操作失败，错误消息如下: Composer Backend timed out。当前运行的任务是阶段: CP_COMPOSER_AGENT_RUNNING描述：“未发布代理响应”。response_timestamp {秒: 1631717057纳米: 229000000 }。
浏览 21提问于2021-09-15得票数 0
回答已采纳
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。提前谢谢你。
你好，CarlRoy
浏览 4提问于2022-10-21得票数 1
我正在尝试通过Google Cloud Composer和KubernetesPodOperator在一个环境中运行一个Airflow任务，该环境是从一个私有的Google Container Registry中的图像构建的。Container Registry和Cloud Composer实例在同一个项目下，一切工作正常，直到我更新了DAG引用的镜像。当我更新Container Registry中的镜像时，
浏览 21提问于2020-10-09得票数 0
我正在尝试使用Cloud Composer编写我的第一个Airflow作业。我的DAG有三个任务，第一个任务成功完成，但第二个任务似乎失败了，并发出任何失败的错误消息。我在第二个任务中使用了PythonOperator。被调用的函数执行一个长时间运行的查询并轮询，直到查询完成。查询完成后，我收到一条消息，指出数据已输出到正确的表中，但是Airflow</e
浏览 2提问于2019-02-28得票数 0
我们在集成slack和Cloud composer时遇到了问题。SlackAPIPostOperator具有slackclient依赖项，我们使用以下命令将其直接安装在工作节点上： sudo python3 -m pip install apache-airflow我们必须在工作节点上安装，因为Cloud composer UI上的pypi包安装选项反复超时。 模块导入语句在工作节点上工作得很好。但是，composer</em
浏览 17提问于2021-04-16得票数 0
我正在使用airflow with composer (GCP)从云sql for gcs中提取数据，在gcs for bigquery之后，我有一些介于100 Mb和10 Gb之间的表。我的dag有两个任务要做我之前提到的。对于较小的表，dag运行得很顺利，但是对于稍微大一些的表，云sql提取任务会在几秒钟内结束，但会失败，但除了"negsignal.sigkill“之外不会带来任何日志，我已经尝试增加编
浏览 2提问于2021-03-16得票数 2
我正在尝试使用Cloud Composer来运行我的工作流。我想使用Airflow v1.10提供的"GoogleCloudStorageToGoogleCloudStorageOperator“operator，但当前的cloud composer不支持它(它目前只支持在Google's blog post的指导下，我自己将operator添加到了一个cloud composer</em
浏览 65提问于2019-01-16得票数 1
我正试图在GCP上安装google-cloud-bigquery==1.5.0 PyPI软件包，因为最近已经创建了一个新的环境。新的环境映像版本是composer-1.12.2-airflow-1.10.6。几个月前创建了另一个环境，所有的pypi软件包都已成功安装，气流达格运行平稳，其映像版本为composer-1.10.0-airflow-1.10.6。问题2:为了创建新的环境，我只有三个图像版本选项，即composer<
浏览 2提问于2020-10-24得票数 0
首先，我连接了气流PostgresOperator并创建了数据集，现在我想将它发送到GCS操作符连接，但是总是看到我无效的dsn:无效连接选项"extra__google_cloud_platform_我的气流连接postgres_to_gcs_task = PostgresToGCSOperator(
浏览 6提问于2022-09-08得票数 0
这里我想在GCP的composer环境(1.10.6)中使用SFTPToGCSOperator。我知道有一个限制，因为操作员只存在于最新版本的airflow中，而不存在于composer最新版本1.10.6中。请参阅以下参考资料-我已经创建了一个插件类，稍后将其导入到我的DAG脚本中。请参见下面的错误-
ERROR - 'SFTPHook' object has
浏览 4提问于2020-05-13得票数 2
3回答
我想要澄清一下Cloud Dataflow或Cloud Composer是不是适合这项工作的工具，而我在Google文档中并不清楚。目前，我正在使用Cloud Dataflow读取非标准的csv文件--执行一些基本处理--并将其加载到BigQuery中。我们还格式化数据以插入(在python中)到BigQuery中： ("house", "1982-12-27"),
("car", "
浏览 2提问于2019-01-12得票数 13
读取csv文件并通过数据流将其加载到bigquery -为此使用python编码，而不是模板-如何使用terraform(GCP)帮助执行此任务
我试着去做，但不知道我应该为它写什么地形脚本。
浏览 14提问于2022-11-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
