如何在没有外部ip的情况下为数据流工作者创建数据流作业？
在没有外部IP的情况下为数据流工作者创建数据流作业，可以通过以下步骤实现：
- 使用云计算平台提供的虚拟网络（Virtual Private Cloud，VPC）功能，创建一个私有网络。VPC可以提供隔离和安全的网络环境，允许在没有外部IP的情况下进行内部通信。
- 在VPC中创建一个子网，并配置子网的路由表和安全组。路由表用于指定子网内部的网络流量转发规则，安全组用于控制子网内部的网络访问权限。
- 在子网中创建一个数据流工作者的实例。可以选择使用云计算平台提供的虚拟机（Virtual Machine，VM）服务，根据实际需求选择合适的实例规格和操作系统。
- 在数据流工作者的实例上安装所需的数据流作业运行环境和依赖库。根据具体的数据流作业需求，可能需要安装相应的开发工具、运行时环境和第三方库。
- 配置数据流工作者的实例，使其能够连接到数据流作业的管理控制台。可以通过在实例中配置访问密钥、证书等方式，确保实例与数据流作业的安全通信。
- 在数据流作业的管理控制台中创建一个数据流作业，并配置作业的输入源和输出目标。可以根据实际需求选择合适的数据流处理引擎和作业配置参数。
- 将数据流工作者的实例加入到数据流作业的工作者池中。数据流作业会自动将输入数据分发给工作者池中的实例进行处理，并将处理结果输出到指定的目标。
- 启动数据流作业，并监控作业的运行状态和性能指标。可以通过数据流作业的管理控制台或者命令行工具进行监控和管理。
推荐的腾讯云相关产品：腾讯云云服务器（CVM）、腾讯云私有网络（VPC）、腾讯云数据流作业（DataWorks）。
腾讯云云服务器（CVM）产品介绍链接：https://cloud.tencent.com/product/cvm
腾讯云私有网络（VPC）产品介绍链接：https://cloud.tencent.com/product/vpc
腾讯云数据流作业（DataWorks）产品介绍链接：https://cloud.tencent.com/product/dw
相关·内容
我正在尝试在GCP数据流中运行批处理作业。作业本身有时会占用大量内存。目前，作业一直在崩溃，因为我相信每个worker都在尝试同时运行pcollection的多个元素。有没有办法防止每个工作者同时运行多个元素？
浏览 2提问于2021-08-26得票数 0
1回答
我需要使用服务帐户执行数据流作业，我遵循的是在同一平台中提供的一个非常简单和基本的示例字数。
奇怪的是我得到了一个错误：
根据这一点，GCP需要拥有数据流工作者权限的服务帐户才能执行我的作业。即使我已经设置了所需的权限，当错误仍然出现时，weir部分就会出现：
有人能解释这种奇怪的行为吗？非常感谢
浏览 2提问于2020-02-02得票数 0
我正在使用python代码运行数据流作业。 我希望我的数据流工作者只有私有it，不应该分配外部it。 原因是，我从数据流访问mongodb atlas，它只能从私有ips访问(因为vpc对等已完成)。 在启动作业时，我尝试了许多命令行选项： --disable-public-ips , --no_use_public_ips , --usePublicIps=false 但没有成功。我怎样才能做到这一点呢？
浏览 25提问于2021-02-04得票数 0
在定价部分，Google说每个员工的PD值是默认的(取决于批处理和流)。我正在运行一个作业，考虑到我有多少工作人员(与默认的PD使用相比)，持久磁盘使用的数量要比应该的高得多。这在多个不同的作业中是一致的。是什么导致PD使用量增加的？作为参考，默认为480 GB的流媒体工作者，但我被收费5888 GB。
浏览 2提问于2017-07-13得票数 1
回答已采纳
2回答
长话短说，我有一个cron任务，每天在指定的时间将一堆文件上传到云存储桶中。所有这些存储桶都有一个关联的发布/订阅通知主题，该主题在文件创建事件时触发。每个事件都会触发一个数据流作业来处理该文件。
问题是，这会在几秒钟内实例化100个并行批处理作业。每个作业都用HTTP请求猛烈抨击我的下游服务。这些服务无法足够快地扩展，并开始抛出连接被拒绝的错误。
为了限制这些请求，我限制了每个数据流作业可用的工作线程数量。此外，为我的下游服务增加了资源，并将他们的targetCPUUtilizationPercentage降低到50%，让他们有时间进行扩展。所有这些都极大地减少了错误的数量，从4000万个失
浏览 2提问于2021-06-11得票数 0
1回答
我们需要创建一个从PubSub到Elasticsearch的数据流作业，但是该作业不能使出站互联网连接到Elastic。
是否有一种方法在创建时将代理参数传递给Dataflow vm？
找到本文，但代理参数是maven应用程序的一部分，我不知道如何在这里使用它。
谢谢
浏览 16提问于2022-08-04得票数 1
回答已采纳
我正在创建几个指标的监控警报。
下面是两个示例: 1)数据流作业失败2)防火墙规则已更改或新规则已插入
从它创建基于日志的度量和警报是很好的。但它非常通用。如何锁定特定详细信息，如此数据流作业(作业名称)失败或此用户创建的数据流作业失败？防火墙规则也是如此，我如何知道更新了所有规则中的哪条规则？
如何在警报消息本身中包含有问题的作业名称或针点资源？
对于我提供的示例，配置如下：
使用以下筛选器创建防火墙更新度量：
resource.type="gce_firewall_rule" AND jsonPayload.event_subtype="compute.firewa
浏览 0提问于2019-12-04得票数 0
我正在尝试使用GCP Memorystore处理在GCP数据流上运行的事件流作业的会话ids。尝试连接到Memorystore时，作业失败并出现超时：
redis.clients.jedis.exceptions.JedisConnectionException: Failed connecting to host 10.0.0.4:6379
at redis.clients.jedis.Connection.connect(Connection.java:207)
at redis.clients.jedis.BinaryClient.connect(BinaryClient
浏览 31提问于2019-07-16得票数 2
回答已采纳
通过这个链接，我发现Google Cloud Dataflow为它的工作者使用了Docker容器：
我发现找到docker容器的图像名称是可能的。
但是，有没有一种方法可以获得这个docker容器(例如，我应该从哪个存储库获取它？)，修改它，然后指示我的数据流作业使用这个新的docker容器？
我这样问的原因是，我们需要在dockers上安装各种资源和Fortran以及其他库代码，以便数据流作业可以调用它们，但是这些安装非常耗时，所以我们不想在df中使用“C++”属性选项。
浏览 1提问于2017-06-10得票数 8
我是否需要自己在主服务器上安装Spring数据流实例，还是将其作为部署的一部分“自动”安装？
从的描述来看，这一点还不太清楚
我遵循了指南，尽管删除了MySQL的所有配置。也许这是必需的。虽然我有点卡住了，因为它只是没有分配外部IP，我不知道为什么，如何调试，以及我是否错过了安装一些必要的组件。
编辑:为了澄清，我在运行时看到一个scdf服务条目。
kubectl get svc
但是这个服务永远不会获得外部IP。
浏览 13提问于2016-11-20得票数 0
1回答
我有以下设置：
在具有入口IP限制的云项目中运行的GKE
在中运行数据流，另一个需要访问GKE公开的API的项目
数据流有可变数量的工作人员，因此，我将有不同的IP地址。是否有任何方法可以为所有数据流(当它们发送REST请求时)设置出站IP，以便在GKE的末尾筛选出这些请求。
我探索过Cloud，但这可能行不通，因为我无法控制GKE项目。我只想要一个IP，我可以提供给GKE负载均衡器到白名单。
浏览 1提问于2018-09-11得票数 1
关于这篇MSDN文章；
规模单位网络配置部分有以下句子；
在基于IP的SSL中，给定的应用程序只为入站通信分配一个专用IP地址，这与云服务部署相关联。请注意:前端终止所有应用程序和任何类型证书的所有HTTPS请求的SSL连接。然后，前端将请求转发给给定应用程序的指定工作人员。
但是，当Please note: Front ends terminate SSL connection for all HTTPS requests for all applications and any type of certificate发生的时候？
这是在我们配置基于IP的SSL之后发生的吗？
浏览 4提问于2017-03-30得票数 0
回答已采纳
下面是关于如何将数据从oracle数据库迁移到Cloud实例的教程。
我正在使用Google提供的流模板。
在高层次上，这正是人们所期望的：
Datastream导出Avro格式的回填，并将数据从源Oracle数据库中更改到指定的云桶位置
这将触发Dataflow作业，从这个云存储位置提取Avro文件并插入到PostgreSQL实例中。
当Avro文件上传到云存储位置时，作业确实会被触发，但是当我检查目标PostgreSQL数据库时，所需的数据还没有被填充。
当我检查作业日志和工作日志时，没有错误日志。触发作业时，记录的日志如下：
StartBundle: 4
Matched
浏览 5提问于2022-01-13得票数 6
回答已采纳
我想使用fasttext训练一些模型，因为它不使用spark，所以它将在我的驱动程序上运行。将同时运行的训练作业的数量非常大，数据的大小也是如此。有没有办法让它在不同的工作者上运行，或者在不同的工作者之间分发？这是最好的方法，还是使用大型单节点集群更好？ 仅供参考，我正在使用Databricks。因此，特定于此的解决方案也是可以的。
浏览 28提问于2021-11-12得票数 2
我在GCE控制台中看到Dataflow为我的作业创建的GCE实例。如果我删除它们会发生什么？
浏览 0提问于2016-05-25得票数 1
为了使我们的Flink工作负载的部署和管理更容易，我们希望运行多个较小的作业，而不是一个完成所有任务的大型作业。我们的问题是，每个较小的作业都必须读取和反序列化来自Kafka的相同输入数据。
我们已经做了性能测试，测试表明，运行多个作业，每个作业读取输入数据，使用更多的资源，并且比处理单个作业处理相同的数据需要更长的时间。
是否有一种方法可以读取一次输入数据，然后运行多个作业来仅执行处理步骤，或者是否有一种方法可以至少减少与运行多个作业相关的开销？
浏览 4提问于2021-06-05得票数 1
回答已采纳
我有一个网站，发送繁重的处理任务到工人服务器。目前，只有一个工作服务器，但在未来将添加更多。这些工作非常耗时(需要5分钟-1小时)。我们的想法是有一种配置，只需构建一个新的工作服务器就足以增加整个系统的容量，而不需要在new服务器部分进行额外的配置。
目前，我已经使用python-zeromq完成了一个基本的实现，使用的是推/拉架构。
每次有新的作业请求时，new服务器都会创建一个套接字，连接到其中一个工作进程并发送作业(不需要回复，这是一种即发即忘的作业类型)：
context = zmq.Context()
socket = context.socket(zmq.PUSH)
socket.
浏览 1提问于2012-07-29得票数 1
我尝试运行数据流管道，从本地机器(Windows)读取数据，并使用DirectPipelineRunner将数据写入谷歌云存储。作业失败，错误如下:指定FileNotFoundException(因此我认为数据流作业无法读取我的位置)。我从本地计算机运行该作业，以运行我创建的基于GCP的模板。我可以在GCP Dataflow仪表板中看到它，但失败并显示以下错误。请帮帮忙。我也尝试了我的本地机器的IP或主机名以及我的本地位置，但面对这个FileNotFoundException？
错误：
java.io.FileNotFoundException: No files matched spec:
浏览 4提问于2018-08-10得票数 1
在每个数据流作业的执行过程中，创建和删除虚拟机(工作池)的作业大约需要2-4分钟。请让我知道有什么方法可以最小化这个问题？或者，我们是否可以在执行数据流作业之前创建用于处理的虚拟机，以便缩短执行时间？
浏览 4提问于2018-02-13得票数 1
我们有一个作业MyPrettyJob，它通过redis从控制器排队。当我们像这样从命令运行这个作业时，作业确实成功了。当我们运行数据很少的作业时，队列保持在线，但是当我们运行数据很多的作业时，队列崩溃，退出代码为12，这表明“内存不足”错误。 大型作业处理大约300.000个项目，这些项目主要是相互依赖的。为此，我们无法在不造成严重性能影响的情况下真正拆分这项工作。在一些极端情况下，可能需要几个小时，而不是目前需要几分钟的时间。 对于大型作业，队列输出以下内容： $ php artisan queue:work --queue=myqueue
Processing: App\Jobs\MyP
浏览 28提问于2019-04-12得票数 4
回答已采纳
我有一个程序，它生成制表符分隔的文本文件，也发送电子邮件与学生名单作为附件使用msdb.dbo.sp_send_dbmail。
当我执行SQL server management studio过程时，它只发送一封电子邮件。但我创建了一个SSIS包，并安排作业每晚运行一次。此作业向每个收件人发送4份电子邮件副本。
EXEC msdb.dbo.sp_send_dbmail @profile_name = 'A'
,@recipients = @email_address
,@subject = 'Error Records'
,@query = 'SE
浏览 0提问于2013-10-11得票数 0
我正在GCP上实现一个云数据流作业，需要处理2个GCP项目。输入和输出都是Bigquery分区表。我现在遇到的问题是，我必须从项目A中读取数据并将其写入项目B。
我没有看到任何与跨项目服务帐户相关的内容，我也不能给Dataflow两个不同的凭证密钥，这有点烦人吗？我不知道其他人是否经历过这种架构，或者你是如何处理的。
浏览 6提问于2020-05-08得票数 0
回答已采纳
1回答
我在两个IPSec路由器之间创建了一个Mikrotik连接。他们正在通过IKEv2进行连接。
在我们的两个网络中，我们有一个打印机spooler，它需要打印机的MAC地址来验证它是否连接到正确的打印机，以及一个IP地址来进行最初的连接。
我要把这两个网络称为printer网络和spooler网络。
从spooler网络内部将IP地址按到打印机上可以很好地工作。我们甚至可以通过Web接口配置打印机。
但是，每次尝试向假脱机程序发送打印作业时，它都会失败。当我们运行IP扫描时，spooler Mikrotik路由器似乎无法返回设备的MAC地址，但是在printer网络中，MAC地址返回得很好。
V
浏览 0提问于2019-03-25得票数 2
回答已采纳
我创建了一个Dataflow模板，它允许我将数据从Cloud中的CSV文件导入到BigQuery中。我每天都使用云函数Firebase从这个模板创建工作。这是函数中的代码(删除了一些不相关的部分)。
const filePath = object.name?.replace(".csv", "");
// Exit function if file changes are in temporary or staging folder
if (
filePath?.includes("staging") |
浏览 7提问于2020-04-16得票数 1
回答已采纳
我们在努力扩大使用时注意到的一点是，我们将开始增加在用IP地址的配额。我们知道，请求增加配额是一种选择(并且已经这样做了，并且已经批准了CPU的配额)，但我们想知道在没有外部IP地址的情况下运行Dataflow实例(因为配额原因和IP地址的成本)是否是(或将要)。
浏览 6提问于2015-05-26得票数 4
回答已采纳
我希望使用google dataflow作业从本地SQL Server数据库中提取数据，因此希望将数据流VMs列入白名单。要将内部部署的IP列入白名单，SQL Server需要静态IP。如果需要更多细节，请让我知道。
浏览 1提问于2020-02-24得票数 0
1回答
我有Gearman作业服务器，我计划在这里创建工人并完成所有的繁重工作。Gearman是通过PHP脚本(已经在其上安装了gearman客户端)从应用服务器上调用的。
测试Gearman是否正在作业服务器上工作，并收到以下响应：
ubuntu@ip XXXXXXX:~$ ps -e|grep gearman
24255 ? 00:00:00 gearmand
我还在我的应用服务器上测试了gearman是否正在执行以下操作：
<?php
print gearman_version() . "\n";
?>
印上了变速箱的版本所以才能正常工作。
现在
浏览 1提问于2013-09-16得票数 0
回答已采纳
我希望安排数据流，它有来自PubSubIO.readString主题订阅的PubSub。如何使作业在已配置的间隔后终止？我的usecase不是让作业一整天都在运行，所以要计划开始，然后在任务内配置的间隔之后停止。
Pipeline
.apply(PubsubIO.readMessages().fromSubscription("some-subscription"))
浏览 0提问于2018-08-05得票数 1
回答已采纳
2回答
我们目前正在使用Google的(1.6.0)在GCP中运行数据流作业，但是，我们正在考虑迁移到Apache (0.1.0)。我们仍将使用数据流服务在GCP中运行我们的作业。有没有人经历过这样的转变，有什么建议吗？这里是否存在兼容性问题，GCP是否鼓励这一举措？
浏览 2提问于2016-07-22得票数 5
回答已采纳
你好，我正在尝试运行一个作业来读取GCP外部托管的kafka中的一些事件，这个作业是在VPC网络上运行的。
问题是kafka被配置为使用主机名而不是IPs来回答问题，因此在引导程序中指定ips会导致在数据流上运行作业时无法连接到目标节点。
Reader-1: Timeout while initializing partition 'placeholder'. Kafka client may not be able to connect to servers.
另一方面，如果我用kafka创建一个VM，并在etc/host中指定映射主机名-ip，我就能够正确地使用它。
为了
浏览 3提问于2021-09-28得票数 0
回答已采纳
我想为我运行的每个google数据流作业自定义作业名称和作业Id。我要为该工作创建一个自定义的工作名称。
但我无法设置自定义的作业id。
我发现了一个具有setJobId(字符串值)方法的com.google.cloud.dataflow.sdk.options.DataflowWorkerHarnessOptions接口。但我无法使用它来创建自定义的作业id。
有没有办法创建自定义作业Id？
浏览 17提问于2016-09-20得票数 3
回答已采纳
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。
所以我的问题是，如果我有一个数据流作业，它会写到BigQuery或BigTable，但是作业失败了。数据流是否能够在启动前回滚到状态，或者我的表中可能只是部分数据？
我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。
但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作业声称成功之前，输出表似乎不会公开给用户。
浏览 6提问于2016-08-05得票数 1
回答已采纳
在Dataflow FAQ中，列出了在计算引擎上运行自定义(cron)作业进程是调度数据流管道的一种方法。我搞不懂到底该怎么做:如何在计算引擎上启动数据流作业和启动cron作业。 谢谢!
浏览 29提问于2020-08-19得票数 1
回答已采纳
我正在尝试通过部署管理器创建一个模板Pub/Sub到BigQuery的数据流作业。问题是在运行gcloud deployment-manager types list命令之后，我没有看到任何数据流服务。
是否可能有一个yaml文件来创建数据流作业？
浏览 3提问于2020-09-01得票数 2
回答已采纳
2回答
由于数据流作业不能删除，只能排空/取消，所以我的UI控制台上显示了很多取消的作业。 我可以让它们从我的控制台中消失吗？ 另外，由于作业无法删除，用户可以创建的数据流作业是否有最大限制，在此之后配额填满？
浏览 20提问于2019-10-18得票数 0
1回答
我已经坚持了两天了，还没有找到这个问题的答案。
在我的React应用程序中，我使用immutable.js进行所有对象操作。我需要一个网络工作者来做一些计算&将操作发回给middleware进行调度。
使用此语法将得到一个错误：
Worker.js
self.importScripts( "../../node_modules/immutable/dist/immutable.js" );
浏览器报告的错误：NetworkError: Failed to load worker script at ../../node_modules/immutable/dist/im
浏览 0提问于2017-05-24得票数 1
我正尝试在Amazon EKS集群上运行我的spark作业。我的spark作业在每个数据节点/工作者/执行器都需要一些静态数据(参考数据)，这些参考数据可以在S3上找到。
有没有人能帮我找出一个干净高效的解决方案，将S3桶安装在豆荚上？
S3 API是一个选项，我正在将它用于我的输入记录和输出结果。但是"Reference data“是静态数据，所以我不想在每次运行/执行spark作业时都下载它。在第一次运行时，作业将下载数据，随后的作业将检查数据是否已在本地可用，并且不需要再次下载。
浏览 27提问于2018-08-03得票数 15
1回答
我想在GCP上的项目上部署服务(使用Apache光束的python脚本)，执行时间有时长达24小时。我需要这个服务与数据管道始终工作。此外，我还有一个web应用程序，它将使用来自数据管道的结果。我的解决方案是，我在GCP app Engine上部署web应用程序，在K8s集群上部署python脚本，因为作业可以持续24小时，而且App Engine是无服务器的，所以serverless中的所有东西都应该是短时间的作业，比如15分钟。我的想法是否正确，或者您是否有其他更好的解决方案可供GCP服务参考。
浏览 9提问于2021-01-10得票数 0
回答已采纳
3回答
请原谅我对多线程应用程序缺乏了解，但我是这个领域的新手。
是否有一种模式或常用的方法来从监视器(充当监视器的类)监视工作线程的“作业完成”或“作业状态”？
我目前所做的是创建一个工作者列表，并为每个工作者创建一个线程。在所有线程启动后，我循环遍历工作线程列表，并通过调用一个方法来“检查它们的状态”。
当时我无法想出不同的解决方案，但作为该领域的新手，我不知道这是不是可行的方法，或者是否有其他解决方案或模式值得我研究。
浏览 1提问于2011-01-16得票数 3
回答已采纳
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。然而，我在启动时得到了这个错误：
Message: The resource 'projects/my-project/global/networks/default' was not found
我认为谷歌提供的模板是硬编码的，可以使用default网络。如果我在自动模式下创建default网络，该错误就会消失。但我们不能在生产中使用default网络。
文档提到了一个network参数。我尝试从GCP console UI添加一个名为network的附加参数，传入我们的自定义网络名称。但是我
浏览 12提问于2018-02-01得票数 1
回答已采纳
背景：
我创建了一个停止作业，它发现运行的作业具有指定的名称如下：
jobExplorer.findRunningJobExecutions("job_A")
然后，对于job_A的每次执行，它调用：
jobOperator.stop(execution.getId());
问题
当我调用上面的stop()方法时，尽管它最终完成了我想要的，但是它仍然抛出一个异常：
WARN o.s.b.c.l.s.SimpleJobOperator [main] Cannot find Job object
org.springframework.batch.core.launch.N
浏览 2提问于2017-10-19得票数 1
回答已采纳
我一直在测试数据流作业，从本地服务器提交作业，并在云中创建数据流作业，它是成功的，现在我正在尝试在云中的一个GCE上的prod中设置它，我得到了这个错误：
“无法创建工作流作业: com.google.api.client.googleapis.json.GoogleJsonResponseException: 401未经授权”
这是否意味着提交/发起作业只能在云之外完成，以便GCE集群可以正确跨越？
我也使用"gcloud auth login“进行了身份验证，仍然没有成功。
浏览 1提问于2015-05-03得票数 0
我正在尝试编写一个脚本来自动化Java数据流作业的部署。该脚本创建一个模板，然后使用命令 gcloud dataflow jobs run my-job --gcs-location=gs://my_bucket/template 问题是，如果作业已经存在并且正在运行，我想要更新作业。如果我通过maven运行作业，我可以执行更新，但我需要通过gcloud执行此操作，这样我才能拥有一个用于部署的服务帐户，以及另一个用于运行作业的帐户。我尝试了不同的方法(在命令行中添加--参数更新)，但总是得到一个错误。有没有办法专门通过运行gcloud数据流作业来更新数据流作业？
浏览 38提问于2020-06-17得票数 2
回答已采纳
我有一个数据流作业，它从我的GCS存储桶中读取按时间和主机拆分的日志文件。存储桶的结构如下：
/YYYY/mm/DD/HH/mm/HOST/*..gz
每个作业最终可能消耗大约10-100 KB大小的10,000+日志文件。
通常，我们的工作大约需要5分钟才能完成。我们有时会看到我们的工作时间激增到2-3倍，并且发现增加的大部分时间都出现在与读取数据文件相关的工作项中。我们如何减少作业执行时间上的这种差异？从GCS读取数据是否存在吞吐量问题？
浏览 1提问于2017-03-29得票数 0
我的csv文件有3941495条记录，我检查了我的文件，压缩后它正好有3941495条记录，但是服务器上的结果是3941489条记录。我得到了状态"CompletedWithWarnings"，这是状态信息
该作业已成功完成，但在行的部分失败。从数据监视下载错误日志，请检查失败的行。
有人知道怎么修吗？或者如何下载错误日志？
浏览 5提问于2016-07-07得票数 0
回答已采纳
2回答
有人能解释一下为什么这份工作没有任何回报吗？当该对象未在作业中运行时，将创建并返回该对象。我不确定可能出了什么问题。
$verifyJob = {
$prm = @{'ComputerName' = $args[0];'Credential' = $args[1]}
$esc = @{'ErrorAction' = 'SilentlyContinue'}
# IP Address
$IPAddress = [System.Net.Dns]::GetHostAddresses($args[0]).IPAddressToStrin
浏览 0提问于2015-11-04得票数 1
1回答
我试图通过Dataflow作业从本地Mysql摄取数据到Bigquery，但是它无法连接和获取数据。有没有人遇到过类似的问题？
这是我使用的代码
gcloud数据流作业运行mariadb_to_bigquery --gcs-location --parameters=driverJars=gs://xxxxxx-xxxxx/mysql-connector-java-8.0.17.jar，driverClassName=com.mysql.jdbc.Driver，connectionURL='jdbc:mysql://127.0.0.1:3306/classicmodels?user=
浏览 0提问于2019-07-28得票数 1
回答已采纳
1回答
我想主持一个Azure网站，我需要运行一个PHP脚本的网站每小时。通常我会用cron作业来做类似的事情。Azure WebJobs通过Azure Scheduler是实现这一目标的唯一选择吗？
通过PHP cURL使用PHP或REST，如何创建和部署Azure云服务工作者角色以独立于网站运行一些后端PHP软件？
云服务的定价将如何运作？我是只在它被部署的时候付款，还是在它被创建的时候支付？例如，我是否可以通过Azure门户创建服务，并通过PHP进行部署，从而以更少的编码获得相同的价格？
如何在云服务完成处理后停止它？
浏览 4提问于2014-08-15得票数 0
回答已采纳
我试图取消一个google数据流任务，但它已经被“取消”了大约15分钟了。
当我运行以下命令时: gcloud beta dataflow job list --status=active
它会显示作业处于活动状态。然后，我在这里运行命令: gcloud beta dataflow作业取消作业id。
它提示我它已被取消，但它在状态列表中仍显示为活动状态。
浏览 0提问于2018-02-03得票数 1
我知道，如果作业抛出异常，作业将失败，并将在几秒钟内从队列工作者自动重试。
我的问题是:我能否以一种可控的方式失败？
我想捕捉异常，创建一个更简单的日志，例如，返回false，将作业标记为失败。
有办法吗？
提前:我不想处理失败。我想在没有例外的情况下挑衅失败。我需要一些我需要工作失败的边缘案例。但我也需要避免抛出异常，以避免通过哨兵和其他内部工具发出一系列警告。我只是希望在一个return false中，但不期望处理程序返回值。
浏览 1提问于2019-07-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
