社区首页 >问答首页 >在order azure中调用的工作进程

在order azure中调用的工作进程
EN

Stack Overflow用户
提问于 2011-07-17 17:54:12
回答 2查看 232关注 0票数 0

如果在前一个工作进程的每个任务完成后必须按顺序调用多个工作进程(有一个包含指向blobs的指针的队列,并且每个工作进程都有多个实例。请参阅我之前的问题。)这应该怎么做呢?Azure fabric会自动执行此操作吗?或者,有没有办法在配置文件中设置它?

EN

回答 2

Stack Overflow用户

发布于 2011-07-17 21:25:10

您只需遵循已有的相同过程,但具有更多的层。如果worker 1从队列1读取了一些内容,并且它需要让worker 2知道是时候开始处理同一文件了,worker 1只需将一条消息放入队列2。

编辑:好的,让我看看我是否完全理解你在这里想要什么。这听起来像是有一批文件需要经过几个过程,但它们不能进入下一步,直到它们都完成了上一步。

如果是这样的话,不,Azure中没有任何东西会自动为你做这件事。

正因为如此,如果可能的话,我会重写我的工作人员,这样每个文件就可以被发送,而不用担心其他文件处于什么状态。

如果这是不可能的,那么您需要一些方法来监视哪些文件已经完成,哪些文件仍处于挂起状态。要做到这一点,一种方法(希望你可以对此进行扩展)是创建批处理的代码,在某个表(SQL Azure或Azure表,这并不重要)中为每个文件创建一个进度行,向worker One发送一条消息,并启动一个后台任务来监控该表。

当worker 1完成对文件的处理时,它会更新监控表中的相关行,以表示"Worker 1已完成“。

上面创建的后台线程将等待,直到所有行的"Worker 1完成“都设置为true,然后为Worker 2创建消息,并开始查看"Worker 2完成”标志。对尽可能多的工作步骤重复冲洗。

当所有步骤都完成后,您可能希望后台任务清理此表,并留出一些超时时间,以防消息在某处丢失。

票数 0
EN

Stack Overflow用户

发布于 2011-07-18 06:37:38

虽然@knightpfhor的建议可以做到这一点,但我会尝试以一种更简单的方式来实现这一点,而不是引用工人的名字:-)

具体地说,如果您已经知道需要处理多少个文档,我将首先在一个表中创建N个行,每个行包含一些与当前批处理相关的信息,每个columnKey都设置为批处理id。然后,我将N个消息放入我的队列中,并让工作进程来获取它们。当每个工作线程完成时,它也会删除表中相应的行。监视进程将简单地知道批处理已启动,并每隔一段时间执行一次计数(如果它不是重要的,或者工作进程将在完成删除行后执行计数),并在相关队列中生成新消息,以供下一个工作进程角色处理。

如果你想要更多的控制,你可以在你的表中有一行来存储进程的状态(处理文件,后处理),等等。在这种情况下,我会将状态转换存储在一个队列中,并确保你只做一次。但这是一个全新的问题。

希望它能帮上忙。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/6725665

复制
相关文章
[接口测试 - 基础篇] 05 好讨厌的xml解析
概述 什么是XML? XML 指可扩展标记语言(eXtensible Markup Language)。 XML 被设计用来传输和存储数据。 XML是一套定义语义标记的规则,这些标记将文档分成许多部件并对这些部件加以标识。 它也是元标记语言,即定义了用于定义其他与特定领域有关的、语义的、结构化的标记语言的句法语言。 xml构成 XML由3个部分构成,它们分别是: 文档类型定义(Document Type Definition,DTD),即XML的布局语言 可扩展的样式语言(Extensible Style
苦叶子
2018/04/09
9720
libpcap试玩
libpcap驱动了tcpdump,和wireshark这类抓包工具.提供了高度灵活的包过滤语言. 据wikipedia,高性能的包过滤最早是在bsd上作为一个问题被解决,被称为bpf,在内核实现了一个解释器,进行包匹配,用户态提供一个字符设备, linux作为后来者,支持与bsd基本相同的packet filter,称为lpf,不同的是,linux是通过在一个raw socket来支持包过滤的,通过setsockopt来SO_ATTACH_FILTER,挂载过滤器. strace 可知,libpcap实际上进行了如下syscall:
byronhe
2021/06/25
7160
Winshark:一款用于控制ETW的Wireshark插件
Winshark Winshark是一款用于控制ETW的Wireshark插件,ETW(Event Tracing for Windows)提供了一种对用户层应用程序和内核层驱动创建的事件对象的跟踪记录机制。为开发者提供了一套快速、可靠、通用的一系列事件跟踪特性。Microsoft Message Analyzer早就已经过时了,而且它的下载包早在2019年11月25日也被微软从其官网上移除了。Wireshark建立了一个庞大的网络协议剖析器工具库,为了帮助广大研究人员更好地收集和分析各种类型的网络日志,W
FB客服
2023/04/26
1K0
Winshark:一款用于控制ETW的Wireshark插件
18C 也不能避免 SQL 解析的 Bug
在 Oracle 12.2 版本和新发布的18.0版本中存在一个 SQL 解析的 bug,导致了数据库后台报 ora-07445 或者 ora-00600 错误。报 ora-07445 时,可导致数据库断开当前会话连接,无法进行 SQL 操作,当报 ora-00600 时,会话没有断开,但无法完成解析返回结果。
数据和云01
2019/05/26
8030
电能表国标DLT698协议解析
响应:85 01 01 40 01 02 00 01 09 06 12 34 56 78 90 12 00 00
科控物联
2023/09/01
2.4K0
电能表国标DLT698协议解析
18C 也不能避免 SQL 解析的 Bug
作者简介 苏星开 云和恩墨南区交付技术顾问,曾服务过通信、能源生产、金融等行业客户,擅长 SQL 审核和优化,DataGuard 容灾等。 1 概述 在 Oracle 12.2 版本和新发布的18.0
数据和云
2018/03/07
1.1K0
18C 也不能避免 SQL 解析的 Bug
讨厌的ALG
这几天测试FreeSWITCH的Bypass Media功能,FreeSWITCH在公网上,客户端在私网,发现SDP数据被篡改,影响通话。
杜金房
2020/12/21
1.1K0
javascript的一些bug建议收藏
JavaScript是如今最受欢迎的编程语言之一,但受欢迎同时就是该语言自身的各种特性带来的副作用,无论该语言多美妙,每天还是有成千上万的程序员弄出一堆bug。先不要嘲笑别人,或许你也是其中之一。
全栈程序员站长
2022/07/15
2440
尽量避免bug的一些手法
最近参与了几个需求开发,BUG很少,有些需求没BUG,有些才一个BUG,搞的测试人员还发牢骚说:
Java团长
2019/01/23
8100
DLT645-2007
对于电能来说,DI0是结算日的信息,现在的就是写0,上一结算日的就写 01,上12结算日就写 0C
科控物联
2022/06/13
1.1K0
DLT645-2007
DLT645调试
DLT645-2007 端子2和10接单相电;通讯是24和25就可以测试了。 各种软件测试: 直接串口调试软件测试 厂家古老的测试软件 各个品牌网关测试 都只能一个变量一个变量的读???
科控物联
2022/06/13
5190
DLT645调试
ajaxFileUpload.js 的一些Bug
这里以前提到过 http://blog.csdn.net/qq_30930805/article/details/62427726
試毅-思伟
2018/09/06
6930
LAMP Linux路由和Libpcap配置
1、Ubuntu安装:sda会覆盖MBR,选择这个,sda1会导致找不到系统 2、配置路由 在/etc/rc.local 开机时候自动加载 sudo iptables -F  //清除所有规则 sudo iptables -P INPUT ACCEPT sudo iptables -P FORWARD ACCEPT sudo iptables -t nat POSTROUTING -o eth1 -j MASQUERADE 具体内容忘记了 eth1 为 wan口网卡
星哥玩云
2022/06/30
4.2K0
Libpcap PACKET_MMAP内存分配
libpcap为了提高效率,调用setsockopt(handle->fd, SOL_PACKET, PACKET_RX_RING,(void *) &req, sizeof(req))时采用kmalloc分配内存。 可以参考: https://www.kernel.org/doc/Documentation/networking/packet_mmap.txt kmalloc底层依赖linux的slab内存分配机制,在2.6.22内核之后,slub取代slab成为默认的内存分配器。空间和时间上都有所提升。
happy123.me
2018/06/04
1.4K0
JSON金额解析BUG的解决过程
这是在我们开发的一个支付系统中暴露的一个BUG,问题本身比较简单,有意思的是解决问题的过程。将过程分享出来,希望能够对大家有所帮助。
程序猿讲故事
2019/09/27
1.1K0
JSON金额解析BUG的解决过程
Shell之讨厌的正则
思想(KISS)相当重要。KISS(keep it simple stupid)。 这是其实不难,只要按照一下思路进行就ok。
后场技术
2020/09/03
4750
Shell之讨厌的正则
BibTeX条目类型
使用 BibTeX 时,各大参考文献检索网站经常会给出不同的 BibTeX 条目类型,本文便就 BibTeX 的各种条目类型及其说明进行摘录。
hotarugali
2022/11/23
4330
深度学习跟踪DLT (deep learning tracker)
粒子滤波是对预测粒子进行评价,添加不同的权重,越接近于真实状态的粒子,其权重越大;否则,就加的权重小一些。步骤:
代码的路
2022/08/23
7500
解决ueditor上传视频、音频的一些bug
使用ueditor上传视频和音频功能之前一直没有用,也没有去搞因为用不太着。现在想上传个视频就搞了一下都是在网上找的方法一步一步的试,花了几个小时终于好了。记录下怎么改的。
sunonzj
2022/06/21
1.9K0
知名系统中的一些有趣bug
产品的绝大部分bug,会在测试阶段被消灭,但仍然有不少的bug,脱离测试工程师的魔掌,展现在了用户面前。有些bug十分影响用户体验,不过有些bug,反而会娱乐大众,让人笑翻了天。
良月柒
2019/03/20
5970
知名系统中的一些有趣bug

相似问题

防止用户切换TabItem +讨厌的bug?

20

React讨厌的bug,我搞不懂

222

KD的构建程序中的讨厌的bug

16

grails ajax功能--一个“讨厌的bug”

10

代码中的一些错误- libpcap

33
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文