问队列工作器的同步访问

EN

这听起来像是预订系统，网上订票系统有这样的问题-

user asks for tickets
system offers specific tickets
user thinks a while and maybe pays, during that think time system cannot offer tickets to anyone else
eventually user buys, rejects or maybe just times out
system updates ticket availability

问:在您的系统中，如果两个参数相同的爬虫同时进行搜索，如果它们不能同时更新结果，这是否是一个问题？我问这个问题的原因是，我认为爬行操作本身类似于用户思考时间，这是一个长时间运行的操作，在其持续时间内持有数据库锁是不合理的。

我建议的方案是乐观锁定，通过数据库和数据库的超越，因此不需要单独的控制器--您的DB是一个单一的故障点，最终是一个可伸缩性的瓶颈，但是您可以通过对DB进行一些分区来解决这个问题。

​

你需要某种控制器。但不一定是单身。同样，通过数据库锁来中介实例。我看到的大问题是可靠地捕捉失败的爬虫。在“蓝天”场景中，很容易维护运行爬虫的DB表。在我看来，失败的情况是非常棘手的。

我不知道诀窍是否是对数据库进行分区，每个分区对应于一个带有自己控制器的“工作组”。只要控制器是活动的，它就可以启动工作，并对查询进行监管，这样就不会在其工作组中出现重复的情况。在完成任何爬虫时，都会有“就绪”消息排队，结果合并服务会将数据从分区中提取到主服务器。

如果需要将队列中的一组/一组消息关联起来，则可以使用会话进行关联。此外，使用具有多个订阅的单个主题可以根据订阅上设置的不同筛选器对消息进行分区。以下信息可能会有所帮助：

1. (从我的博客) http://abhishekrlal.wordpress.com/2012/02/07/enterprise-integration-patterns-with-service-bus-part-1/
2. http://code.msdn.microsoft.com/windowsazure/Brokered-Messaging-Session-41c43fb4

您可能需要将上述示例中的引用更新到AzureSDK1.8，因为这正是支持Windows服务总线1.0的地方。