1回答
我用python编写了一个爬行过程，它运行在亚马逊上的一个ec2实例上。我已经编写了这个爬虫，这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理爬虫的结果，爬虫可以自由地继续爬行。我在这个爬行实例中想到的是，克隆爬虫的几个实例很容易，每个实例都要向中心报告以便处理。
因此，在这一点上，我有一个集线器和8个单独的爬行器(都在它们自己的实例上)不断地爬行和报告等等。我在想用小的，
浏览 2提问于2015-01-08得票数 0
回答已采纳
我正在使用python中的EC2构建一个网络爬虫。我有一个主实例和两个从实例。主实例负责收集urls，需要对urls进行刮除，并一致地将它们发送到从服务器。我有两个问题：
如何将urls从主实例发送到从实例？谢谢
浏览 5提问于2014-10-07得票数 1
回答已采纳
我有一个网络爬虫，是一个码头形象。我想使用boto创建一个EC2实例，部署我的爬虫，运行这个爬虫，然后在它完成后终止这个实例。我现在的想法是：
我真的需要使用像Fabric这样的工具来对我的实例</
浏览 0提问于2018-03-19得票数 2
1回答
托管爬虫的最佳解决方案？
、、、
我有一个爬虫，爬行几个不同的领域为新的帖子/内容。总内容数为十万页，每天都有很多新的内容添加。因此，为了能够通过所有这些内容，我需要我的爬虫爬行24/7。目前，我将爬虫脚本托管在与爬虫添加内容的站点相同的服务器上，而且我只能在夜间运行cron作业来运行脚本，因为当我这样做时，网站基本上停止工作，因为脚本的加载。换句话说，一个非常糟糕的解决方案。是否有可能继续从同一主机运行爬虫，但在某种程度上平衡负载，以便脚本不会扼杀网站？
我会找什么样的主机/服务器来托管爬虫</
浏览 3提问于2014-03-06得票数 10
回答已采纳
我对python和线程都是新手。我已经编写了python代码，作为一个网络爬虫和搜索网站的特定关键字。我的问题是，如何使用线程同时运行我的类的三个不同的实例。当其中一个实例找到关键字时，所有三个实例都必须关闭并停止在web上爬行。下面是一些代码。
浏览 0提问于2011-06-09得票数 33
回答已采纳
1回答
如何将与Luigi数据管道集成？
、、、、
我目前正在构建一个Python后端，该后端将部署到一个AWS EC2实例中，该实例具有以下体系结构：
网络爬虫数据-保存到S3* =\任何建议，文件，或文章将是超级感谢！
浏览 1提问于2017-06-13得票数 3
回答已采纳
我在我的网络爬虫中使用了一个ampq队列-每个爬虫实例都将从队列中的消息中获得一个url，然后将它找到的url添加到队列中。
由于将有多个爬虫实例，每个实例都可能找到相同的url并将其添加到队列中。
浏览 4提问于2014-04-30得票数 2
回答已采纳
1回答
弹性豆杆不运行的克隆约伯
、、、、
我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：
我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0提问于2015-04-13得票数 0
我的应用程序允许用户创建一系列的网络爬虫，这些爬虫保存在一个数组列表中。每个crawler都有一个进度面板gui，显示已爬行的页面等，并允许用户暂停该爬虫。但是，用户可能还想“终止”该爬虫程序。应该注意的是，Crawler类的每个实例都有一个Scraper类的实例，而Scraper类又有一个DatabaseConnection类的实例。
浏览 4提问于2011-07-08得票数 0
回答已采纳
1回答
我有一个运行多个Python爬虫实例的脚本，Crawler是int /root/crawler/batchscript.py爬虫工作得很好。但是，当我使用python /root/crawler/batchscript.py从这个目录外部运行它时，它不会按预期运行(设置没有正确导入)，get_project_settings()是空的。
浏览 3提问于2016-11-17得票数 0
回答已采纳
我想从Python模块在Scrapy中启动一个爬虫。my_crawler -a some_arg=value -L DEBUG的本质
使用settings.py中的设置和具有my_crawler名称属性的爬虫启动爬行(我可以轻松地从测试模块实例化这个类在爬虫完
浏览 1提问于2012-06-26得票数 9
3回答
我在启动同一爬虫的多个实例时被卡住了。我想让它像一个爬虫实例的1url一样运行。我必须处理50k个urls，为此，我需要为每个urls启动单独的实例。在我的主要爬虫脚本中，我设置了7分钟的closedpider超时，以确保我不会爬行很长时间。但之后当传递第二个url时，它会显示以下错误：ReactorNotRestartable
请建议我应该做些什么才能让它为同一个爬虫的多个实例
浏览 1提问于2015-11-13得票数 6
1回答
当我将项目(nestjs)扩展到多个实例时，我遇到了问题。在我的项目中，我有一个每10分钟运行一次的爬虫服务。当2个实例运行时，爬虫将在两个实例上运行，因此数据将重复。有人知道怎么处理吗？
浏览 9提问于2022-09-09得票数 1
1回答
长时间多处理断管
、、
我使用多处理模型开发了一个爬虫。这三种类型的params都是在所有子进程和父进程之间共享的，所有的params都组织在一个类中，我使用类的实例将共享的params从父进程转移到子进程。我尝试了以下方法来定位和解决这些问题：
定位网站A哪个爬虫坏了，然后使用爬虫分别抓取网站，爬虫工作良好。甚至我从所有包含站点A的目标站点文件中获得一个片段(例如20个站点)，爬虫工作得很好！d" % len(global_params.STATIC_RESULT)) File &quo
浏览 1提问于2014-12-09得票数 0
我有一个简单的Python网络爬虫。它使用SQLite来存储它的输出，也用来保存一个队列。我想让爬虫是多线程的，这样它就可以一次抓取几个页面。我想我应该创建一个线程，一次只运行类的几个实例，这样它们都可以同时运行。但问题是，我应该一次运行多少次？我是不是应该坚持到两个？我能再高一点吗？线程数量的合理限制是多少？
浏览 2提问于2009-03-08得票数 3
回答已采纳
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。
浏览 4提问于2019-12-21得票数 0
回答已采纳
我们有一些从互联网上收集数据的爬虫。对于我们的应用程序来说，EC2 spot是一个非常便宜的解决方案。在我们的例子中，我们可以通过以下步骤来设置爬虫：
3.
浏览 2提问于2012-07-09得票数 0
回答已采纳
1回答
EJB未注入
、、、
我的Java应用程序使用，它使用以下代码开始抓取：config.setCrawlStorageFolder("C:/crawler4j_storage");RobotstxtConfig robotstxtConfig = new RobotstxtConfig();
RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtC
浏览 3提问于2012-07-01得票数 0
回答已采纳
2回答
可以在Python 框架中使用.NET框架从不同的站点抓取数据吗？我正在做我的最后一年的项目，在这个项目中，我想使用C#作为前端语言，并使用Python来抓取数据。
浏览 0提问于2014-05-07得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
