我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支，所以整个存储库现在有两个分支: Master(Remote-A)和Python3爬虫(Remote-B)，后者是主分支的一个
浏览 3提问于2019-09-10得票数 0
回答已采纳
1回答
只爬行一次URL的刮伤蜘蛛
、、、、
我正在写一只抓取蜘蛛，它每天爬行一组URL。然而，其中一些网站是非常大的，所以我不能抓取整个网站每天，我也不想产生大量的流量，必要的这样做。我试图理解这一点，但发现中间件有点混乱。一个完整的刮板示例，无论它是否使用链接中间件，都可以在不撤销URL的情况下多次运行。
我已经在下面发布了代码来启动业务，但是我不一定需要使用这个中间件。任何能够每天爬行和提取新URL的刮痕蜘蛛都可以。显然，一种解决方案是只编写一本刮过的URL的字典，
浏览 4提问于2016-06-10得票数 6
回答已采纳
爬虫需要具有可扩展的体系结构，以允许更改内部流程，如实现新步骤(预解析器、解析器等)。但是还有其他像这样的好项目吗？
浏览 2提问于2009-06-24得票数 14
回答已采纳
1回答
弹性豆杆不运行的克隆约伯
、、、、
我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：
我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0提问于2015-04-13得票数 0
1回答
保护泽西2 Rest API
、、、、
我正在使用泽西2构建一个way爬虫(类似于 \ SAAS)，其他开发人员应该能够以安全的方式使用这个API (发出请求->获得一个JSON响应)。以下是流程：在登录/注册之后，他应该会看到一个带有API_KEY和API_SECRET的面板。现在，他可以使用这个API_SECRET来访问API，从而访问爬虫。
瓦特适合这样做吗？是否有更好/更简单的解决办法？
浏览 5提问于2015-10-23得票数 0
回答已采纳
我有一个用OpenGraph标记开发的页面：但是Facebook的页面爬虫并没有收集到同样的数据。或者是FBs流程有错误？
浏览 0提问于2011-10-04得票数 0
回答已采纳
1回答
最近我尝试写一个网络蜘蛛，所以我发现了一些用PHP编写的关于网络蜘蛛的项目。所以我想知道扩展"PCNTL“是否真的适合网络蜘蛛？如果没有，还有什么可供选择的。
浏览 4提问于2016-07-22得票数 0
回答已采纳
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。
浏览 4提问于2019-12-21得票数 0
回答已采纳
因此，我试图从我的DAG启动一个Glue爬虫，并等待它完成，然后继续我的工作流程。无法在配置参数中计算出气流的期望。然而，它抱怨我在字典中引用了爬虫的名字。把它拿出来，但还是没有骰子。
是否有人知道这个操作符的配置字典中包含了什么，或者从aws帐户上的本地码头实例中启动了一个胶水爬虫？
浏览 7提问于2021-09-10得票数 0
回答已采纳
2回答
可以在Python 框架中使用.NET框架从不同的站点抓取数据吗？我正在做我的最后一年的项目，在这个项目中，我想使用C#作为前端语言，并使用Python来抓取数据。
浏览 0提问于2014-05-07得票数 4
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数
浏览 1提问于2011-03-31得票数 1
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
我在一个爬虫项目上工作，那里有3台机器，每个机器执行10个实例。存在一个方法tearDown，用于在完成整个爬虫进程时关闭实例。= null){ driver.quit(); }
我要解决的问题是，在某些情况下，当流程完成时
浏览 5提问于2022-11-21得票数 0
1回答
我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项
浏览 9提问于2017-06-27得票数 0
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。
浏览 1提问于2014-05-20得票数 0
回答已采纳
1回答
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
浏览 5提问于2016-11-27得票数 0
回答已采纳
1回答
我需要创建一个爬虫与客户端在每个台式机和一个中央服务器，其中的数据是索引。有没有可能在Nutch中创建这样的爬虫？还有没有别的选择。基于Python的爬虫会更好。
浏览 2提问于2011-07-04得票数 0
回答已采纳
爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？
浏览 0提问于2012-08-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
