它是基于Python的，因为我非常熟悉PHP，所以我寻找了替代方案。它怎么能和Python上的Scrapy相比呢？谢谢
浏览 0提问于2012-11-22得票数 0
回答已采纳
1回答
我正在用Python构建一个web爬虫，使用MongoDB来存储一个队列，其中包含所有要爬行的URL。我将有几个独立的工人，将抓取URL。每当工作人员完成URL抓取时，它将在MongoDB集合"queue“中发出请求，以获得要爬行的新URL。我的问题是，既然会有多个爬虫，我如何确保两个爬虫器不会同时查询数据库并获得相同的URL来抓取？
非常感谢你的帮助
浏览 0提问于2014-03-29得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一
浏览 1提问于2011-03-31得票数 1
1回答
我已经创建了一个使用scrapy.The爬虫爬虫的网站和抓取链接。**所使用的技术：**Python，Scrapy Error抓取相对urls，因为刮刀器无法抓取网页。我要爬虫只取无源网址。
浏览 2提问于2021-06-29得票数 1
2回答
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取</e
浏览 0提问于2013-05-23得票数 2
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
3回答
第一:抓取和存档，至少每天，一组预定义的站点。第三:向用户公开一个基于Django的前端，让他们搜索抓取的数据。我一直在使用Apache Nutch/Lucene，但当我可以使用另一个爬虫引擎时，让它与Django很好地配合似乎太难了。
about 建议我可以只用Django本身编写爬虫，但我不确定该怎么做。基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有
浏览 0提问于2009-06-09得票数 2
1回答
我该如何为谷歌chrome扩展网站编写一个爬虫呢？
我正在做一些关于chrome扩展的安全研究。每个类别大约有100个扩展，我现在遇到的问题是编写一个爬虫来至少抓取UID。如果我抓取html，我将什么也得不到，因为该站点似乎会在稍后阶段加载页面的其余部分。换句话说，我需要的核心内容(即包含所有扩展元素的DOM )似乎是在我使用python抓取HTML之后加载的。
浏览 2提问于2012-04-21得票数 1
回答已采纳
我正在寻找一个爬虫，它能够处理与Ajax的页面，并能够在开始爬行网站之前与目标网站执行某些用户交互(例如，点击某些菜单项，填写一些表格等).I尝试webdriver/selenium (这是真正的网络抓取工具)，现在我想知道是否有任何爬虫程序，支持模拟某些用户交互之前开始爬行？(用Java、Python或Ruby ...)如果是，我很感谢任何描述这一点的链接。
浏览 1提问于2011-06-28得票数 0
我在一个网站上使用了这个漂亮的汤代码：funda = "https://www.funda.nl/koop/amsterdam/"print(response)
ht
浏览 6提问于2019-11-01得票数 0
回答已采纳
1回答
我正在从一个更大的框架中调用一个基于Scrapy的爬虫。在爬行过程中，Scrapy记录所有事件。抓取之后，抓取应该停止日志记录，调用框架应该接管日志记录任务，并再次打印出来。如何管理Python?中的多个记录器
更新：我将crawler.spider.settings.overrides['LOG_ENABLED'] = False添加到我的爬虫中。
浏览 2提问于2013-12-10得票数 1
在Python方面经历了几年之后，我才知道它在web开发中的应用。我在Python中制作了一个电子邮件爬虫程序(基本上是一个使用其他几个功能的函数)，它帮助我在generate实习的公司。我的老板问我是否可以让我的python电子邮件爬虫进入一个网络应用程序，这样其他员工就可以通过我来抓取电子邮件，这样我就可以在更重要的事情上工作。是否有一些web应用程序框架可以用来将我的python电子邮件爬虫程序转换成一个简单的公司专用web应用程序？制作网络应用
浏览 5提问于2015-07-08得票数 0
回答已采纳
5回答
我正在用python编写一个简单的网络爬虫，我不想创建一个简单的queue类，但我不太确定最好的开始方法。我想要的东西，只持有唯一的项目来处理，这样爬虫将只抓取每一页每次脚本运行一次(只是为了避免无限循环)。有没有人能给我一个简单的队列示例？
浏览 0提问于2009-02-14得票数 1
回答已采纳
我使用scrapy从网页抓取信息。我已经写了爬虫代码，它工作得很好。我还有一些其他的python代码文件来优化抓取的数据。总而言之，我有一个批处理文件，我首先在其中使用"Scrapy Crawl“命令，然后运行我的python文件来优化抓取的信息。批处理文件的内容：scrapy crawl mySpider -o outputData.json -t json
python refineData.p
浏览 1提问于2013-05-09得票数 1
回答已采纳
我正在尝试使用用Python编写的爬虫来抓取网站。我想将Tor与Python集成，这意味着我想使用Tor匿名地抓取站点。
我试过这样做。似乎不起作用。我检查了我的IP，它仍然和我使用tor之前的一样。
浏览 8提问于2009-07-08得票数 55
2回答
我有一个使用rails进行CRUD操作的应用程序，它很方便所以我的问题是python如何与ror程序通信？
浏览 1提问于2010-12-27得票数 0
需要知道是否有一个爬虫/下载器，可以抓取和下载和整个网站的链接深度至少为4页。我正在尝试下载的站点有java script超链接，这些超链接只能由浏览器呈现，因此爬虫程序无法抓取这些超链接，除非爬虫程序自己呈现它们！
浏览 4提问于2010-09-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
