1回答
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
浏览 5提问于2016-11-27得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python</e
浏览 1提问于2011-03-31得票数 1
我正在学习如何用漂亮的汤和Python 3创建一个爬虫，我遇到了一个问题，我想在一个网站上获得的数据有多个类，下面是一个例子： <a href="..." class="number"></a> <a href="..." class="numbe
浏览 6提问于2015-08-17得票数 1
回答已采纳
1回答
我正在用Python构建一个web爬虫，使用MongoDB来存储一个队列，其中包含所有要爬行的URL。我将有几个独立的工人，将抓取URL。每当工作人员完成URL抓取时，它将在MongoDB集合"queue“中发出请求，以获得要爬行的新URL。我的问题是，既然会有多个爬虫，我如何确保两个爬虫器不会同时查询数据库并获得相同的URL来抓取？
非常感谢你的帮助
浏览 0提问于2014-03-29得票数 0
回答已采纳
我想创建一个简单的网络爬虫为乐趣。我需要网络爬虫来获得一个网页上的所有链接的列表。python库中有没有内置的函数可以让这一切变得更容易？感谢您提供的任何知识。
浏览 5提问于2010-11-10得票数 1
我正在研究一个网站爬虫机器人，从中提取特定的信息。我至少需要在html文件上运行"on document ready“javascript函数，这样才能生成内容并获得它。我该怎么做呢？我看到一个叫"rhino“的命令，但它似乎只适用于.js文件，该文件是一个html文件。正如你可以猜到的，它里面包含html和JS。我们的计划是:下载html文件，编辑它们的"on document ready“js函数，获取输出，传递下一个，重复。
浏览 82提问于2019-02-11得票数 0
回答已采纳
是否可以将网络爬行器/网络爬虫移植到智能手机等移动设备上？如果是这样，我会怎么做呢？
浏览 0提问于2011-12-20得票数 0
我有不同的内容坐在不同的子领域，每一个在不同的框架和不同的数据库。
目前，我使用sqlite3实现了这一点，但我正在寻找其他(更高性能、更低占用空间)编程语言，希望它们能够更好地完成这项任务。
浏览 2提问于2011-03-21得票数 0
我想抓取一个网页(新闻)，只获得最新的链接。我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
我正在尝试使用Python和Bash编写安装后脚本，并且在定义函数方面遇到了困难。以下是该程序的主要文件：
while True:
我正在使用Neovim作为我的编辑，
浏览 2提问于2021-01-13得票数 1
谁能告诉我，如果有任何方法可以忽略或绕过robots.txt爬行。有没有办法修改脚本，让它忽略robots.txt，继续抓取？User-agent: *Disallow:
浏览 3提问于2015-01-21得票数 1
它是基于Python的，因为我非常熟悉PHP，所以我寻找了替代方案。请建议我哪一个是最好的用来抓取网站。
谢谢
浏览 0提问于2012-11-22得票数 0
回答已采纳
我想询问是否有任何方法可以让我的爬虫一直到页面底部，并等待页面加载(以便加载的帖子的html将被添加)。<html></html>标签将只显示当前存在的帖子，而我的爬虫程序将停止。u-dir"})[0].text
post = item.find_all("p", {"class": "TweetTextSize TweetTextSize--normal js-tweet-text{"href": &q
浏览 1提问于2017-05-30得票数 1
我想写一个爬虫在Java中自动登录到gmail帐户。我的爬虫将获得登录Id和密码，并将登录到电子邮件帐户，并显示输出页面。我不清楚该怎么做。谁能告诉我如何编写爬虫登录到gmail电子邮件帐户？任何回应都将不胜感激。
提前谢谢。
浏览 2提问于2010-08-27得票数 1
3回答
第二:对此数据运行通宵批处理python脚本(文本分类)。about 建议我可以只用Django本身编写爬虫，但我不确定该怎么做。基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有什么建议吗？或者我是否应该在第二步中加入“变成Django友好的东
浏览 0提问于2009-06-09得票数 2
尝试在我的Mac OS上使用pip安装python-spidermonkey，但失败了，因为它缺少nspr：Downloading/unpacking python-spidermonkey Traceback/setup.py", line 186, in <module>
浏览 2提问于2013-04-27得票数 2
回答已采纳
2回答
这些数据可以通过免费的分类服务和许多其他网站免费获得。对于构建这样的产品有什么建议吗？例如，如果我从许多地方获得结果，我是否需要“给予信任”，并将其链接到原始结果？
编辑:顺便说一下，我在前端使用的是带有JS的GWT，还没有决定后端的语言。PHP或Python。有什么想法？
浏览 6提问于2009-06-18得票数 1
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
对象存储
腾讯云开发者
