1回答
我用python做了一个爬虫，我正在尝试下载这篇文章中的图片--。这个网站的问题是，它会自动调整大小，当我尝试下载文章的图片时，它给我的是320像素(太小)。发生这种情况的原因是爬虫进入url的源文件(view- source：)，它有320个像素。有一种方法可以使图像最大尺寸，或者我如何在浏览器中看到它？这是获取图像的代码：
r = requests.get("http://www.bbc.com/news/business-34958154")
soup = BeautifulSoup(r.content)
soupAllImgs=soup.findAll('img
浏览 0提问于2015-11-30得票数 2
我们正处于一个项目的开始阶段，我们目前想知道哪个爬虫是我们最好的选择。
我们的项目：
基本上，我们要建立Hadoop和抓取网络上的图像。然后，我们将根据Hadoop中的Map/Reduce工具，在HDFS中存储的图像上运行我们自己的索引软件。除了我们自己的索引之外，我们不会使用其他索引。
一些特殊问题：
哪种爬虫最适合抓取图像？哪种爬虫最适合分布式爬行系统，在这种系统中我们使用多台服务器一起进行爬行？
现在这些看起来是最好的三种选择-
Nutch:众所周知的规模。看起来并不是最好的选择，因为它似乎与他们的文本搜索紧密联系在一起，software.Heritrix:也可以伸缩。目前看来，最好的o
浏览 5提问于2009-07-28得票数 3
我的最终目标是建立一个能够下载网页上所有图片的网络爬虫。根据我的理解，我需要嵌入一个渲染/布局引擎，比如Gecko或Webkit。
不幸的是，我使用的是windows，所以我不知道该怎么使用和C++来让壁虎或爪哇使用Rhino。
有没有一个可靠的渲染引擎，可以在windows (64位，Windows 7)中使用python绑定？在windows上有没有在python脚本中执行javascript的简单方法？
浏览 5提问于2011-02-15得票数 4
回答已采纳
嘿，我正试着在python用bs4建立一个推特网络爬虫。它工作得非常好，但是我刚刚发现我还需要抓取我正在抓取的tweet的id。
在我提交的html图片中，我已经能够使用以下代码来定位容器"div"{"class":"tweet"}：
我似乎无法获得检索"data-item-id“的代码。有谁有关于如何获得它的提示吗？非常感谢
浏览 1提问于2019-05-03得票数 0
我们在drupal中建立了一个大型社区网站，在您访问该网站的内容之前，该网站有一个强制性的agecheck。
它检查一个cookie是否存在，如果没有，您将被重定向到agecheck页面。
现在我们相信爬虫者会被困在这个部分，他们会被重定向到阿格切克，永远不会爬上完整的网站。
以前有人吃过这个吗？处理这种事情最好的方法是什么？
砂光机
编辑
很抱歉，现在我要说的是，爬虫的一个问题是，当社区中的某个人在他的脸书上贴了什么东西时，facebook会把这个页面爬回来来获取图片和描述(这些图片和描述是在元标签中指定的)，但是facebook也会被重定向到agecheck页面。如果我添加facebook
浏览 18提问于2009-08-19得票数 0
回答已采纳
1回答
我使用selenium和python制作了一个爬虫，用于从特定的torrent站点下载torrent。当有人点击"magnet download“链接并点击"openμtorrent”时，下载就会发生。所以在点击"magnet download“之后，它会打开一个弹出窗口(不是μ弹出窗口)，并且必须点击"open javascript torrent”。我如何自动执行这一步？我附上了下面的图片。在这方面请帮帮我。我在堆栈中寻找解决方案，但没有一个答案对我有帮助。
浏览 18提问于2021-03-10得票数 0
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以及让php脚本知道爬虫何
浏览 1提问于2011-03-31得票数 1
会发生什么事？
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。我不能一次部署一个爬虫。
我做了什么/我有什么？
我目前有一个远程分支，它是主分支。让我们称之为遥控器-A。这就是容纳所有爬行器的分支，它们每天都会被执行。这个分支必须继续运作。
对于远程分支，我有本地文件夹/分支，修复错误并创建新的。让我们把它叫做Local.，从主人那里，我推拉。
现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Rem
浏览 3提问于2019-09-10得票数 0
回答已采纳
我想阻止爬虫索引特定的图片在我的网站上，但只有当他们是年龄超过一个特定的日期。但是，爬虫不应停止索引当前链接图像的页面。
我最初的方法是编写一个脚本，它将图像的URL添加到'robots.txt'，但是我认为文件会变得很大，因为我们谈论了大量的潜在图像。
我的下一个想法是使用<meta name="robots" content="noimageindex">标记，但我认为这种方法很容易出错，因为我可以忘记将这个标记添加到模板中，在模板中我可能希望阻止爬虫对图像进行索引。这也是多余的，爬虫将忽略所有的图像。
我的问题是:如果某个条件(
浏览 4提问于2017-09-18得票数 0
回答已采纳
1回答
我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项
浏览 9提问于2017-06-27得票数 0
1回答
我对python有点陌生，但我正在尝试制作一个网络爬虫脚本，它可以下载网站上的所有图片。我使用的是requests和PyQuery，因为很多人都是经过研究后推荐的。这就是我现在所有的东西，我不知道该去哪里。
r = requests.get("some url")
images = pq(r.text)
for image in images.find("img"):
我知道我需要获取img的源代码，但是在找到img标记之后，我该怎么做呢？另外，我查看了一些htmls的页面源代码，一些图片存储在它们的数据库中，所以src以“/”某个扩展名开头，所以我想知道如何才
浏览 5提问于2015-01-22得票数 1
1回答
我正在试着写一个爬虫在狂欢下载图片从冰。除了bing在开始时只加载了30张图片(使用无限滚动)之外，一切都很好，因此我不能使用wget下载超过30张图片。
有没有办法一次从必应图片下载30多张图片？
--谢谢你的帮助。:)
浏览 1提问于2011-07-30得票数 0
回答已采纳
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。我使用了Ubuntu服务器。因为我使用了Linux命令
$ nohup python crawer.py &
这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。而且效果很好！有什么问题吗？这是关于网页的块吗？或者nohup命令有限制时间？非常感谢。
浏览 1提问于2014-05-20得票数 0
回答已采纳
1回答
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
谢谢。
浏览 5提问于2016-11-27得票数 0
回答已采纳
1回答
我已经做了一个文件爬虫使用python来读取我计算机中的所有图片(大约250K文件)，并将这些信息保存在MySQL数据库中。我还保存了每个文件的所有EXIF元数据。接下来，我会给它们添加标签，将它们与一个唯一的ID相关联，但对于相同的图片，这总是相同的，以防我再次运行爬虫程序，文件改变了它的位置或名称。为此，我使用字符串和相关的Exif信息创建了一个散列。 我考虑到这些年来，我用不同的相机或手机拍摄过照片，有些Exif标签并不是所有相机都有。我还看到，大多数标签没有太多不同的值来使字符串唯一。 即时通信工具使用： Exif_Image_Length * Exif_Image_Width (图
浏览 46提问于2019-09-12得票数 0
1回答
我在不同的地理位置有几台台式机。我需要创建一个爬虫与客户端在每个台式机和一个中央服务器，其中的数据是索引。有没有可能在Nutch中创建这样的爬虫？还有没有别的选择。基于Python的爬虫会更好。
浏览 2提问于2011-07-04得票数 0
回答已采纳
需要将现有应用程序连接到社交媒体监控。爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？
浏览 0提问于2012-08-20得票数 0
回答已采纳
2回答
一些服务器具有robots.txt文件，以阻止web爬虫在其网站中爬行。有没有办法让网络爬虫忽略robots.txt文件？我正在为python使用Mechanize。
浏览 1提问于2011-12-05得票数 14
回答已采纳
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。
现在，我正在使用cron作业，每15分钟运行一次爬虫。问题是，我无法知道爬虫要花多少时间才能完成(有时可能需要超过15分钟)，如果已经在运行，我不想再运行另一个爬虫。
我一直在想，我是否最好使用一个无限循环，并使爬虫成为一个永久运行的进程(但是如何确保爬虫不会失败并退出呢？以及如何在每次退出时重新启动？)。
哪一个更有效率？无限循环还是cron作业？
浏览 7提问于2021-05-14得票数 0
在Python方面经历了几年之后，我才知道它在web开发中的应用。我在Python中制作了一个电子邮件爬虫程序(基本上是一个使用其他几个功能的函数)，它帮助我在generate实习的公司。我的老板问我是否可以让我的python电子邮件爬虫进入一个网络应用程序，这样其他员工就可以通过我来抓取电子邮件，这样我就可以在更重要的事情上工作。
是否有一些web应用程序框架可以用来将我的python电子邮件爬虫程序转换成一个简单的公司专用web应用程序？制作网络应用程序所需的时间范围是什么？
我非常开放和渴望学习web应用程序开发，因此，任何帮助或建议将不胜感激。谢谢。
浏览 5提问于2015-07-08得票数 0
回答已采纳
我正在使用icrawler与python3.5下载图片从Flickr，Bing，或谷歌。现在，我想比较一下在没有下载图片的情况下找到的图像-urls的数量。
如果我正确地理解了icrawler文档，那么爬行方法将启动一个馈线，它将所有找到的urls放在一个队列中。因此，最好有一个函数来获取队列中urls的数量。
如果没有对icrawler包的功能，最好能为其他具有此功能的爬虫包提供一些建议。我更喜欢Flickr和Bing的图片，因为它们支持CreativeCommons许可证。
我使用icrawler的方式如下：
from icrawler.builtin import FlickrImage
浏览 0提问于2018-11-06得票数 0
回答已采纳
2回答
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。我希望将我想要查询的URL (或查询参数并让crawler构建URL)传递给crawler，crawler将进行URL调用，并将提取的项返回给我。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。
我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取一个URL时，都必须派生和拆卸一个新的进程，因
浏览 0提问于2013-05-23得票数 2
我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？会不会每个线程从套接字中提取一些数据，然后转到下一个线程，让它从套接字中提取一些数据，等等？
基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
1回答
假设一个我有两种类型的图像(A和AAA(更重))为同一网站:取决于屏幕的大小，它将显示一幅或另一幅。
现在我想知道什么图片(A或AAA)加载谷歌爬虫时，它访问我的网站。
换句话说:谷歌爬虫有“屏幕大小”吗？
我想，如果它加载A图像，那么页面速度会比加载AAA图像更好。
浏览 0提问于2013-07-09得票数 4
回答已采纳
图片
图片
查了很多方法，添加r=requests.get(url,verify=False) 添加verify=False,依然无效。scrapy 自带可以访问https的验证，关闭SSL验证也是不起作用。为什么scrapy shell调试此网站没问题，用scrapy组件写爬虫执行就报错呢
浏览 109提问于2023-04-25
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。
这个bug似乎是随机的，也是不可复制的，这让我认为它是由被爬行的网站的资源利用引起的。
因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
下面是关于爬虫和bug的一些信息：
爬虫是使用Selenium和Python构建的。
这个错误发生在不同的网站和产品上。
该错误发生在“正常”模式，但更多发生在无头模式。
谢谢!
费利佩
浏览 2提问于2019-05-21得票数 1
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。我有一台简单的家用电脑--所以这是个问题。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
我是Python & Scrapy的初学者。我刚刚创建了一个带有多个爬虫的Scrapy项目，在运行"scrapy crawl ..“它只运行第一个爬虫。
如何在同一进程中运行所有爬行器？
提前谢谢。
浏览 0提问于2014-04-11得票数 2
我试图将表属性分配给用爬虫创建的表。
这样做的目的是让所有使用爬虫创建的表具有相同的默认属性(加上它们通常拥有的属性)。
我检查了爬虫创建界面中的选项，但没有看到这样的选项。在创建表之后创建一个python boto3脚本来修改表属性值，这是我唯一想到的事情。
如果这在默认的爬虫功能中是不可能的，那么将表属性附加到使用某个爬虫创建的每个表上的可行方法是什么？
编辑:一个可能的解决方案是创建一个lambda函数，检查胶水表中是否存在自定义参数，如果没有创建它们。
浏览 2提问于2021-01-20得票数 0
回答已采纳
3回答
我试着做三件事。
第一:抓取和存档，至少每天，一组预定义的站点。
第二:对此数据运行通宵批处理python脚本(文本分类)。
第三:向用户公开一个基于Django的前端，让他们搜索抓取的数据。
我一直在使用Apache Nutch/Lucene，但当我可以使用另一个爬虫引擎时，让它与Django很好地配合似乎太难了。
about 建议我可以只用Django本身编写爬虫，但我不确定该怎么做。
基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有什么建议吗？或者我是否应该在第二步中加入“变成Django友好的东西”，并编写一些胶水代码？或者，最后，我应该完全放弃Django吗
浏览 0提问于2009-06-09得票数 2
我是一个实时分布式搜索引擎elasticsearch的新手，但我想问一个技术问题。
我已经编写了一个python模块爬虫，它可以解析网页并使用本机信息创建JSON对象。我的模块爬虫的下一步是使用elasticsearch存储本机信息。
真正的问题如下所示。哪种技术更适合我的场合？elasticsearch python API还是用于弹性搜索的RESTful API (elasticsearch-py)？
浏览 4提问于2015-12-01得票数 1
我必须用Python写一个网络爬虫。我不知道如何解析页面并从HTML中提取URL。我应该去哪里学习来编写这样的程序呢？
换句话说，有没有一个简单的python程序可以作为通用网络爬虫的模板？理想情况下，它应该使用相对简单的模块，并且应该包括大量的注释来描述每一行代码所做的事情。
浏览 2提问于2013-03-20得票数 17
我想创建一个简单的网络爬虫为乐趣。我需要网络爬虫来获得一个网页上的所有链接的列表。python库中有没有内置的函数可以让这一切变得更容易？感谢您提供的任何知识。
浏览 5提问于2010-11-10得票数 1
1回答
我已经建立了一个爬虫使用Scrapy爬行到一个网站并提取链接。我想让爬虫在每天的某个时间运行。我找到了python的来执行调度，但是我找不到从哪里开始。任何帮助都是非常有用的。
浏览 0提问于2014-04-08得票数 0
我想建立一个基于Scrapy的网络爬虫，从几个新闻门户网站抓取新闻图片。我想让这个爬虫：
永远跑
这意味着它将定期重新访问一些门户页面，以获得更新。
安排优先次序。
对不同类型的URL给予不同的优先级。
多线程取料
我读过Scrapy文档，但没有发现与我列出的内容相关的东西(也许我不够小心)。这里有人知道怎么做吗？或者给出一些想法/例子。谢谢!
浏览 8提问于2010-02-28得票数 11
回答已采纳
1回答
我用python编写了一个爬行过程，它运行在亚马逊上的一个ec2实例上。我已经编写了这个爬虫，这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理爬虫的结果，爬虫可以自由地继续爬行。我在这个爬行实例中想到的是，克隆爬虫的几个实例很容易，每个实例都要向中心报告以便处理。
因此，在这一点上，我有一个集线器和8个单独的爬行器(都在它们自己的实例上)不断地爬行和报告等等。
我在想用小的，分开的爬行器：
有冗余，所以如果一个爬虫被挂断，其余的爬虫可以继续工作。
(这是一个假设)如果每个爬虫都有自己独立的ip，我就有更好的网络利用率。
我可以旋转几个爬虫或缩小规模取决于我目
浏览 2提问于2015-01-08得票数 0
回答已采纳
只要开始使用firebase + react就可以建立一个网站。我的网站的一个设计特点是爬行和显示从另一个网站分析的数据(例如，股票价格的变化)。我已经有了负责解析数据的python爬虫，但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)？
下面是我的系统的示例用法
用户登录和订阅网站/数据他们很感兴趣
我的爬虫将每1小时解析该网站并将数据更新到数据库。
用户可以从数据库中看到网站变更的摘要。
我想到的一个选择是在本地机器上运行爬虫，并使用REST将解析的数据更新到firebase数据库。然而，这似乎是一种非常低效/天真的方法，
浏览 0提问于2018-01-25得票数 3
facebook链接共享机制如下:当您想要将网站链接共享到Facebook时，facebook爬虫将尝试识别您的网页，并确定head标签中是否存在Facebook Open Graph标记。如果存在，则在分享时将其提取为帖子中的材料。
问题是:如果这是一个单页面的React App，例如，我想分享一个商业产品，我想要我的帖子包含它的图片和品牌名称。但是，由于此类数据是异步检索的，因此facebook爬虫不会获取产品信息。
浏览 7提问于2017-12-13得票数 0
回答已采纳
1回答
我正在用Python构建一个web爬虫，使用MongoDB来存储一个队列，其中包含所有要爬行的URL。我将有几个独立的工人，将抓取URL。每当工作人员完成URL抓取时，它将在MongoDB集合"queue“中发出请求，以获得要爬行的新URL。
我的问题是，既然会有多个爬虫，我如何确保两个爬虫器不会同时查询数据库并获得相同的URL来抓取？
非常感谢你的帮助
浏览 0提问于2014-03-29得票数 0
回答已采纳
我想刮几个网站，很多人建议使用Scrapy。它是基于Python的，因为我非常熟悉PHP，所以我寻找了替代方案。
我得到了一个爬虫PHPCrawl。我不确定它是否只是一个爬虫，或者它也会提供抓取功能。如果它可以用于抓取-它将支持XPath或正则表达式。
它怎么能和Python上的Scrapy相比呢？
请建议我哪一个是最好的用来抓取网站。
谢谢
浏览 0提问于2012-11-22得票数 0
回答已采纳
1回答
对于一个教育NLP项目，我需要一个所有意大利语单词的列表。我想我会写一个爬虫，从www.wordreference.com获取单词。我在机械化爬虫框架中使用Python。但当我使用代码时：
br = mechanize.Browser()
br.open("http://www.wordreference.com/iten/abaco")
html = br.response().get_data()
print html
我从"yahoo.com“那里得到了一些页面。这个网站有没有可能有防爬虫机制？
浏览 5提问于2011-04-07得票数 1
回答已采纳
好日子，朋友们
最近，我制作了一个基于python的网络爬虫机，它可以scrapes_一些新闻网站和django网页，收集用户的搜索标题和url。
但是我不知道如何将基于python的爬虫机和django网页连接在一起，所以我正在寻找任何我可以参考的好资源。
如果有人知道我可以参考的资源，你们能分享一下吗？
谢谢
浏览 2提问于2019-10-11得票数 0
回答已采纳
1回答
我在试着了解网络爬行是如何工作的。有三个问题：
我们是否必须有一个初始的URL目录来构建一个更大的URL目录？这是怎么回事？
有没有用python编写的开源web爬虫？
哪里是学习更多关于网络爬虫的最好的地方？
浏览 2提问于2018-10-11得票数 1
2回答
有效地搜索大量URL列表
、、、
我正在建立一个网络爬虫，它必须爬行数百个网站。我的爬虫保存了一个已经爬行的urls列表。每当爬虫要爬行一个新页面时，它首先搜索已经爬行的url列表，如果已经列出了，则爬虫跳到下一个url，以此类推。一旦url被爬行，它就会被添加到列表中。
目前，我正在使用二进制搜索来搜索url列表，但是问题是，一旦列表变大，搜索就会变得非常慢。因此，我的问题是，我可以使用什么样的算法来搜索一个urls列表(列表的大小每天增长到20到100 k)。
爬虫目前是用Python编写的。但我将把它移植到C++或其他更好的语言中。
浏览 5提问于2016-06-23得票数 0
回答已采纳
我最近意识到，使用wget调用php cron脚本与使用命令行调用它们之间存在巨大的差异。
php index.php controller function
(在这里使用codeigniter )
尤其是当脚本在后端进行大量处理时。
我意识到，如果apache从图片中删除，php的行为就像你在命令行上使用的任何其他脚本语言一样。
我的问题是，当命令行上的所有脚本语言在性能方面处于平等的地位时(比方说，如果我们正在构建一个网络爬虫)，或者使用php与Ruby、Python或Perl相比，是否存在重大缺陷或性能缺陷。
谢谢!
浏览 0提问于2013-09-21得票数 0
2回答
我想使用一些permalink片段，允许用户与它的Facebook图片、url、描述等共享链接(url.com/ users /songtitle)(它将用户重定向到url.com/#/artist/songtitle)。因此，我决定向Facebook用户代理展示OG，并将其与重定向器分开。
但是，当我使用并尝试获取时，问题就出现了。爬虫没有被我的用户代理分离器捕获。
我正在使用这个代码来检测Facebook爬虫。有办法解决这个问题吗？
strpos($_SERVER["HTTP_USER_AGENT"], "facebookexternalhit/&#
浏览 1提问于2018-04-18得票数 0
回答已采纳
我正在学习爬虫，在一些基本的爬虫之后，我尝试从github下载谷歌学者爬虫大师，看看它是如何运行的，在几个我可以修复的错误之后，我遇到了一个ModuleNotFoundError: No module named 'proxy'错误(middleware.py文件，from proxy import PROXIES行是问题)。
这段代码有一些问题，其中包含python 3.x版本中不再支持/建议的解决方案，包括后来被重命名/移动的模块，但我无法确定这是否也是这种情况，希望能得到帮助。
浏览 3提问于2018-03-07得票数 0
我想知道是否有任何开源项目(最好是Python)可以用来下载(crawl?)Lucene/Hadoop等开源项目的邮件列表归档(如)。我特别寻找一个(Apache)邮件列表档案定制的爬虫/下载器(不是一个通用的爬虫，如Scrappy)。任何指点都是非常感谢的。谢谢。
浏览 2提问于2012-10-27得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
