1回答
我用python编写了一个爬行过程，它运行在亚马逊上的一个ec2实例上。我已经编写了这个爬虫，这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理爬虫的结果，爬虫可以自由地继续爬行。我在这个爬行实例中想到的是，克隆爬虫的几个实例很容易，每个实例都要向中心报告以便处理。
因此，在这一点上，我有一个集线器和8个单独的爬行器(都在它们自己的实例上)不断地爬行和报告等等。
我在想用小的，分开的爬行器：
有冗余，所以如果一个爬虫被挂断，其余的爬虫可以继续工作。
(这是一个假设)如果每个爬虫都有自己独立的ip，我就有更好的网络利用率。
我可以旋转几个爬虫或缩小规模取决于我目
浏览 2提问于2015-01-08得票数 0
回答已采纳
3回答
我试着做三件事。
第一:抓取和存档，至少每天，一组预定义的站点。
第二:对此数据运行通宵批处理python脚本(文本分类)。
第三:向用户公开一个基于Django的前端，让他们搜索抓取的数据。
我一直在使用Apache Nutch/Lucene，但当我可以使用另一个爬虫引擎时，让它与Django很好地配合似乎太难了。
about 建议我可以只用Django本身编写爬虫，但我不确定该怎么做。
基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有什么建议吗？或者我是否应该在第二步中加入“变成Django友好的东西”，并编写一些胶水代码？或者，最后，我应该完全放弃Django吗
浏览 0提问于2009-06-09得票数 2
我想使用一个网络爬虫和抓取一个特定的网站。该网站是一个学习管理系统，许多学生在这里上传他们的作业，项目演示文稿等。我的问题是，我可以使用网络爬虫下载已经上传到学习管理系统中的文件吗？下载它们之后，我想为它们创建一个索引，以便查询文档集。用户可以使用我的应用程序作为搜索引擎。爬虫能做到这点吗？我知道webeater (用Java编写的Crawler )
浏览 1提问于2011-03-30得票数 1
回答已采纳
当学生提交一个主题进行他/她的最后一年的研究时，系统应该能够检测到这个主题是由某个学生进行的，或者已经存在。
我怎么能做到呢？如果是一个模型，如何在php数据库中嵌入python？
📷
浏览 0提问于2020-03-07得票数 0
1回答
我一直在开发一个使用Backbone.js路由器的项目，所有数据都是通过restful请求由javascript加载的。我知道无法检测服务器端是否启用了Javascript，但是下面是我想让这个网站可索引的场景：
我可以为sitemap.xml上的每个链接追加一个查询字符串，并可以放置一个<script>标记来检测是否启用了Javascript。服务器使用可索引数据呈现此页面，当用户访问此页面时，我可以手动初始化Backbone.js路由器。然而，问题是，我需要执行一个sql查询来在服务器端呈现可索引的数据，如果访问者不是机器人，它将导致额外的负载。当用户在某个地方共享该网站的
浏览 1提问于2013-01-06得票数 2
回答已采纳
1回答
我对python很陌生，并试图实现主题建模。我成功地使用gensim在pything中实现了LDA，但是我不能给这些主题任何标签/名称。我们如何命名这些主题？请提供在python中实现的最佳方法。我的LDA输出有点像这样(如果需要代码，请告诉我) :-
0.024*研究+0.021*学生+0.019*会议+ 0.019*chi +0.017*字段+0.014*工作+0.013*学生+ 0.013*hci +0.013*组+0.013*研究人员0.047*研究人员+0.034*研究人员+0.018*不足代表+0.017*参与者+0.012*数学+0.012*研究生+0.012*数学+0.012*
浏览 5提问于2014-11-24得票数 1
这是我的场景：
API网关/Lambda触发Step函数。step函数的有效负载是在现有雅典娜表上运行的SQL查询。
Task-1的Step函数调用雅典娜上的StartQueryExecution API。该查询成功运行，并在给定的S桶中生成结果
Task-2调用Lambda，该Lambda根据任务-2的结果创建AWS爬虫(任务-2从任务-1)获取S3文件位置。
Task-3调用运行在Task-2中创建的爬虫的Lambda
要在Lambda中创建AWS爬虫，下面是我在Lambda (NodeJS)中的代码：
exports.handler = async(event) =>
浏览 2提问于2021-08-14得票数 1
1回答
最适合教育目的的网络模拟器是什么？
我想用它来帮助学生学习基本的网络概念，如LAN、WAN、IP寻址、网络层等。
浏览 0提问于2011-02-16得票数 1
回答已采纳
我正在使用phantomjs来构建一个网络爬虫。我目前使用的爬虫是一个使用selenium的Python脚本，它需要一个正在运行的Firefox浏览器。虽然Selenium非常适合于调试脚本(因为我可以使用firebug来检查网页)，但是如果没有GUI，它就不能部署到linux服务器上。因此，我正在尝试将我的Python脚本转换为phantomjs。
为了调试phantomjs脚本，我将页面源代码html保存到磁盘并呈现png屏幕截图，然后在Firefox中打开它以检查源页面。我想知道是否有更好的方法来做到这一点，例如phantomjs的插件，等等。
浏览 1提问于2013-07-31得票数 6
1回答
我正在考虑在web爬虫转储上训练10 TB+以上的大型数据的TB+。
我亲自在我的iMac上训练了c实现GoogleNews-2012转储(1.5gb)，花了大约3个小时来训练和生成向量(速度给人留下深刻印象)。不过，我没有尝试python实现:(我在某个地方读到，在wiki转储(11 to )上生成300向量长度的向量需要大约9天的时间。
如何加快word2vec的速度？我需要使用分布式模型，还是需要在2-3天内使用哪种类型的硬件？我有8gb内存的iMac。
哪个更快？Gensim python还是C实现？
我看到word2vec实现不支持GPU培训。
浏览 1提问于2015-06-01得票数 20
回答已采纳
我想知道，当排名页面不是主页时，是否有一种方法可以将来自Google搜索的用户重定向到我的主页，而不影响该页面的良好排名。
我需要的是一个php条件，以了解网页是否来自来自Google搜索的用户，而不是Google爬虫。我需要谷歌爬虫继续索引该网页，同时，用户要重定向到主页。这是我的意思的伪代码片段：
if ($_SERVER['HTTP_REFERER'] == 'only users from a Google search')
header('location','index.php');
浏览 2提问于2016-02-29得票数 1
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot许多不必要的特性(bloats)Ability很容易集成到我的项目中。
浏览 1提问于2012-04-16得票数 0
回答已采纳
1回答
向机器人隐藏代码
、、、、
我只是在想。有没有一种方法只对爬虫隐藏页面的特定部分？
我知道我可以设置"display: none“，然后用JS将其显示给用户。在过去，它可以工作，但现在爬虫(/will )更聪明(尤其是谷歌的爬虫)，可以阅读JS。
那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。
PS #1:我只是在想，我没有理由这么做(现在？)
PS #2:也许AJAX是可能的？但没有理由不让智能js阅读爬虫来隐藏它。
谢谢大家，
麦芽酒
浏览 6提问于2014-10-16得票数 0
回答已采纳
我现在正在做网络爬虫，似乎我无法从一个特定的网站获得div内部的类。下面是我的密码。我在BeautifulSoup中使用Python3
import requests
from bs4 import BeautifulSoup as bs
response = requests.get('https://e27.co/startup/flipkart').text
soup = bs(response, 'html.parser')
content_div = soup.findAll('h1',class_ = 'profile-st
浏览 2提问于2017-06-21得票数 0
回答已采纳
当我的Scrapy爬虫完成后，我想自动再次启动相同的爬虫。这可以通过Scrapy函数来完成吗?或者我是否必须使用Cronjob，例如crontab？
浏览 3提问于2013-10-23得票数 1
我正在为大学开发一个项目，我需要一些关于发展的建议。这是一个网站，显示来自其他网站的信息，如链接，图片等。
我已经为网站准备了下面给出的模型。
一个Home.aspx页面，它显示表中的数据( server)。
我已经编写了一个爬虫(在c#)，可以抓取(获取数据)所需的网站数据。
，我想通过某种方式在后端运行爬虫一段时间，并且它可以在表中插入更新。我希望我可以在我的数据库中获得更新的信息，以便Home.aspx显示更新的信息。(类似于谷歌新闻网站的较小版本)
我想在共享托管环境(即第三方托管提供商公司，并且可能使用IIS平台)中托管wesbite。
我向不同的.NET论坛和社区发布了简单的情况，
浏览 2提问于2012-01-14得票数 0
回答已采纳
所以，我要通过Udemy修几门课。Python3.x课程的最后一个项目让您做了一个简单的UI，我做得很好。
前提是为学生提供一个分数跟踪器。您可以添加分数，删除学生，平均学生成绩，并退出程序。
我想做一些不是在课堂上的事情，那就是能够增加新的学生。我增加了另一种选择。我试着输入我认为有用的内容，但我不断出错。我终于可以进入一个新的学生，但是当我试图为那个学生加一个分数时，它会说这个学生不存在，即使他们出现在字典里。
知道我怎么能做到这一点吗？
我们非常感谢任何和所有的帮助。守则如下：
#Making a Python Program
from statistics import me
浏览 1提问于2016-06-01得票数 0
回答已采纳
1回答
我正在用python编写的爬虫爬行SNS
它工作了很长一段时间，但几天前，从我的服务器上获得的网页被错误403禁止。
我尝试更改cookie，更改浏览器，更改帐户，但都失败了。
而且看起来被禁止的服务器在同一个网段中。
我能做什么?盗取别人的ip？= =...
非常感谢
浏览 1提问于2010-09-06得票数 0
回答已采纳
3回答
我目前被指派创建一个网络爬虫来自动执行我所做的一些报告任务。这个网络爬虫必须使用我的凭证登录，在不同的字段中搜索特定的东西(一些关于当前日期)，如果有任何可用的数据，则下载包含数据的CSV，快速解析CSV以获得快速计数，创建带有CSV附件的电子邮件并发送它。
我目前对C++和Python非常了解，我正在学习C语言，但有人告诉我Ruby或Ruby on Rails是一个很好的方法。Ruby on Rails是否只用于创建web应用程序，如果是这样，我的任务是否符合web应用程序的描述，或者我是否可以只创建一个独立的程序来运行并完成所有这些工作？
我想知道哪种语言最容易编码(有易于使用的模块)，有
浏览 1提问于2012-10-02得票数 3
回答已采纳
我是一个学习蟒蛇抓取(爬虫)的学生。
我希望在python中将unicode字符串转换为str。但是这个unicode字符串不是普通字符串。此unicode是unicode格式。请看下面的代码。
# python 2.7
...
print(type(name[0]))
print(name[0])
print(type(keyword_name_temp))
print(keyword_name_temp)
...
当运行上层脚本时，我可以看到控制台如下所示。
$ <type 'unicode'>
$ 서용교 ## this words is korean cha
浏览 0提问于2016-02-24得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以及让php脚本知道爬虫何
浏览 1提问于2011-03-31得票数 1
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
1回答
项目推荐服务
、、
我应该用MyMediaLite提供图书推荐服务。到目前为止，我已经使用Nutch爬虫从网站上收集了书籍，并将信息存储到hbase中。问题是，我实际上并不完全理解这些东西是如何工作的。通过示例，我必须通过测试数据和训练数据文件，以及用户-项目id对和评级。但书中的其他信息，如类别和作者呢？如何在没有用户信息的情况下，通过他们的信息等找到“相似”的书籍？是否有可能直接从hbase传递数据，而无需将其存储到文件中然后导入？或者这项工作更适合Apache Mahout或LibRec？
浏览 1提问于2015-08-31得票数 0
会发生什么事？
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。我不能一次部署一个爬虫。
我做了什么/我有什么？
我目前有一个远程分支，它是主分支。让我们称之为遥控器-A。这就是容纳所有爬行器的分支，它们每天都会被执行。这个分支必须继续运作。
对于远程分支，我有本地文件夹/分支，修复错误并创建新的。让我们把它叫做Local.，从主人那里，我推拉。
现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Rem
浏览 3提问于2019-09-10得票数 0
回答已采纳
1回答
对于一个学校项目，我试图用Python编写一个程序来跟踪学生的运动。为了做到这一点，我正在使用OpenCV。在互联网上查阅了一些教程之后，我注意到几乎每个人都在使用阈值来实现这一点，因为二值化图像对于道路上的每一步都是必需的(例如，HoughCircle变换、等高线)。然而，根据我的理解，阈值是极端光敏的，因此这种方法只会在最佳的闪电条件下返回良好的结果。，所以我的问题来了：有什么替代的或者更好的方法吗？还是我对OpenCV中阈值化的理解是错误的？
下面是一个示例图像：
浏览 1提问于2020-02-07得票数 2
回答已采纳
1回答
在安装过程中，向windows和mac用户分发python应用程序的最佳方法是什么？
我正在写一个软件，它将对我们大学的学生有帮助。这个软件将被不同学科的学生使用，很多来自那些很少或没有编程背景的学生。
最好是有一些点击魔术发生解决方案的安装。
我该怎么做呢？请指点！
浏览 5提问于2017-03-04得票数 1
1回答
我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项
浏览 9提问于2017-06-27得票数 0
我正在尝试创建一个供爬虫访问的URL白名单(换句话说，我想要一个爬虫访问的URL列表，并且我希望爬虫只访问这些文件)。
我有一个网站地图，里面有白名单上的所有网址。
我应该如何格式化robots.txt？
这行得通吗？
User-agent: *
Disallow: /
Sitemap: sitemap.txt
或者我必须这样做？
User-agent: *
Disallow: /
Allow: whitelist/*
Sitemap: sitemap.txt
浏览 0提问于2015-10-06得票数 3
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。我使用了Ubuntu服务器。因为我使用了Linux命令
$ nohup python crawer.py &
这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。而且效果很好！有什么问题吗？这是关于网页的块吗？或者nohup命令有限制时间？非常感谢。
浏览 1提问于2014-05-20得票数 0
回答已采纳
我正在尝试使用gRPC在python上构建一个网络爬虫。我已经在服务器文件中包含了抓取功能，并且我使用客户端从用户请求URL列表，并将其发送到服务器进行抓取部分。每个url大约需要25-30秒才能被抓取。因此，我想使用多处理来加速这个过程，即使用N个内核并行地从N个URL中提取信息。我该如何继续？比方说，我有4个核心:是否可以在4个不同的核心上实现4个客户端对服务器的调用？或者我应该在每个核心上单独创建一个服务器-客户端对？或者我是否可以创建4个具有不同通道端口的服务器实例，并在4个内核上执行它们？ 我对这一切都是新手。所以，在这件事上我需要任何帮助。
浏览 53提问于2019-01-22得票数 0
我正在做我的课程项目，我是唯一一个选择GAE的人。现在，我只是不知道如何满足这个课程项目的要求。
我的应用程序是一个作业提交系统，让学生上传他们的家庭作业。我可以使用GAE实现几乎所有的东西。但是，你知道，学生上传的也是网络应用程序，要求我的应用程序应该允许用户上传他们的应用程序，我的应用程序可以部署他们的应用程序，并给老师URL检查。
我真的不知道如何实现这一点。有人能解释一下怎么会发生这种事吗？
如果有办法的话。用户应该上传什么样的文件，war？顺便说一下。假设用户上传用Python编写的google appEngine应用程序。谢谢!
浏览 0提问于2012-05-07得票数 1
回答已采纳
有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
1回答
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
谢谢。
浏览 5提问于2016-11-27得票数 0
回答已采纳
你能帮我用胶水数据爬虫读取一个tar.gz文件吗？我的S3中有一个tar.gz文件，其中包含两个不同模式的文件，当我尝试运行爬虫程序时，我在数据目录中看不到该模式。我们应该使用任何自定义分类器吗？AWS胶水常见问题解答指定使用分类器支持gzip，但未在胶水分类器部分提供的分类器列表中列出。
浏览 32提问于2018-02-16得票数 2
1回答
我已经开始编写一个爬虫来抓取电子公告板了。然而，我不是一个web程序员(我可以使用json api，但这不是真正的web爬行)，因此我不知道爬行的最好方法是什么，也不知道有什么工具可用。
我更有能力编写爬虫，但我发现底层的HTML非常不规则，所以我不想成为新版本vbulletin中HTML结构变化的牺牲品。
我正在用pycurl和漂亮的汤写一个界面。然而，有没有更好的方法来做到这一点，有没有好的爬虫已经可以在vbulletin上使用了？(语言不是问题)。一个元论坛爬虫(适用于多个论坛类型)会更好。
如果你不能建议一个，你能建议我，如果你有经验，从我对底层HTML稳定性的期望，我是否应该担心vb
浏览 0提问于2012-05-02得票数 0
回答已采纳
我有一个PHP网站，我已经完成了所有的URL重写。使得PHP扩展被隐藏。但是不知何故，网络爬虫和安全扫描器/漏洞扫描器能够找到我的站点是用PHP开发的。
我如何避免这种情况，或者如何欺骗他们，使他们相信这个网站不是通过PHP开发的？
浏览 4提问于2014-02-15得票数 1
回答已采纳
2回答
请求:解释.text格式
、、、
我使用requests模块和Python2.7构建一个基本的web爬虫。
source_code = requests.get(url)
plain_text = source_code.text
现在，在上面的代码行中，我将指定的URL和其他元数据的源代码存储在source_code变量中。现在，在source_code.text中，.text属性到底是什么？这不是一种功能。我在文档中也找不到解释.text的起源或特性的任何东西。
浏览 8提问于2016-01-15得票数 2
回答已采纳
你好，我正在寻找简单的代码，它将帮助我将控件添加到工具栏。像SLE，DDLB这样的控制。我想把这个控件放在一起。所以我想把这些控件放在工具栏中。有人知道这个密码吗请通知我。我在网上找到了一个密码。但对我来说，作为一个学生，我不能理解那个密码。请给出简单格式的解决方案。**
感谢并致以问候
Raj
浏览 2提问于2014-04-03得票数 0
1回答
我在不同的地理位置有几台台式机。我需要创建一个爬虫与客户端在每个台式机和一个中央服务器，其中的数据是索引。有没有可能在Nutch中创建这样的爬虫？还有没有别的选择。基于Python的爬虫会更好。
浏览 2提问于2011-07-04得票数 0
回答已采纳
需要将现有应用程序连接到社交媒体监控。爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？
浏览 0提问于2012-08-20得票数 0
回答已采纳
有两个火花流作业运行在不同的容器-让我们称之为教师的工作和学生的工作。两者都是从两个不同的卡夫卡主题阅读。当学生消息进入学生火花作业时，我需要“查询”教师职务的持久化数据，以检索与该学生相关的教师(在本例中，学生只有一名教师，但教师可以有多名学生)。我如何在教师工作中坚持一个键值对(或教师数据框架)，然后在学生工作中检索/查找该教师，这样我就可以处理那个知道是老师的学生了？我是否可以在一个作业中使用持久化()而在另一个作业中使用非持久化()？
浏览 1提问于2019-03-30得票数 1
回答已采纳
1回答
我正在考虑为高中生开发一个浏览器内编码应用程序，它与现代计算机科学课程相匹配。这个想法是为了避免学校或学生不得不下载软件等来学习C C++ Java和Python语言的基本操作，因为这些是学生可以学习的允许语言。理想情况下，这一切都应该在浏览器中完成，以使学校能够尽可能地访问该课程。
我的问题是关于研究的方法。我们可以组装吗?或者在aws lamda上运行函数是可行的吗？我知道浏览器中有针对每种语言的工具，但并不是所有语言都可以使用
浏览 1提问于2018-11-27得票数 0
2回答
一些服务器具有robots.txt文件，以阻止web爬虫在其网站中爬行。有没有办法让网络爬虫忽略robots.txt文件？我正在为python使用Mechanize。
浏览 1提问于2011-12-05得票数 14
回答已采纳
我们正在构建一个分布式系统，它使用Amazon的SQS将消息分派给根据消息内容运行爬虫的工作者。
我们(显然)只希望在相应的爬行器成功运行的情况下从队列中删除消息，即不会遇到4xx/5xx响应。
我想要做的是挂钩到scrapy的signals API来触发一个回调，当爬虫成功关闭时，该回调将从队列中删除消息，但我不确定这是否真的是signals.spider_closed的语义(而不是“这个蜘蛛由于任何原因而关闭”)。
也不清楚(至少对我而言) signals.spider_error是在遇到HTTP错误代码时触发，还是仅在爬行器中引发Python错误时触发。
有什么建议吗？
浏览 1提问于2015-08-28得票数 0
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。
现在，我正在使用cron作业，每15分钟运行一次爬虫。问题是，我无法知道爬虫要花多少时间才能完成(有时可能需要超过15分钟)，如果已经在运行，我不想再运行另一个爬虫。
我一直在想，我是否最好使用一个无限循环，并使爬虫成为一个永久运行的进程(但是如何确保爬虫不会失败并退出呢？以及如何在每次退出时重新启动？)。
哪一个更有效率？无限循环还是cron作业？
浏览 7提问于2021-05-14得票数 0
在Python方面经历了几年之后，我才知道它在web开发中的应用。我在Python中制作了一个电子邮件爬虫程序(基本上是一个使用其他几个功能的函数)，它帮助我在generate实习的公司。我的老板问我是否可以让我的python电子邮件爬虫进入一个网络应用程序，这样其他员工就可以通过我来抓取电子邮件，这样我就可以在更重要的事情上工作。
是否有一些web应用程序框架可以用来将我的python电子邮件爬虫程序转换成一个简单的公司专用web应用程序？制作网络应用程序所需的时间范围是什么？
我非常开放和渴望学习web应用程序开发，因此，任何帮助或建议将不胜感激。谢谢。
浏览 5提问于2015-07-08得票数 0
回答已采纳
2回答
我正在使用Python爬虫通过urllib2 OpenerDirector在互联网上爬行。问题是，连接将不可避免地挂起在https地址上，显然忽略了超时值。
一种解决方案是在线程中运行它，然后在线程挂起时终止并重新启动该线程。显然，Python不支持杀死线程，而且由于垃圾收集和其他问题，它被认为是一个坏主意。然而，这个解决方案对我来说更可取，因为它很简单。
另一个想法是使用像Twisted这样的异步库，但这并不能解决问题。
我要么需要一种方法来强制中断调用，要么需要修复urllib2 OpenerDirector处理超时的方式。谢谢。
浏览 3提问于2011-12-28得票数 2
3回答
我正在与primefaces的Jsf2项目工作。我使用了一些类似这样的东西: Bean类：
学生是主要的Bean类，带有id和name。我又创建了两个bean类。工科学生和非工科学生这两个都在扩展学生豆类。我的问题是我做得对吗？这是正确的设计吗？我想保持id和名字是通用的，可以在工科学生和非工科学生页面上重复使用。
class student{
id, name
getter and setter
}
class Technicalstudent extends student{
technicaldetails,
get a
浏览 0提问于2013-07-29得票数 1
有没有办法让爬虫在恢复之前暂停的抓取作业时登录到网站？
编辑:为了澄清，我的问题实际上是关于Scrapy爬虫，而不是一般的cookie。也许一个更好的问题是，当Scrapy爬虫在作业目录中被冻结后复活时，是否有任何方法被调用。
浏览 0提问于2012-05-09得票数 1
2回答
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。我希望将我想要查询的URL (或查询参数并让crawler构建URL)传递给crawler，crawler将进行URL调用，并将提取的项返回给我。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。
我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取一个URL时，都必须派生和拆卸一个新的进程，因
浏览 0提问于2013-05-23得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
