1回答
我想我会写一个爬虫，从www.wordreference.com获取单词。我在机械化爬虫框架中使用Python。这个网站有没有可能有防爬虫机制？
浏览 5提问于2011-04-07得票数 1
回答已采纳
我将编写数百个爬虫来抓取不同的静态网页，所以我选择Scrapy来帮助我完成我的工作。
在工作过程中，我发现大多数网站都很简单，不会防蜘蛛。我想知道哪些型号的爬虫加载和使用DOWNLOAD_DELAY参数，以及如何编写程序在检测服务错误时自动增加DOWNLOAD_DELAY (爬虫请求太频繁)。
浏览 2提问于2019-01-17得票数 1
1回答
我对面向公共的站点(登录/身份验证后没有任何内容)感兴趣，这些站点的内容如下：
非语义的，或无效的标记我已经建立了一个爬虫/蜘蛛，执行一系列的分析在网站上，我在寻找网站，将使它的斗争。
浏览 1提问于2013-09-12得票数 11
我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
1回答
我尝试使用Nutch爬虫，但我无法完成它(无法将获取的‘片段’数据转换为html页面)。
对你使用过的其他爬虫或其他工具有什么建议吗？如果web页面包含绝对URL，这将使脱机使用数据集变得不可能，该怎么办？
浏览 2提问于2012-01-22得票数 0
回答已采纳
假设我有一个塔楼和一个生物爬虫(如果你猜不到的话是塔防游戏)，它们的位置都由(object).position.x和(object).position.y表示，其中position是一个向量。
浏览 1提问于2013-01-31得票数 0
我对这个链接有一个爬虫：不幸的是，这些链接是由javascripts处理的，没有Href。为此，我创建了一个带有Web浏览器组件的爬虫。我该怎么办？
浏览 1提问于2015-09-19得票数 1
brush);}QPainter：：Text防别名我该怎么办？
Qt之一：
浏览 3提问于2016-06-17得票数 3
使用强类型dataset及其相关的table Adapter，通常当我想要将更改传回时，只需将表传递给它，并让它完成所有工作。我是否必须逐行检查每一行并检查该特定用户允许执行的操作(根据其角色权限检查每个字段的当前版本和建议版本？这在linq-to-sql中更容易实现吗？
浏览 1提问于2009-07-03得票数 1
可以在单个爬虫中包含多个S3路径，但如果需要为每个表定义自定义分类器怎么办？它在aws胶水压碎机中受支持吗？如何使用couldformation来定义它？
浏览 1提问于2018-01-22得票数 3
1回答
我正试图从offerup.com和刮壳中获取一些信息，什么都没有。scrapy shell https://offerup.com/response.xpath('//text()').extract()['Request unsuccessful. Incapsula incident ID: 623000250007296502-10946686267359632']你知道为什么会这样吗？任何帮助都是非常感谢的。
浏览 4提问于2017-07-26得票数 0
2回答
我已经建立了一个多线程的网络爬虫，使请求从相应的服务器获取网页。因为它是多线程的，所以会使服务器不堪重负。由于哪个服务器可以阻止爬虫(礼貌)。
我只想添加功能的结果请求之间的最小延迟到相同的服务器。如果在robot.txt中没有指定延迟，该怎么办？
浏览 2提问于2012-10-10得票数 0
管理wp- -Changed密码-installed防恶意软件插件
我该怎么办？
浏览 1提问于2016-01-21得票数 0
1回答
我有一个PHP程序连接到一个网站上的MYSQL数据库。单击下载文件的链接后，程序从数据库中读取一个整数字段，将其递增，然后将该数字放回原处，以计数下载次数。那个程序很管用。然而，随着时间的推移，下载数量似乎是适度膨胀的。以下是PHP代码：
function updateDownloadCounter($downloadPath, $tableName, $fileNameField, $downloadCountField, $idFi
浏览 5提问于2017-08-08得票数 2
回答已采纳
我知道您可以禁止爬虫中的: /page1.cfm，但是如果我只想禁止该页面的一部分，比如该页面上存在的链接或联系人表单，该怎么办？这种功能有可能实现吗？根据我最近读到的一些论坛，"nofollow“功能不再有效，因为爬虫变得更智能了。(我不知道那个论坛的可信度如何，所以如果有人有更好的来源，请分享)
有什么建议吗？
浏览 2提问于2012-06-02得票数 1
回答已采纳
使用scrapy爬虫，我尝试从html页面提取数据，并使用命令行将输出保存为json文件：在我使用的代码中 yield { }
但是它使用\u00a0和类似的字符保存数据，我该怎么办
浏览 1提问于2019-02-12得票数 1
回答已采纳
1回答
我有一个脚本，我每X分钟运行一次cron作业。我应用了一种机制来防止脚本在当前运行尚未结束时再次运行。然而，以一种随机的方式，有时脚本会“冻结”。脚本正在创建的日志文件将在EOE之前的某个点停止，或者将创建一个0字节的日志文件而不填充。没有错误日志，也没有记录MySQL错误。但这是脚本的正常行为。
我
浏览 6提问于2020-04-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
