利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
3回答
else { } </script>
我知道我可以创造一个新的条件，把豆瓣和豆瓣分开，但肯定有办法用OR来做。
浏览 5提问于2013-09-10得票数 1
回答已采纳
我正在尝试创建一个自定义报告，它显示当前的爬网时间/持续时间，状态是完全爬网还是增量爬网。
有谁知道我可以用什么API来获取这样的信息？
浏览 0提问于2009-06-01得票数 0
回答已采纳
我试试看：我明白了：pip is c
浏览 2提问于2018-06-13得票数 0
回答已采纳
我发出的命令如下：据我所知，2是爬行的轮数。当我执行此命令并读取crawldb时，我只收到127个url，这比预期的要少得多。当我发出这个命令将数据传递给Solr时：然后执行搜索，那么我总共只得到了20个url。
浏览 0提问于2015-06-03得票数 0
经过大量搜索，似乎没有任何简单的解释来说明如何在Solr中使用Nutch 1.3。我想将Nutch结果添加到索引中，这将把外部网站添加到网站搜索中。问题是，如何刷新索引？你必须先从Solr中删除所有的Nutch结果吗？或者Nutch会处理这件事？Nutch是否从Solr索引中删除不再有效的结果？
浏览 2提问于2011-09-15得票数 1
回答已采纳
正在执行深度为200的爬网命令。但在几次迭代之后，获取失败，并出现下面提到的运行时异常。java.lang.RuntimeException: java.lang.IllegalArgumentException: KeyValue size too large
Exception atGoraRecordWriter.class while writing to datastore: KeyValue size too large 爬网命令： /Data/Apache/apache-nutc
浏览 16提问于2019-01-22得票数 0
有一个包含30+成员变量的类，需要将它传递给一个函数，然后在处理后从函数返回它。但此函数只接受基本数据类型，如string、int。我希望将这些成员变量转换为对象数组，将其传递给函数，然后再转换回来。源代码如下： int member1; int member3; //source code //assi
浏览 3提问于2014-03-17得票数 1
回答已采纳
为了( SharePoint 2013的)搜索爬网关联实体，我们需要在关联实体中设置'DirectoryLink‘属性或'AttachmentAccessor’属性，如下所述：*这是自定义连接器的一些问题吗？我用微软的进行了同样的测试，将文件实体下的DirectoryLink更改为AttachmentAccess
浏览 4提问于2013-07-12得票数 1
当nutch在索引阶段完成它的循环(即爬取-解析-索引)时，我不希望nutch索引(lucene索引)，但我希望nutch使用我的代码将所有抓取的数据(我相信他将它们作为NutchDocument对象)
浏览 2提问于2010-07-12得票数 1
回答已采纳
3回答
平台:服务器2008上的MOSS 2007问题:当你搜索某个东西时，它什么也找不到，也没有错误。可能的问题是什么？任何我可能错过的检查点，任何我应该检查的糟糕的配置，等等…？
浏览 0提问于2009-07-07得票数 4
我目前使用作为我的网络爬虫的选择，我试图自学网络爬虫是如何工作的。我已经开始爬行了，我希望它能在下面的根目录(/ crawlStorageFolder / crawl /crawlStorageFolder)中快速返回爬行过的数据
* crawlStorageFolder is a folder where intermediate crawl data is
浏览 1提问于2012-09-23得票数 0
比如，用huginn爬网这个链接：
https://s.weibo.com/weibo?换了其他地方的机器，电脑和ip不同，huginn照样无法正常爬取。而在同一台机器上用 下载工具甚至简单的脚本下载这个链接的网页内容，却可以实现，不知道是什么情况。
浏览 110提问于2021-09-28
我想爬这个网站：使用Apache。该网页动态加载ajax内容。如果我用默认配置爬行它，Nutch只会带来头和页脚，动态加载的内容就会丢失。我用的是Nutch 1.14。
浏览 0提问于2018-06-08得票数 0
回答已采纳
SharePoint 2010 Search未爬网日志文件格式(.log)文件类型，我向共享文档添加了一些新的日志文件(.log)。但我不能在他们里面搜索。我已在文件类型页面中添加了文件类型(日志)，并运行了完全爬网，但无法搜索日志文件内容。有什么想法吗？
浏览 3提问于2014-11-22得票数 0
1回答
我用lejos0.9创建了一个项目。现在我知道的是，只有当类有public static void main(String[] args)时，我才能用eclips上传和编译类(从java到nxj文件)。直接连接到砖块不是一个好主意，因为java文件将放在无法运行的砖块上。package Robots; asimov.setWalker(new ForwardLegs());
浏览 1提问于2011-11-08得票数 2
回答已采纳
1回答
我正在尝试使用crawler4j抓取网站。我能够按照crawler4j网站上的说明进行操作。完成后，它会创建一个包含两个不同.lck文件的文件夹，一个是.jdb文件，另一个是.info.0文件。我也了几个月前问过同样问题的其他人。他们从来没有得到过答案。
浏览 2提问于2013-03-27得票数 0
回答已采纳
我正在尝试按照运行基本的爬网所以我已经用Solr安装并设置好了Nutch。我将.bashrc中的$JAVA_HOME设置为/usr/lib/jvm/java-1.6.0-openjdk-amd64。当我从nutch主目录运行bin/nutch时，我没有看到任何问题，但是当我尝试像上面那样运行爬网时，我得到了以下错误：
log4j:ERROR set
浏览 4提问于2013-06-29得票数 0
回答已采纳
2回答
我的下一个要求是为此爬网内容运行内容分类作业，如何访问存储在HDFS中的文本内容以进行此标记作业，我计划使用Java运行标记作业，如何通过Java访问此内容？
浏览 0提问于2014-05-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
