利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 340提问于2021-01-09
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。
浏览 0提问于2010-01-22得票数 0
比如，用huginn爬网这个链接：
https://s.weibo.com/weibo?换了其他地方的机器，电脑和ip不同，huginn照样无法正常爬取。而在同一台机器上用 下载工具甚至简单的脚本下载这个链接的网页内容，却可以实现，不知道是什么情况。
浏览 114提问于2021-09-28
1回答
我创建了一个jQuery插件，想知道是否有人知道有多少人在使用它？有没有办法抓取网站，并返回一个是，如果网站正在使用它？
浏览 0提问于2011-09-19得票数 0
回答已采纳
2回答
为了方便起见，我使用Java解析一个随机网站的超文本标记语言，假设它是。在解析HTML数据之后，我希望提取其中的一些数据，并将其显示在显示器上。之后，用户将输入搜索词，并按下一个按钮。
浏览 0提问于2012-03-30得票数 0
回答已采纳
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
1回答
网页由CGI程序生成。大多数网页的URL都包含诸如?id=2323&title=foo之类的表达式。然而，我面临的一个问题是，这个网站有一个日历。也会生成一些类似日期的网页。这意味着纳奇将试图抓取一些无害的网页，如year=2030&month=12。如何在Nutch中避免这样的陷阱？编写很多正则表达式？
浏览 1提问于2012-01-27得票数 0
回答已采纳
1回答
我目前的需求相对简单:我需要一个能够将数据保存到磁盘的爬虫程序，并且我需要它能够仅重新爬取站点的更新资源，并跳过已经爬取的部分。有没有人有在Java中直接使用Nutch代码的经验，而不是通过命令行。
浏览 0提问于2010-12-03得票数 6
回答已采纳
3回答
/* StreamGobbler.java */import java.io.IOException;import java.io.InputStreamReader;import java.io.PrintWriter;
class StreamGobbler
浏览 0提问于2011-03-28得票数 0
我正在寻找一种方法来搜索站点(或顶级页面列表)，并确定是否实际需要包含在相关页面上的JS文件，或者哪些页面确实需要特定的JS文件。
30k+文件在网页目录中，Google索引域的350k+页面。
浏览 4提问于2013-12-10得票数 4
1回答
在上一篇关于爬网问题的帖子(#!)对于单页面应用程序，我们决定摆脱html单元(这对于JS 来说非常慢)，并选择实现Phantom Js with pushstate (以获得漂亮的urls)。由于Phantom Js不支持pushstate，我们现在正在考虑实现僵尸Js (希望是最后一次修改！)
有什么实现僵尸for Java应用的小贴士吗？或者其他更适合的无头浏览器(支持that状态并拥有强大的Js引擎)？
浏览 1提问于2013-11-16得票数 1
3回答
我目前正在着手一个项目，该项目将涉及爬取和处理大量数据(数百个数据集)，并对它们进行挖掘以提取结构化数据，命名实体识别，重复数据删除，分类等。我熟悉来自Java和Python世界的ML工具: Lingpipe、Mahout、NLTK等。然而，当涉及到为如此大规模的问题选择平台时-我缺乏足够的经验来决定是Java还是Python。我知道这听起来像是一个模糊的问题，但我正在寻找关于选择Java或Python的一般建议。JVM提供了更好的性能(？)
浏览 6提问于2012-03-15得票数 34
回答已采纳
2回答
nextPage() mainFrame()->evaluateJavaScript("readweb.nextPage()");单击后，mainFrame应该加载一个新的url指向下一个网页(其中包含我想爬的图像)。在第一次单击之后，第二次单击并没有导致网页的新url loading.The js脚本已经加载，并且只加载了一次。
为什么不起作用？有人有类似的情况吗？
浏览 2提问于2012-02-18得票数 0
我目前正在构建这个网络爬虫来获取起始url的所有链接，并从这些链接中爬取所有链接，等等。如果有人知道如何限制线程或修复以下错误：
java.lang.outOfMemory :无法创建本机线程
浏览 1提问于2012-05-02得票数 0
回答已采纳
我想截取屏幕，但是页面没有完全加载。我测试了其他的网址没有问题，但这个网址我不能。我使用phantomjs-2.1.1-windows。在下面的链接中，你可以看到： I checked page.onError no error webpage.viewportSize = { width: 1280, height: 800 }; webpage.open('https
浏览 2提问于2018-03-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
