利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。
浏览 0提问于2010-01-22得票数 0
比如，用huginn爬网这个链接：
https://s.weibo.com/weibo?换了其他地方的机器，电脑和ip不同，huginn照样无法正常爬取。而在同一台机器上用 下载工具甚至简单的脚本下载这个链接的网页内容，却可以实现，不知道是什么情况。
浏览 110提问于2021-09-28
1回答
我创建了一个jQuery插件，想知道是否有人知道有多少人在使用它？有没有办法抓取网站，并返回一个是，如果网站正在使用它？
浏览 0提问于2011-09-19得票数 0
回答已采纳
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
1回答
网页由CGI程序生成。大多数网页的URL都包含诸如?id=2323&title=foo之类的表达式。然而，我面临的一个问题是，这个网站有一个日历。也会生成一些类似日期的网页。这意味着纳奇将试图抓取一些无害的网页，如year=2030&month=12。如何在Nutch中避免这样的陷阱？编写很多正则表达式？
浏览 1提问于2012-01-27得票数 0
回答已采纳
首先，这样做的目的是爬取我们的一个登录应用程序，并获取有关作业运行的数据，而我可能无法通过任何其他方式获取这些数据。我可以通过浏览器登录，也可以检查我的cookie；那么我如何(及时地)将这些信息添加到cURL调用中，以便我可以使用PHP来解析返回页面(和链接)？
浏览 3提问于2015-11-18得票数 0
通常，indexed_search只对已经访问过的页面进行索引。如果用户没有访问过该页面，则不会有搜索结果。有没有一种不需要访问就能索引所有页面的方法？或者我必须使用另一个扩展？
浏览 0提问于2012-01-16得票数 0
回答已采纳
2回答
比方说，我在爬一个网页，我把它的所有链接都刮掉了。在python中，如何转换这样的链接：Products.aspx与以下实际链接的链接：
https://example.com/Catalog.php
浏览 1提问于2019-11-18得票数 0
回答已采纳
我正在寻找一种方法来搜索站点(或顶级页面列表)，并确定是否实际需要包含在相关页面上的JS文件，或者哪些页面确实需要特定的JS文件。
30k+文件在网页目录中，Google索引域的350k+页面。
浏览 4提问于2013-12-10得票数 4
我正在存储一个PHP数组，其中key=>value对是用于在网站上构建jQuery UI选项卡的信息。
浏览 0提问于2009-09-21得票数 0
回答已采纳
方法(使用Selenium):
js.executeScript("window.onload=function(){document.getElementByIdclass="
浏览 6提问于2017-05-19得票数 0
回答已采纳
我没有rewriteCond，所以这应该会执行，除非我遗漏了什么：RewriteEngine On
RewriteRule ^/page\.php/([a-z-]+)$ /page.php?
浏览 0提问于2014-07-19得票数 1
2回答
nextPage() mainFrame()->evaluateJavaScript("readweb.nextPage()");单击后，mainFrame应该加载一个新的url指向下一个网页(其中包含我想爬的图像)。在第一次单击之后，第二次单击并没有导致网页的新url loading.The js脚本已经加载，并且只加载了一次。
为什么不起作用？有人有类似的情况吗？
浏览 2提问于2012-02-18得票数 0
2回答
为了方便起见，我使用Java解析一个随机网站的超文本标记语言，假设它是。在解析HTML数据之后，我希望提取其中的一些数据，并将其显示在显示器上。之后，用户将输入搜索词，并按下一个按钮。这个按钮将执行“搜索”按钮后面的脚本。我想在几个网站上做到这一点，所以给我一种只与google一起工作的方法不会对我有太大帮助。
浏览 0提问于2012-03-30得票数 0
回答已采纳
示例example.com/search/store_info.php?RewriteCond %{THE_REQUEST} /store_info\.php\?g|gif|bmp|png|ico|tiff|css|js)$ [NC]
RewriteRule ^([a-z0-9]+)/([^\s.]*)[.$ store_info.php?
浏览 3提问于2016-08-15得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
