利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 340提问于2021-01-09
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。
浏览 0提问于2010-01-22得票数 0
比如，用huginn爬网这个链接：
https://s.weibo.com/weibo?换了其他地方的机器，电脑和ip不同，huginn照样无法正常爬取。而在同一台机器上用 下载工具甚至简单的脚本下载这个链接的网页内容，却可以实现，不知道是什么情况。
浏览 114提问于2021-09-28
如何取消云社区的文章同步？
或者，如何设置只同步原创的文章??????????????????????????????????????????????????
浏览 265提问于2020-10-24
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
1回答
网页由CGI程序生成。大多数网页的URL都包含诸如?id=2323&title=foo之类的表达式。然而，我面临的一个问题是，这个网站有一个日历。也会生成一些类似日期的网页。这意味着纳奇将试图抓取一些无害的网页，如year=2030&month=12。如何在Nutch中避免这样的陷阱？编写很多正则表达式？
浏览 1提问于2012-01-27得票数 0
回答已采纳
在经历了几天的大规模攻击后，大多数攻击来自中国，今天我开始从谷歌云IP(他们甚至不遵循robots.txt文件)获得很多命中，我能知道这是谷歌机器人爬虫程序还是人们使用谷歌云IP爬取网站？
浏览 16提问于2017-08-03得票数 0
1回答
我创建了一个jQuery插件，想知道是否有人知道有多少人在使用它？有没有办法抓取网站，并返回一个是，如果网站正在使用它？
浏览 0提问于2011-09-19得票数 0
回答已采纳
2回答
为了方便起见，我使用Java解析一个随机网站的超文本标记语言，假设它是。在解析HTML数据之后，我希望提取其中的一些数据，并将其显示在显示器上。之后，用户将输入搜索词，并按下一个按钮。这个按钮将执行“搜索”按钮后面的脚本。我想在几个网站上做到这一点，所以给我一种只与google一起工作的方法不会对我有太大帮助。
浏览 0提问于2012-03-30得票数 0
回答已采纳
方法(使用Selenium):
<div class="imui-chapter-title" style="width:1050px;">
<h2&g
浏览 6提问于2017-05-19得票数 0
回答已采纳
我还尝试在特定网页的页眉部分使用此标记：但是，该链接仍然显示在bing搜索中。他们还提到，为了让Bing检测到页面实际上已经从网站上删除，现在返回了404或410HTTP状态码，Bingbot需要能够访问网址，所以我们不应该阻止通过robots.txt重新爬取网址。
浏览 4提问于2018-10-08得票数 0
5回答
从网站的单个目录下载所有图片
、、、、
我需要从一个网站上获得所有的图像都包含在一个文件夹中。例如，(site.com/images/.*)。这个是可能的吗？如果是这样，最好的方法是什么？
浏览 0提问于2011-01-07得票数 7
回答已采纳
我正在尝试构建一个简单的爬虫，但似乎所有的线程都不会完成，甚至队列都是空的：use warnings;use Thread::Queue;use HTML::LinkExtor;
my %visited = (); my ($ua, $queue, $hashref) = @_;
my $tid =
浏览 0提问于2012-11-10得票数 1
回答已采纳
具体如图，用户性别虽然也是，但性别只有0、1、2三个数字表示，用户所在城市却很复杂，如何转码成我们看得懂的汉字？请大佬指教，非常感谢！
浏览 271提问于2020-01-30
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
