Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >马蜂窝评论信息爬虫，不受网站最多加载5页的限制

马蜂窝评论信息爬虫，不受网站最多加载5页的限制

作者头像

富泰科

发布于 2022-04-10 13:49:26

发布于 2022-04-10 13:49:26

1.6K0

举报

文章被收录于专栏：数据爬取数据爬取

有小伙伴反映，马蜂窝网站的景点点评，无论有多少数量，都只给加载5页内容，写个论文想采集来做分析，发现无法采集全。

点评数量

就没有办法了吗？当然有了，这不，我们在网站搜索发现这个小工具：马蜂窝评论采集助手，网站介绍说显示的点评多少，就可以采集多少，是不是有点厉害？！那么是真的可以爬取更多页吗？我们来试试。

小工具运行截图

马蜂窝评论采集后导出的表格

实测的确是可以爬取更多页数，但因为时间的原因，我们没有爬取到最后，不过，看页面的说明，因为不是走pc端的页面，而是小程序端的接口。有兴趣的小伙伴可以去了解。

文章来源：

马蜂窝评论采集助手-评论信息一键采集小工具，不受网站最多加载5页的限制 – 富泰科 (futaike.net)

本文系转载，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文系转载，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

#马蜂窝评论信息爬虫

#马蜂窝评论爬虫

#马蜂窝爬虫

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

捅马蜂窝啦！！！

php 编程算法 html 验证码 http

马蜂窝之旅游问答上图为马蜂窝的旅游问答页（http://www.mafengwo.cn/wenda/area-10206.html?sFrom=mdd），通过不断点击加载更多发送ajax请求更新页面

龙哥

2019/04/25

9190

微博爬虫 | 微博评论爬取下载，同步获取一二级评论

今天给大家分享一款简单到有点简陋的微博评论专门的爬取下载小工具。很多同学写论文、自媒创作想要从微博上去爬取一些素材，总是感到力不从心，有了这款小工具，相信以后就再也不用发愁了。

富泰科

2022/11/14

1.9K1

微博爬虫 | 微博评论爬取下载，同步获取一二级评论

马蜂窝的前端火了！遇到冲突不怕怼，强制提交就是干

相信大家都在世界杯期间有意无意地看到过马蜂窝的洗脑广告，短短的15秒，品牌名就出现了6次。“旅游之前，为什么要先上马蜂窝”，这些不断重复的广告词让人犹如魔咒般印象深刻。

闰土大叔

2018/08/08

8350

马蜂窝的前端火了！遇到冲突不怕怼，强制提交就是干

携程，去哪儿评论，攻略爬取

selenium html 文件存储

前几天受朋友委托要爬取携程网和去哪儿网一些景点的评论，在翻阅了许多代码后并自己改写后终于完成。

doper

2022/09/26

1.8K0

（数据科学学习手札47）基于Python的网络数据采集实战（2）

python 数据挖掘

　　马上大四了，最近在暑期实习，在数据挖掘的主业之外，也帮助同事做了很多网络数据采集的内容，接下来的数篇文章就将一一罗列出来，来续写几个月前开的这个网络数据采集实战的坑。

Feffery

2018/08/18

8010

网络爬虫法律条文或出台：你的程序合法吗？

爬虫网站数据安全

2018年10月20日，一篇《独家|估值175亿的旅游独角兽，是一座僵尸和水军构成的鬼城？》的文章一出世便走红网络。文中称百亿体量的马蜂窝，其中2100万条“真实点评”中有1800万条是通过机器人从大众点评和携程等竞争对手抄袭而来。通过语义分析、数据挖掘，发现了7454个抄袭账号，平均每个账号抄袭搬运了数千条点评，合计抄袭572万条餐饮点评和1221万条酒店点评，占官网声称点评数85%。

IT阅读排行榜

2019/07/09

8.2K0

网络爬虫法律条文或出台：你的程序合法吗？

从游击队到正规军(三)：基于Go的马蜂窝旅游网分布式IM系统技术实践

go rpc socket编程网站即时通信 IM

本文由马蜂窝技术团队电商交易基础平台研发工程师"Anti Walker"原创分享。

JackJiang

2020/02/25

1.4K0

从游击队到正规军(三)：基于Go的马蜂窝旅游网分布式IM系统技术实践

（数据科学学习手札50）基于Python的网络数据采集-selenium篇（上）

python selenium 爬虫

　　接着几个月之前的（数据科学学习手札31）基于Python的网络数据采集（初级篇），在那篇文章中，我们介绍了关于网络爬虫的基础知识（基本的请求库，基本的解析库，CSS，正则表达式等），在那篇文章中我们只介绍了如何利用urllib、requests这样的请求库来将我们的程序模拟成一个请求网络服务的一端，来直接取得设置好的url地址中朴素的网页内容，再利用BeautifulSoup或pyspider这样的解析库来对获取的网页内容进行解析，在初级篇中我们也只了解到如何爬取静态网页，那是网络爬虫中最简单的部分，事实上，现在但凡有价值的网站都或多或少存在着自己的一套反爬机制，例如利用JS脚本来控制网页中部分内容的请求和显示，使得最原始的直接修改静态目标页面url地址来更改页面的方式失效，这一部分，我在（数据科学学习手札47）基于Python的网络数据采集实战（2）中爬取马蜂窝景点页面下蜂蜂点评区域用户评论内容的时候，也详细介绍过，但之前我在所有爬虫相关的文章中介绍的内容，都离不开这样的一个过程：

Feffery

2018/09/07

1.9K0

爬虫方案 | 爬取大众点评网评论的几个思路（从小程序端）

小程序爬虫 fiddler 微信 http

获取大众点评网的店铺评论，我们一般有以下几个途径：1、PC端网页端；2、小程序端；3、APP端；PC端由于有字体加密，采集时需要对加密的字体进行解密，具体思路可以参考：爬虫方案 | 爬取大众点评网评论的几个思路（从PC端） – 富泰科 (futaike.net)

富泰科

2022/12/13

5.1K2

爬虫方案 | 爬取大众点评网评论的几个思路（从小程序端）

Python爬虫实战练习：爬取美团旅游景点评论数据

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

松鼠爱吃饼干

2020/09/24

2.5K0

Python爬虫实战练习：爬取美团旅游景点评论数据

以【某程旅行】为例，讲述小程序爬虫技术

爬虫小程序微信安全 python

前提：在学习本文采集小程序数据之前，相信大家都掌握了抓取数据包的技能，比如使用Mitmproxy进行抓取数据包。如果看到这里的你还没有掌握的话，可以参与辰哥之前的写的一篇关于mitmproxy使用的文章(实战|手把手教你如何使用抓包神器MitmProxy)。

Python研究者

2021/07/18

4530

ChatGPT教你学Python爬虫

python 网站爬虫 chatgpt 编程

需要注意的是，ChatGPT生成的代码可能不是完美的，仍需自己进行测试、调整和验证。它只是一个辅助工具，而不是替代你自己学习和实践的方式。将ChatGPT作为学习和探索的工具，并与其他资源相结合，可以帮助你提高爬虫水平。

吾非同

2023/09/19

7290

ChatGPT教你学Python爬虫

Python新手写爬虫！尝试动态加载的电影网站爬虫

python 爬虫 http ajax php

昨天小编写了个抓取电影下载链接的小爬虫《新手也能做爬虫！一起来爬电影信息吧》，然后有网友推荐小编爬取某动态加载的电影网站，尽管能力有限，小编还是去尝试了一下，分享给大家。

云飞

2018/09/13

1.5K0

零代码爬虫神器 -- Web Scraper 的使用！

爬虫网站 https 网络安全 css

我经常会遇到一些简单的需求，需要爬取某网站上的一些数据，但这些页面的结构非常的简单，并且数据量比较小，自己写代码固然可以实现，但杀鸡焉用牛刀？

小F

2021/12/01

1.8K0

零代码爬虫神器 -- Web Scraper 的使用！

如何利用Scrapy爬虫框架抓取网页全部文章信息（上篇）

php scrapy xslt & xpath css 腾讯云开发者社区

前一段时间小编给大家分享了Xpath和CSS选择器的具体用法，感兴趣的小伙伴可以戳这几篇文章温习一下，网页结构的简介和Xpath语法的入门教程，在Scrapy中如何利用Xpath选择器从HTML中提取目标信息（两种方式），在Scrapy中如何利用CSS选择器从网页中采集目标数据——详细教程（上篇）、在Scrapy中如何利用CSS选择器从网页中采集目标数据——详细教程（下篇）、在Scrapy中如何利用Xpath选择器从网页中采集目标数据——详细教程（下篇）、在Scrapy中如何利用Xpath选择器从网页中采集目标数据——详细教程（上篇），学会选择器的具体使用方法，可以帮助自己更好的利用Scrapy爬虫框架。在接下来的几篇文章中，小编将给大家讲解爬虫主体文件的具体代码实现过程，最终实现网页所有内容的抓取。

Python进阶者

2020/11/13

2K0

如何利用Scrapy爬虫框架抓取网页全部文章信息（上篇）

爬虫案例：26行代码完成某表情包网站爬取

python html 编程算法

零基础学习zhenguo老师python课程到今天刚好有一个月时间了，时间过得真快，以前知道简单知道变量，列表但是解决不了需求。刚好这两天有朋友让我爬取表情包网站，我就自己整理思路。这样不仅仅可以学以致用，还能检验自己的学习成果。顺便投稿zhenguo老师还能挣一个饭钱50元钱。开发思路介绍 1.连接网站，返回页面的html结果。 2.用到lxml的etree方法下的解析获取的网页。提取想要的内容 3.提取得到title和表情包图片的下载地址并保存到变量list中。 4.拼接字符串，将图片的名字进行重新命

double

2022/06/27

4720

爬虫案例：26行代码完成某表情包网站爬取

就想写个爬虫，我到底要学多少东西啊？

爬虫分布式网站 scrapy ajax

但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把现在一些主流的技术栈都连接在了一起。正因为涵盖的方向多，因此学习的东西也非常零散和杂乱，很多初学者搞不清楚究竟要学习哪些知识，学习过程中遇到反爬也不知道用什么方法来解决，本篇我们来做一些归纳和总结。

磐创AI

2020/03/05

1.2K0

体验了150个小程序以及我的思考

小程序编程算法微信

【高频使用】美团外卖+ 纯点餐没有叽叽歪歪的各种活动让你不知道吃什么，自动定位功能比较准，第一次登陆要绑定下手机号，大多数人的好评小程序。滴滴公交查询基于地理位置的服务，授权后自动给你最近的公交，也能搜索你要查的公交，公交线路的每个站点的时间和距离都能实时更新，有首末班车时间信息，有大概票价信息。不足就是不能根据目的地查询公交路线。纯小工具，如果是等公交的人，或在室内要预计出门时间的人都十分实用。无需任何账号注册或者授权。车来了首页太乱信息量过多，有个最近使用和收藏功能，觉得有点多余了。本来就叫

顶级程序员

2018/04/26

2K0

python爬虫爬取美团网酒店信息

javascript 爬虫 ajax html node.js

网站的页面是 JavaScript 渲染而成的，我们所看到的内容都是网页加载后又执行了JavaScript代码之后才呈现出来的，因此这些数据并不存在于原始 HTML 代码中，而 requests 仅仅抓取的是原始 HTML 代码。抓取这种类型网站的页面数据，解决方案如下：

快学Python

2021/08/09

2K0

实战 | PyQt5制作雪球网股票数据爬虫工具

php 网络安全 qt python unix

最近有盆友需要帮忙写个爬虫脚本，爬取雪球网一些上市公司的财务数据。盆友希望可以根据他自己的选择进行自由的抓取，所以简单给一份脚本交给盆友，盆友还需要自己搭建python环境，更需要去熟悉一些参数修改的操作，想来也是太麻烦了。

刘早起

2020/09/23

1.6K5

实战 | PyQt5制作雪球网股票数据爬虫工具

相关推荐

捅马蜂窝啦！！！

更多 >