爬虫非专业八级模拟考试

我就不信有满分飘过的学霸！

请听题：

点击下方空白区域查看答案

▼

正确答案 B

最大的爬虫就是搜索引擎。Google作为世界上最大的搜索引擎，其爬虫流量也遥遥领先于其他各类搜索引擎爬虫，占所有爬虫流量的3.87%

点击下方空白区域查看答案

▼

正确答案 C

企业工商注册信息不是个人数据，数据来源都是国家公示网站，所公示内容是依法公开的内容。

对于敏感的个人信息，比如爬取社保、身份证号、淘宝交易记录，是违法的。

点击下方空白区域查看答案

▼

正确答案 A

数据来自浅黑科技：关于爬虫，这里有一份《中国焦虑图鉴》

点击下方空白区域查看答案

▼

正确答案 C

使用打码平台是最快解决问题的方法

点击下方空白区域查看答案

▼

正确答案 B

经过分析，发现迷之字符规律的出现在 span 标签内，所以就把 span 标签的内容干掉好了。

点击下方空白区域查看答案

▼

正确答案 C

美团这里用到的是 background 拼凑。数字其实是图片，根据不同的background偏移，显示出不同的字符。

既然人眼可以看出数字是多少，那么程序也可以识别。可以用 tesseract-ocr 进行图片识别。

点击下方空白区域查看答案

▼

正确答案 B

这里去哪儿的策略是先用四个i标签渲染，再用两个b标签去绝对定位偏移量，覆盖故意展示错误的i标签，最后在视觉上形成正确的价格。

找到规律，根据元素偏移量去计算正确的数字和位数，替换掉错误的价格即可。

点击下方空白区域查看答案

▼

正确答案 AC

使用 Selenium + chromedriver 或者抓 API 接口都可以，这里不推荐 PhantomJS 是因为框架不再维护了。但可能一些老的教程还在用。

点击下方空白区域查看答案

▼

正确答案 AB

抓包 mitmproxy 或者 APK 反编译都可以。Requests 肯定是请求不到的了。

10. 简答题：这张图还可以再往下补充的进攻和防守轮回是什么？

点击下方空白区域查看答案

▼

参考答案

其实可以补充的有很多了，真实世界比这张图复杂很多，在这里提供两个思路：

一轮：

反爬的防守：识别出来selenium爬虫，进行数据投毒，给假数据。

爬取的进攻：Android模拟器，模拟正常用户，或者再换一个http client

又一轮：

爬取的进攻：模拟正常用户行为，点击其他功能或者页面

反爬的防守：爬取的限速限流

考试结束～

麻瓜们考的怎么样？

每道题10分，满分100分，你能得多少分呢？

本文授权转自公众号：

麻瓜编程（easypython）

https://mp.weixin.qq.com/s/hYDF_rnVwadw0aZuEVXcqg