爬虫是什么？为什么Python使用的更多？爬虫是python独占的吗？

网络爬虫是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。对于爬虫这个技术，几乎每种编程语言都可以实现，比如java就可以实现爬虫，但是之所以使用Python去实现爬虫更多，是因为Python提供了许多简单易用的爬虫库和框架，可以轻松开发一个爬虫程序。

那么用python写爬虫的优势在哪呢？

1.相比于其他静态编程语言，python抓取网页文档的接口更简洁；python的urllib2包提供了较为完整的访问网页文档的API。

2.抓取网页有时候需要模拟浏览器的行为，很多网站对于爬虫抓取都是封杀的。需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize。

3.抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap等提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

爬虫不是python独占的技术

有些小伙伴会认为爬虫只能由python实现，实际上这是一种误区，而造成这个误区的原因，和宣传者有着密切的关系，使得一说爬虫大家就认为是python写的，而且只能由python去实现。事实上，python只是有很多框架支持爬虫，因此可以很方便的实现爬虫，但是其他语言也是可以做爬虫的，比如java，但是就是没有类库和框架的支撑，因此实现较为复杂一些。

举个例子，把爬虫程序比喻成开啤酒，Python可能是啤酒起子（直接又方便的开），其他的语言可能是筷子，也有可能是牙（嘎嘣脆），都可以开啤酒，但是更多的人当然选择用起子起开，因为其方便又省力。