python爬虫：爬取58同城武汉地区商品房信息（最后碰到了58同城的反爬机制，吓得我不敢说话···）

戈贝尔光和热

发布于 2018-12-27 15:16:04

2K0

发布于 2018-12-27 15:16:04

文章被收录于专栏：HUBU生信

今天外面天气有些古怪，女朋友明天又要考试，整整一天都在图书馆背书。遇到这种情况，像我这么懒的人，肯定就只有在宿舍玩游戏了。可是，，，玩游戏真的很无聊耶，我都玩腻了。所以，写完线代作业，只好又来了解一下数据结构和python。这波理由很充分，哈哈哈哈

本来是想来试着爬一下雷军的微博信息的。可是微博，根本就不给真正的url··· （大公司嘛，程序员多，可以为所欲为）上知乎逛了一圈，要用cookies保存登陆信息，然后调用json库，模拟人类点击浏览器？！然而我http协议都还没有了解，就让我去找cookies？！我拒绝！

趁着无聊，就了解了一下http协议，以及浏览器工作的原理。于是乎知道了一串名词：TCP三次握手，ACK，syn包，TCP/IP协议，DNS，主机名，状态行，丢包etc（很社会···列在这里其实是想当一个名词解释，大家自己去了解一下，如果需要，我也可以些篇介绍这些概念的文章）想来想去，还是拿58同城来练练手。据说武汉房价又涨了，所以多看看房子信息，可以壮壮胆嘛（去TMD壮胆····我想睡觉）

废话说的有点多了，现在进入正题。

首先，还是和之前一样，打开58同城的网页，打开开发者选项F12，进行网页分析：

我个人喜欢用记事本复制代码，帮助自己来分析：

具体分析的过程，我就不详细说了，专栏的前几篇都有仔细分析，大家可以看一下：

我爱小徐子：（python小白必看！）python爬虫详细讲解：静态单网页的内容爬取爬取对象：百度贴吧湖北大学吧 zhuanlan.zhihu.com 图标今天遇到的一个主要问题，还是之前在文章中写到的，对标签使用text.strip()方法时，无法提取出来标签中的文字信息，总是报错。所以，我今天对单网页进行了一个测试，测试代码如下：

In [1]: import  requests

In [2]: from  bs4  import  BeautifulSoup

In [3]: import  pandas  as  pd

In [4]: from   pandas  import  DataFrame

In [5]: import  numpy  as  np

In [6]: head={}

In [7]: head['User-Agent']="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"

In [8]: url="http://wh.58.com/ershoufang/pn3/"

In [9]: r=requests.get(url,headers=head)

In [10]: r=r.text
In [12]: soup=BeautifulSoup(r,'lxml')

In [13]: Tags=soup.find_all('li')

In [14]: title_list=[]

In [15]: http_list=[]

In [16]: for li  in  Tags:
    ...:     try:
    ...:         li
    ...:         try:
    ...:             http_list.append(li.find('a')["href"])
    ...:             title_list.append(li.find('h2',attrs={"class":"title"}).text.strip())
    ...:         except:
    ...:             continue
    ...:     except:
    ...:         continue

在循环之中加上了两层异常处理机制，设置head头的目的是，防止服务器发现采取反爬措施（之后就会发现，我这点技术，人家58一眼就能识破）

加了异常处理机机制的目的是，防止标签中没有信息时，而出现报错。异常处理机制使得遇到空白标签之后，循环仍然可以正常进行。

测试截图如下：http列表和title列表均显示正常！

所以这就说明我们的方法没有问题。

封装函数进行多网页爬取，代码如下：

C:\Users\13016>python  -mIPython
Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:54:40) [MSC v.1900 64 bit (AMD64)]
Type 'copyright', 'credits' or 'license' for more information
IPython 6.3.1 -- An enhanced Interactive Python. Type '?' for help.

In [1]: import  requests

In [2]: import  pandas  as  pd

In [3]: from  bs4  import  BeautifulSoup

In [4]: from  pandas  import  DataFrame

In [5]: import  numpy  as  np

In [6]: def  get_url(url):
   ...:     r=requests.get(url)
   ...:     r.encoding=r.apparent_encoding
   ...:     return  r.text

In [7]: def  get_data(html,http_list,title_list,site_list,area_list,price_list):
   ...:     soup=BeautifulSoup(html,'lxml')
   ...:     theme=soup.find('ul',attrs={"class":"house-list-wrap"})
   ...:     Tags=theme.find_all('li')
   ...:     for  li  in  Tags:
   ...:         try:
   ...:             li
   ...:             try:
   ...:                 http_list.append(li.find('a')["href"])
   ...:                 title_list.append(li.find('h2',attrs={"class":"title"}).text.strip())
   ...:                 site_list.append(li.find('span').text.strip())
   ...:                 area_list.append(li.find('p',attrs={"class":"baseinfo"}).text.strip())
   ...:                 price_list.append(li.find('div',attrs={"class":"price"}).text.strip())
   ...:             except:
   ...:                 continue
   ...:         except:
   ...:             continue
   ...:

In [8]: #设置休眠时间，防止网站反爬

In [9]: import  time  as  sleep

In [10]: http_list=[]

In [11]: title_list=[]

In [12]: site_list=[]

In [14]: area_list=[]

In [15]: price_list=[]
In [16]: for  i  in  range(1,11):
    ...:     url='http://wh.58.com/ershoufang/pn'+str(i)+'/'

In [17]: for  i  in  range(1,11):
    ...:     url='http://wh.58.com/ershoufang/pn'+str(i)+'/'
    ...:     html=get_url(url)
    ...:     grt_data(html,http_list,title_list,site_list,area_list,price_list)
    ...:     print('正在爬取第i页'%i)
    ...:     sleep(3)

sleep的作用时休眠循环，防止被服务器发现，是“非人类”在进行操作。

大功告成，本来以为只用等电脑给我爬取数据的：可以刚刚爬取了一页信息，就出现了这个情况