python爬虫：爬取猫眼电影数据并存入数据库

url = start_url + '?offset=' + str(10 * i)


3. 以第一页为例，提取信息

# coding: utf-8
# author: hmk

from bs4 import BeautifulSoup
import requests
import bs4

url = 'http://maoyan.com/board/4'
header = {"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
              "Accept-Encoding": "gzip, deflate, sdch",
              "Accept-Language": "zh-CN,zh;q=0.8",
              "Cache-Control": "max-age=0",
              "Connection": "keep-alive",
              "Host": "maoyan.com",
              "Referer": "http://maoyan.com/board",
              "Upgrade-Insecure-Requests": "1",
              "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36"}
r = requests.get(url, headers=header)
r.encoding = r.apparent_encoding
html = r.text
soup = BeautifulSoup(html, 'html.parser')
# print(soup.find_all('dd'))
list=[]  # 定义一个列表，保存所有电影数据，一定不要定义在循环里面，不然每次都会清空，最后只会留下最后一部电影的数据
for dd in soup.find_all('dd'):
    index = dd.i.string  # 电影排名
    # print(index)
    movie = dd.find('p', class_='name').string  # 电影名称
    # print(movie.string)
    release_times = dd.find('p', class_='releasetime')  # 上映时间
    release_time = release_times.string
    # print(release_time.string)
    s = dd.find('p', class_='score').contents   # 分数
    score = s[0].string+s[1].string  # 把分数的整数部分和小数部分拼接

    list.append([index,movie,release_time,score])  # 把每一部电影的排名、名称、上映时间、分数添加到一个列表，再追加到一个大列表
print(list)

使用 dd.find('p', class_='name').string
提取dd标签下class属性为name的p标签，因为电影名称就在这个p标签

dd.find('p',class_='score').contents[0].string+dd.find('p', class_='score').contents[1].string

 if isinstance(dd.find('p', class_='score'), bs4.element.Tag):
        s = dd.find('p', class_='score').contents   # 分数
        #print(s)
        score = s[0].string + s[1].string  # 把分数的整数部分和小数部分拼接
    else:
        score = "暂无分数"

# coding: utf-8
# author: hmk

import requests
from bs4 import BeautifulSoup
import bs4
import pymysql.cursors


def get_html(url, header):
    try:
        r = requests.get(url=url, headers=header, timeout=20)
        r.encoding = r.apparent_encoding
        if r.status_code == 200:
            return r.text
        else:
            return None
    except:
        return None


def get_data(html, list_data):
    soup = BeautifulSoup(html, 'html.parser')
    dd = soup.find_all('dd')
    for t in dd:
        if isinstance(t, bs4.element.Tag):  # 判断t是否为bs4的tag对象(可能存在空格)
            ranking = t.i.string  # 排名
            movie = t.find('p', class_='name').string
            release_time= t.find('p', class_='releasetime').string
            if isinstance(t.find('p', class_='score'), bs4.element.Tag):
            """判断是否有class属性为score的p标签"""
                score = t.find('p', class_='score').contents[0].string + t.find('p', class_='score').contents[1].string
            else:
                score = "暂无得分"
            print(score)

            list_data.append([ranking, movie, release_time, score])


def write_sql(data):
    conn = pymysql.connect(host='localhost',
                           user='root',
                           password='123456',
                           db='test',
                           charset='utf8')
    cur = conn.cursor()

    for i in data:
        """这里的data参数是指处理后的列表数据(是一个大列表，包含所有电影信息，每个电影信息都存在各自的一个列表中；
        对大列表进行迭代，提取每组电影信息，这样提取到的每组电影信息都是一个小列表，然后就可以把每组电影信息写入数据库了)"""
        movie = i  # 每组电影信息，这里可以看做是准备插入数据库的每组电影数据
        sql = "insert into maoyan_movie(ranking, movie, release_time, score) values(%s, %s, %s, %s)"  # sql插入语句 插入数据时，注意数据库字段的类型及长度是否满足插入值得要求
        try:
            cur.execute(sql, movie)  # 执行sql语句，movie即是指要插入数据库的数据
            conn.commit()  # 插入完成后，不要忘记提交操作
            print('导入成功')
        except:
            print('导入失败')
    cur.close()  # 关闭游标
    conn.close()  # 关闭连接


def main():
    start_url = 'http://maoyan.com/board/4'
    depth = 2  # 爬取深度(翻页)
    header = {"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
              "Accept-Encoding": "gzip, deflate, sdch",
              "Accept-Language": "zh-CN,zh;q=0.8",
              "Cache-Control": "max-age=0",
              "Connection": "keep-alive",
              "Host": "maoyan.com",
              "Referer": "http://maoyan.com/board",
              "Upgrade-Insecure-Requests": "1",
              "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36"}

    for i in range(depth):
        url = start_url + '?offset=' + str(10 * i)
        html = get_html(url, header)
        list_data = []
        get_data(html, list_data)
        #print(list_data)
        write_sql(list_data)
        # print(list_data)


if __name__ == "__main__":
    main()

def get_data(html, list_data):
    pattern = re.compile(r'<dd>.*?<i.*?>(\d+)</i>.*?'  # 匹配电影排名
                         r'<p class="name"><a.*?data-val=".*?">(.*?)'  # 匹配电影名称
                         r'</a>.*?<p.*?class="releasetime">(.*?)</p>'  # 匹配上映时间
                         r'.*?<i.*?"integer">(.*?)</i>'  # 匹配分数的整数位
                         r'.*?<i.*?"fraction">(.*?)</i>.*?</dd>', re.S)  # 匹配分数小数位
    m = pattern.findall(html)
    print(m)
    for i in m:  # 因为匹配到的所有结果会以列表形式返回，每部电影信息以元组形式保存，所以可以迭代处理每组电影信息
        ranking = i[0]  # 提取一组电影信息中的排名
        movie = i[1]  # 提取一组电影信息中的名称
        release_time = i[2]  # 提取一组电影信息中的上映时间
        score = i[3] + i[4]  # 提取一组电影信息中的分数,这里把分数的整数部分和小数部分拼在一起
        list_data.append([ranking, movie, release_time, score])  # 每提取一组电影信息就放到一个列表中，同时追加到一个大列表里，这样最后得到的大列表就包含所有电影信息