python爬虫学习（2）——requests模块

用户10922923

发布于 2024-05-28 08:31:18

30400

代码可运行

文章被收录于专栏：兵马俑的CSDN兵马俑的CSDN

运行总次数：0

代码可运行

一、requests模块是什么？

简单来说：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。

作用：模拟浏览器发请求。

二、如何使用：（requests模块的编码流程）

1.指定URL； 2.发起请求； 3.获取响应数据； 4.持久化存储；

三、使用步骤（爬取搜狗首页的页面数据）

1.引入库（环境安装）

pip install requests

2.完整代码

#!usr/bin/env python3
# -*- coding: utf-8 -*-
#需求：爬取搜狗首页的页面数据
import requests
if __name__ == '__main__':
    #step1: 指定url
    url = 'http://www.sogou.com/'
    #step2: 发起请求
    #git方法会返回一个响应对象；
    response = requests.get(url=url)
    #step3: 打印响应数据（在响应对象里面）
    page_text = response.text
    print(page_text)
    #step4: 保存响应数据到文件(持久化存储)
    with open('sogou_homepage.html', 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    print('保存成功！')