python爬虫学习（2）——requests模块
python爬虫学习（2）——requests模块
用户10922923
发布于 2024-05-28 08:31:18
发布于 2024-05-28 08:31:18
一、requests模块是什么？
简单来说：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。
作用：模拟浏览器发请求。
二、如何使用：（requests模块的编码流程）
1.指定URL； 2.发起请求； 3.获取响应数据； 4.持久化存储；
三、使用步骤（爬取搜狗首页的页面数据）
1.引入库（环境安装）
pip install requests
2.完整代码
#!usr/bin/env python3
# -*- coding: utf-8 -*-
#需求：爬取搜狗首页的页面数据
import requests
if __name__ == '__main__':
#step1: 指定url
url = 'http://www.sogou.com/'
#step2: 发起请求
#git方法会返回一个响应对象；
response = requests.get(url=url)
#step3: 打印响应数据（在响应对象里面）
page_text = response.text
print(page_text)
#step4: 保存响应数据到文件(持久化存储)
with open('sogou_homepage.html', 'w', encoding='utf-8') as fp:
fp.write(page_text)
print('保存成功！')3.运行代码爬取成功
总结
`Python代码使用requests库从指定的网址下载网页内容， 然后将其保存到本地文件中， 最后打印出保存成功的消息。
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2024-05-27，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
对象存储
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
腾讯云开发者
