Python + BeautifulSoup 采集

编程小白狼

发布于 2024-12-31 00:08:30

8600

代码可运行

文章被收录于专栏：编程小白狼编程小白狼

运行总次数：0

代码可运行

Python 是一种非常流行的编程语言，也是开发网络爬虫和数据采集工具的首选语言。在 Python 中，有许多第三方库可以用于网络爬虫和数据采集，比如 requests、beautifulsoup4、selenium 等。

下面是一个简单的例子，使用 requests 库采集一个网页：

import requests

# 发送 GET 请求
response = requests.get('https://www.example.com')

# 输出响应内容
print(response.text)

使用 requests 库发送请求，获取响应后，可以通过 response.text 属性获取响应内容。

如果需要解析 HTML 页面，可以使用 beautifulsoup4 库：

from bs4 import BeautifulSoup
import requests

# 发送 GET 请求
response = requests.get('https://www.example.com')

# 解析 HTML 页面
soup = BeautifulSoup(response.text, 'html.parser')

# 获取标题标签内容
title = soup.title.string

# 输出标题标签内容
print(title)