Python Web抓取-导航到下一页链接并获取数据

import requests
from bs4 import BeautifulSoup

def get_data(url):
    # 发送HTTP请求获取页面内容
    response = requests.get(url)
    # 使用BeautifulSoup解析页面内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取需要的数据
    data = soup.find('div', class_='data').text
    
    # 打印数据
    print(data)
    
    # 导航到下一页链接
    next_page = soup.find('a', class_='next-page')['href']
    next_url = url + next_page
    
    # 递归调用获取下一页数据
    get_data(next_url)

# 起始页面URL
start_url = 'https://example.com/page1'
get_data(start_url)