使用python从HTML页面获取数据

pip install requests beautifulsoup4

import requests
from bs4 import BeautifulSoup

# 1. 获取 HTML 页面内容
url = 'https://example.com'  # 替换为你想爬取的网站
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    html_content = response.text
else:
    print(f"请求失败，状态码：{response.status_code}")
    exit()

# 2. 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(html_content, 'html.parser')

# 3. 获取网页标题
title = soup.title.string
print(f"网页标题: {title}")

# 4. 获取所有的 <a> 标签（链接）
links = soup.find_all('a')
print("\n页面中的链接：")
for link in links:
    href = link.get('href')
    text = link.text.strip()
    if href:  # 只输出有链接地址的
        print(f"文本: {text} -> 链接: {href}")

# 假设网页中有一个表格，例如 <table id="my-table">
table = soup.find('table', {'id': 'my-table'})  # 通过 id 查找
# 或者直接找第一个表格：soup.find('table')

if table:
    rows = table.find_all('tr')  # 找出所有行
    for row in rows:
        cols = row.find_all(['th', 'td'])  # th 是表头，td 是普通单元格
        cols = [col.text.strip() for col in cols]
        print(cols)  # 打印每一行的所有列数据
else:
    print("未找到表格")

https://example.com/api/data?page=1

pip install selenium

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

# 如果你使用 Chrome，请下载 chromedriver，并配置路径
driver_path = '/path/to/chromedriver'  # 替换为你的 chromedriver 路径
service = Service(driver_path)
driver = webdriver.Chrome(service=service)

# 打开网页
url = 'https://example.com'
driver.get(url)

# 等待页面加载（可以根据情况使用显式等待更好）
time.sleep(5)  # 简单等待5秒，建议用 WebDriverWait

# 获取页面标题
print("页面标题:", driver.title)

# 获取某个元素，比如 class 为 'title' 的元素内容
elements = driver.find_elements(By.CLASS_NAME, 'title')  # 或 By.TAG_NAME, By.CSS_SELECTOR
for elem in elements:
    print(elem.text)

# 关闭浏览器
driver.quit()