使用 DrissionPage 实现网页内容自动化采集

# 导入必要的模块
import os
from DrissionPage import ChromiumOptions, Chromium
import time

def main():
    # 创建浏览器配置
    co = ChromiumOptions()
    co.use_system_user_path()  # 使用系统浏览器配置
    
    # 初始化浏览器
    browser = Chromium(co)
    tab = browser.latest_tab
    
    # 访问目标网页
    tab.get("http://drissionpage.cn/browser_control/intro")
    
    # 等待页面元素加载
    tab.wait.ele_displayed("css:选择器", timeout=10)
    
    # 获取所需元素
    elements = tab.eles("css:选择器")
    
    # 遍历处理元素
    for index, element in enumerate(elements):
        # 提取内容
        title = element.ele("css:a").text
        content = tab.ele("css:文章选择器").text
        
        # 保存内容
        os.makedirs("new-docs", exist_ok=True)
        with open(f"new-docs/{index+1}_{title}.md", "w", encoding="utf-8") as f:
            f.write(content)
        
        time.sleep(1)  # 适当延迟