使用selenium打开具有相同类的多个文章并从中抓取数据

是一个常见的网络爬虫任务，可以通过以下步骤来实现：

准备环境：安装selenium库和浏览器驱动程序（如Chrome驱动），确保环境配置正确。
导入库和设置浏览器驱动：

from selenium import webdriver

# 设置Chrome浏览器驱动路径
driver_path = "path/to/chromedriver"

# 创建Chrome浏览器实例
driver = webdriver.Chrome(executable_path=driver_path)

打开网页并搜索文章类别：使用selenium模拟浏览器操作打开目标网页，并在搜索框中输入文章类别进行搜索。

# 打开目标网页
driver.get("https://example.com")

# 定位搜索框并输入文章类别关键词
search_box = driver.find_element_by_id("search-box")
search_box.send_keys("文章类别关键词")

# 提交搜索表单
search_box.submit()

获取搜索结果：通过定位和操作网页元素，获取搜索结果中的文章链接。

# 定位搜索结果列表
results = driver.find_elements_by_class_name("result-item")

# 遍历搜索结果并获取文章链接
article_links = []
for result in results:
    link = result.find_element_by_tag_name("a").get_attribute("href")
    article_links.append(link)

打开文章并抓取数据：遍历文章链接列表，逐个打开文章网页，然后使用selenium定位和抓取需要的数据。

for article_link in article_links:
    # 打开文章网页
    driver.get(article_link)

    # 定位并抓取数据
    title = driver.find_element_by_css_selector("h1.article-title").text
    content = driver.find_element_by_css_selector("div.article-content").text

    # 处理数据（例如存储、分析等）
    process_data(title, content)