用rvest库来编写的爬虫程序使用HTTP教程

install.packages("rvest")
install.packages("httr")  # 用于发送 HTTP 请求
install.packages("xml2")  # 用于解析 HTML 和 XML 数据

# 加载必要的库
library(rvest)
library(httr)
library(xml2)
​
# 定义要抓取的网页URL
url <- "https://example.com"  # 替换为你要爬取的网址
​
# 发送GET请求获取网页内容
response <- GET(url)
​
# 如果响应状态为200，表示请求成功
if (status_code(response) == 200) {
  
  # 解析网页内容
  html <- content(response, "text")
  
  # 使用rvest解析HTML
  webpage <- read_html(html)
  
  # 提取网页中所有图片的URL
  img_urls <- webpage %>%
    html_nodes("img") %>%
    html_attr("src")
  
  # 输出所有图片的URL
  print(img_urls)
  
  # 下载每个图片到本地（如果需要）
  for (img_url in img_urls) {
    # 处理相对URL，拼接成完整URL
    full_img_url <- ifelse(grepl("^http", img_url), img_url, paste0(url, img_url))
    
    # 下载图片
    img_data <- GET(full_img_url)
    img_name <- basename(full_img_url)
    
    # 将图片保存到本地
    writeBin(content(img_data, "raw"), img_name)
    cat("已下载图片:", img_name, "\n")
  }
  
} else {
  cat("请求失败，HTTP 状态码:", status_code(response), "\n")
}