网页内容解析技巧：Typhoeus 与 Nokogiri 的结合使用

原创

小白学大数据

发布于 2024-12-17 16:28:11

8900

代码可运行

运行总次数：0

代码可运行

引言

Typhoeus 是一个基于 Hydra 的库，它提供了一个简单而强大的 API 来发送 HTTP 请求。Nokogiri 是一个高效的 HTML、XML 和 SAX 以及 Reader parser 的库。将两者结合起来，我们可以快速地发送网络请求并解析响应内容，从而提取所需的数据。

Typhoeus 简介

Typhoeus 允许我们并行地发送多个 HTTP 请求，这可以显著提高数据抓取的效率。它还提供了一个简洁的 API 来设置请求头部、超时和代理等。

Nokogiri 简介

Nokogiri 以其出色的解析速度和易用性而闻名。它提供了丰富的方法来查询和修改 HTML 或 XML 文档，使得数据提取变得简单直观。

安装和配置

首先，我们需要安装这两个库。如果你使用的是 Ruby，可以通过 Bundler 来管理你的依赖。

在你的 Gemfile 中添加以下内容：

然后运行 bundle install 来安装这些库。

发送 HTTP 请求

使用 Typhoeus 发送 HTTP 请求非常简单。以下是一个基本的 GET 请求示例，包括代理设置：

ruby

require 'typhoeus'

# 代理设置
proxy_host = "www.16yun.cn"
proxy_port = "5445"
proxy_user = "16QMSOML"
proxy_pass = "280651"

# 创建一个 Typhoeus 客户端，并设置代理
client = Typhoeus::Client.new(
  proxy: {
    host: proxy_host,
    port: proxy_port,
    user: proxy_user,
    pass: proxy_pass
  }
)

# 发送 GET 请求
response = client.get('http://example.com')

# 检查响应状态码
if response.code == 200
  puts "请求成功！"
else
  puts "请求失败，状态码：#{response.code}"
end

解析 HTML 内容

一旦我们得到了响应内容，就可以使用 Nokogiri 来解析 HTML。以下是一个基本的解析示例：

ruby

require 'nokogiri'

# 假设 response.body 包含了 HTML 内容
html = Nokogiri::HTML(response.body)

# 使用 CSS 选择器查找元素
titles = html.css('title').text

puts "页面标题：#{titles}"

组合 Typhoeus 和 Nokogiri

现在，让我们将这两个库结合起来，以实现一个完整的网页内容解析流程，并加入代理信息。

ruby

require 'typhoeus'
require 'nokogiri'

# 代理设置
proxy_host = "www.16yun.cn"
proxy_port = "5445"
proxy_user = "16QMSOML"
proxy_pass = "280651"

# 创建 Typhoeus 客户端
client = Typhoeus::Client.new(
  proxy: {
    host: proxy_host,
    port: proxy_port,
    user: proxy_user,
    pass: proxy_pass
  }
)

# 发送 GET 请求
response = client.get('http://example.com')

# 检查响应状态码
if response.code == 200
  # 使用 Nokogiri 解析 HTML 内容
  html = Nokogiri::HTML(response.body)

  # 提取页面标题
  title = html.css('title').text

  # 提取所有链接
  links = html.css('a').map { |link| link['href'] }

  puts "页面标题：#{title}"
  puts "页面链接：#{links}"
else
  puts "请求失败，状态码：#{response.code}"
end

处理多个页面

在实际应用中，我们可能需要处理多个页面。Typhoeus 支持并行请求，这可以帮助我们提高效率。

ruby

# 定义要爬取的页面数组
urls = ['http://example.com', 'http://example.org', 'http://example.net']

# 创建请求队列
requests = urls.map do |url|
  Typhoeus::Request.new(url, method: :get, proxy: {
    host: proxy_host,
    port: proxy_port,
    user: proxy_user,
    pass: proxy_pass
  })
end

# 发送请求并获取响应
responses = Typhoeus.hydra.run(requests)

# 遍历响应并解析内容
responses.each do |response|
  if response.code == 200
    html = Nokogiri::HTML(response.body)
    title = html.css('title').text
    puts "页面标题：#{title}"
  else
    puts "请求失败，状态码：#{response.code}"
  end
end

错误处理和调试

在网络请求和解析过程中，错误处理和调试是非常重要的。Typhoeus 提供了一些方法来处理超时、连接错误等问题。

ruby

# 设置超时
client = Typhoeus::Client.new(timeout: 10)

# 发送请求
response = client.get('http://example.com')

# 检查错误
if response.timed_out?
  puts "请求超时！"
elsif response.code == 200
  # 解析内容
else
  puts "请求失败，状态码：#{response.code}"
end