如何在ruby中使用html webscraping中的文本填充数组

在Ruby中，使用HTML Web Scraping库，如Nokogiri，可以很容易地提取网页中的文本并将其填充到数组中。以下是一个简单的步骤指南：

步骤 1: 安装 Nokogiri

首先，确保你已经安装了Nokogiri库。如果没有安装，可以使用以下命令安装：

gem install nokogiri

步骤 2: 编写代码提取文本

下面是一个示例代码，展示了如何使用Nokogiri从一个网页中提取所有的段落文本，并将它们填充到一个数组中：

require 'nokogiri'
require 'open-uri'

# 目标网页的URL
url = 'http://example.com'

# 使用Nokogiri解析网页
doc = Nokogiri::HTML(open(url))

# 创建一个空数组来存储提取的文本
texts = []

# 查找所有的<p>标签并提取文本
doc.css('p').each do |paragraph|
  texts << paragraph.text.strip # 添加文本到数组，并去除首尾空白
end

# 输出数组内容
puts texts.inspect

解释

1. require 'nokogiri' 和 require 'open-uri' 引入了必要的库。
2. Nokogiri::HTML(open(url)) 打开并解析了指定的网页。
3. doc.css('p') 选择所有的 <p> 标签。
4. .each do |paragraph| ... end 遍历每个段落，并使用 paragraph.text.strip 提取并清理文本。
5. texts << paragraph.text.strip 将清理后的文本添加到数组中。

注意事项

• 确保目标网页允许Web Scraping，并且遵守其robots.txt文件的规定。
• 对于动态加载内容的网站，可能需要使用像Selenium这样的工具来模拟浏览器行为。
• 处理异常，比如网络请求失败或页面结构变化导致的解析错误。