首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

使用Faraday库采集微博图片

之前我们写过一个微博采集程序,不是特别难,那么有朋友想让我用Faraday库来写一个微博的爬虫程序,还要用Ruby来采集微博的图片。果然,不费吹灰之力,它来了,一起来学习一下吧。

```ruby

require 'faraday'

require 'nokogiri'

proxy_host = 'https://www.duoip.cn/get_proxy'

proxy_port = 8000

# 创建一个Faraday实例,设置代理

faraday = Faraday.new do |faraday|

faraday.request :proxy, proxy_host, proxy_port

end

# 构建请求URL

url = 'https://weibo.com/'

# 发送GET请求

response = faraday.get url

# 使用Nokogiri解析响应内容

doc = Nokogiri::HTML(response.body)

# 遍历文档中的所有img标签

doc.css('img').each do |img|

# 获取img标签的src属性

src = img['src']

# 如果src属性不为空,则打印该图片的URL

puts src if src

end

```

那么上面的代码呢,首先引入了Faraday和Nokogiri库,然后创建了一个Faraday实例,并设置了代理。接着构建了请求的URL,发送了GET请求,并使用Nokogiri解析了相应内容。最后,遍历了文档中的所有img标签,并打印出了img标签的src属性(即图片的URL)。注意,如果src属性为空,则不会打印任何内容。希望这个程序能帮助你完成任务!

  • 发表于:
  • 原文链接https://page.om.qq.com/page/ORg6rk8FzynebV_Fw2A6Yr_Q0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券