Go编程：使用 Colly 库下载Reddit网站的图像

package main

import (
	"fmt"
	"io"
	"log"
	"net/http"
	"net/url"
	"os"
	"path/filepath"
	"strings"

	"github.com/gocolly/colly/v2"
)

// 定义常量
const (
	subreddit = "pics" // 主题
	filter    = "top"  // 过滤条件
	limit     = 10     // 图片数量限制
	output    = "images" // 输出文件夹

	// 亿牛云爬虫代理相关信息（需登录后台获取）
	proxyHost = "www.16yun.cn" // 域名
	proxyPort = 6443           // 端口
	proxyUser = "16YUN"        // 用户名
	proxyPass = "16IP"         // 密码
)

func main() {
	// 创建一个Colly实例
	c := colly.NewCollector(
		colly.AllowedDomains("www.reddit.com", "old.reddit.com", "i.redd.it", "i.imgur.com"),
	)

	// 设置代理（使用亿牛云爬虫代理服务）
	err := c.SetProxyFunc(func(r *http.Request) (*url.URL, error) {
		return url.Parse(fmt.Sprintf("http://%s:%s@%s:%d", proxyUser, proxyPass, proxyHost, proxyPort))
	})
	if err != nil {
		log.Fatal(err)
	}

	// 创建一个计数器，用于限制图片数量
	count := 0

	// 注册HTML回调函数，用于解析图片链接
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		// 获取链接地址
		link := e.Attr("href")
		// 过滤非图片链接
		if !strings.HasSuffix(link, ".jpg") && !strings.HasSuffix(link, ".png") {
			return
		}
		// 限制图片数量
		if count >= limit {
			return
		}
		// 访问图片链接
		c.Visit(link)
	})

	// 注册图片回调函数，用于下载图片
	c.OnResponse(func(r *colly.Response) {
		// 获取图片URL
		url := r.Request.URL.String()
		// 获取图片文件名
		filename := filepath.Base(url)
		// 创建输出文件夹（如果不存在）
		if _, err := os.Stat(output); os.IsNotExist(err) {
			os.Mkdir(output, 0755)
		}
		// 创建图片文件
		file, err := os.Create(filepath.Join(output, filename))
		if err != nil {
			log.Fatal(err)
		}
		defer file.Close()
		// 写入图片数据
		file.Write(r.Body)
		fmt.Printf("下载图片：%s\n", url)
		count++
	})

	c.OnError(func(r *colly.Response, err error) {
		fmt.Printf("请求失败：%s\n", r.Request.URL)
		fmt.Println(err)
	})

	c.OnRequest(func(r *colly.Request) {
		fmt.Printf("请求开始：%s\n", r.URL)
	})

	c.OnResponse(func(r *colly.Response) {
		fmt.Printf("请求完成：%s\n", r.Request.URL)
	})

	c.OnScraped(func(r *colly.Response) {
		fmt.Println("爬取结束")
	})

	fmt.Println("爬取开始")
	c.Visit(fmt.Sprintf("https://old.reddit.com/r/%s/%s/", subreddit, filter))
}