Go语言之爬虫简单爬取腾讯云开发者社区的文章基本数据

go get -u github.com/gocolly/colly/...

import "github.com/gocolly/colly"

c := colly.NewCollector()

package main

import (
	"fmt"
	"log"
	"github.com/gocolly/colly/v2"
)

func main() {
	// 创建一个新的爬虫实例
	c := colly.NewCollector()

    // 在请求发送之前执行的回调函数
    c.OnRequest(func(r *colly.Request) {
        fmt.Println("正在访问:", r.URL)
    })

    // 在发生错误时执行的回调函数
    c.OnError(func(_ *colly.Response, err error) {
        log.Println("发生错误:", err)
    })

    // 在收到响应时执行的回调函数
    c.OnResponse(func(r *colly.Response) {
        fmt.Println("已访问:", r.Request.URL)
    })

    // 在HTML中找到所有带有href属性的a标签时执行的回调函数
    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        // 访问链接的href属性
        e.Request.Visit(e.Attr("href"))
    })

    // 在HTML中找到所有表格行的第一个单元格时执行的回调函数
    c.OnHTML("tr td:nth-of-type(1)", func(e *colly.HTMLElement) {
        fmt.Println("表格行的第一列:", e.Text)
    })

    // 在XML中找到所有h1标签时执行的回调函数
    c.OnXML("//h1", func(e *colly.XMLElement) {
        fmt.Println(e.Text)
    })

    // 在所有处理完成后执行的回调函数
    c.OnScraped(func(r *colly.Response) {
        fmt.Println("爬取完成:", r.Request.URL)
    })

    // 启动爬虫并访问指定的URL
    err := c.Visit("https://example.com")
    if err != nil {
        log.Fatal(err)
    }
}

extensions.RandomUserAgent(c) // 使用随机的UserAgent，最好能使用代理。这样就不容易被ban
extensions.Referer(c)         // 在访问的时候带上Referrer，意思就是这一次点击是从哪个页面产生的

type SearchResult struct {
   SearchData struct {
      List []struct {
         ID    int    `json:"id"`
         Title string `json:"title"`
      } `json:"list"`
   } `json:"searchData"`
}

   c.OnHTML("script:nth-last-child(2)", func(e *colly.HTMLElement) {
      if e.Attr("class") == "" {  // 我看那个标签的class为空，我当时还以为是做的标识，后面就懒得删了，记录一下，不影响运行
         scriptContent := e.Text

         // 使用正则表达式提取一下数组部分
         re := regexp.MustCompile(`\{.*\}`)
         matches := re.FindStringSubmatch(scriptContent)[0]

         // 解析 JSON 字符串
         var result SearchResult
         err := json.Unmarshal([]byte(matches), &result)
         if err != nil {
            log.Fatal(err)
         }
         // 提取前三个结构体的 id 和 title
         for i, item := range result.SearchData.List {
            if i < 3 {
               fmt.Printf("ID: %d, Title: %s\n", item.ID, item.Title)
            }
         }
      }
   })

package main

import (
   "encoding/json"
   "fmt"
   "github.com/gocolly/colly"
   "github.com/gocolly/colly/extensions"
   "log"
   "math/rand"
   "regexp"
)

type SearchResult struct {
   SearchData struct {
      List []struct {
         ID    int    `json:"id"`
         Title string `json:"title"`
      } `json:"list"`
   } `json:"searchData"`
}

func main() {

   c := colly.NewCollector()
   c.UserAgent = "xy"
   c.AllowURLRevisit = true

   extensions.RandomUserAgent(c) // 使用随机的UserAgent，最好能使用代理。这样就不容易被ban
   extensions.Referer(c)         // 在访问的时候带上Referrer，意思就是这一次点击是从哪个页面产生的

   c.OnError(func(_ *colly.Response, err error) {
      log.Println("Something went wrong:", err)
   })

   c.OnResponse(func(r *colly.Response) {
      fmt.Println("Visited", r.Request.URL)
   })

   c.OnHTML("script:nth-last-child(2)", func(e *colly.HTMLElement) {
      if e.Attr("class") == "" {
         scriptContent := e.Text

         // 使用正则表达式提取一下数组部分
         re := regexp.MustCompile(`\{.*\}`)
         matches := re.FindStringSubmatch(scriptContent)[0]

         // 解析 JSON 字符串
         var result SearchResult
         err := json.Unmarshal([]byte(matches), &result)
         if err != nil {
            log.Fatal(err)
         }
         // 提取前三个结构体的 id 和 title
         for i, item := range result.SearchData.List {
            if i < 3 {
               fmt.Printf("ID: %d, Title: %s\n", item.ID, item.Title)
            }
         }
      }
   })

   c.OnScraped(func(r *colly.Response) {
      fmt.Println("Finished", r.Request.URL)
   })

   c.Visit("https://cloud.tencent.com/developer/search/article-go语言爬虫")

}

package main

import (
	"context"
	"encoding/json"
	"fmt"
	"github.com/gocolly/colly"
	"github.com/gocolly/colly/extensions"
	"log"
	"regexp"
	"sync"
)

type SearchResult struct {
	SearchData struct {
		List []struct {
			ID    int    `json:"id"`
			Title string `json:"title"`
		} `json:"list"`
	} `json:"searchData"`
}

func main() {
	// 创建一个等待组，以便等待所有的 goroutines 完成
	var wg sync.WaitGroup

	// 在 main 函数内部创建 Colly Collector
	c := colly.NewCollector()

	// 随机 User-Agent 和 Referer
	extensions.RandomUserAgent(c)
	extensions.Referer(c)

	// 在 main 函数内部创建一个上下文和取消函数
	ctx, cancel := context.WithCancel(context.Background())
	defer cancel()

	// 在请求发起时，使用闭包将上下文添加到请求中
	c.OnRequest(func(r *colly.Request) {
		// 将标准库的 context 转换为 colly.Context
		collyCtx := colly.NewContext()
		collyCtx.Put("stdContext", ctx)
		r.Ctx = collyCtx
	})

	// 处理错误
	c.OnError(func(_ *colly.Response, err error) {
		log.Println("Something went wrong:", err)
		// 可以在这里添加一些处理错误的逻辑
	})

	// 处理响应
	c.OnResponse(func(r *colly.Response) {
		fmt.Println("Visited", r.Request.URL)
	})

	// 在 HTML 中查找指定元素
	c.OnHTML("script:nth-last-child(2)", func(e *colly.HTMLElement) {
		if e.Attr("class") == "" {
			scriptContent := e.Text

			// 使用正则表达式提取数组部分
			re := regexp.MustCompile(`\{.*\}`)
			matches := re.FindStringSubmatch(scriptContent)
			if len(matches) == 0 {
				log.Println("No matches found in script content")
				return
			}

			// 解析 JSON 字符串
			var result SearchResult
			err := json.Unmarshal([]byte(matches[0]), &result)
			if err != nil {
				log.Println("Error unmarshalling JSON:", err)
				return
			}

			// 提取前三个结构体的ID和Title
			for i, item := range result.SearchData.List {
				if i < 3 {
					fmt.Printf("ID: %d, Title: %s\n", item.ID, item.Title)
				}
			}
		}
	})

	// 处理完成
	c.OnScraped(func(r *colly.Response) {
		fmt.Println("Finished", r.Request.URL)
	})

	// 要访问的 URL 列表
	urls := []string{"https://cloud.tencent.com/developer/search/article-go语言爬虫", "https://cloud.tencent.com/developer/search/article-python爬虫"}

	// 遍历 URL 列表，每个 URL 启动一个 goroutine
	for _, url := range urls {
		// 增加等待组计数
		wg.Add(1)
		// 启动 goroutine
		go func(u string) {
			defer wg.Done()
			err := c.Visit(u)
			if err != nil {
				log.Println("Error visiting URL:", err)
			}
		}(url)
	}

	// 等待所有 goroutines 完成
	wg.Wait()
}