我正在用下面的代码尝试go-colly，它似乎多次爬行同一个url，我如何限制到一次爬行？
我怀疑'Parallellsim:2‘导致了重复，然而，一些爬网消息urls每个重复了10次以上。
可在不同的网站上重现。
gocolly很瘦，也很棒。
func main() {
c := colly.NewCollector(
colly.AllowedDomains( "www.coursera.org"),
colly.Async(true),
)
c.Limit(&colly.LimitRule
浏览 9提问于2020-05-07得票数 0
回答已采纳
package main
import (
"encoding/csv"
"fmt"
"os"
"github.com/gocolly/colly"
)
func checkError(err error){
if err!=nil{
panic(err)
}
}
func main(){
fName:="data.csv"
file,err:=os.Create(fName)
checkError(err)
defer file.Close()
writer:=csv.NewWriter(fi
浏览 26提问于2021-11-01得票数 0
回答已采纳
在docker-compose的构建过程中，寻找一些安装Go包的帮助。特别是科利。
设置：
docker-compose.yml
services:
crawler:
container_name: crawler
build: ./crawler/
working_dir: /go/src/crawler
volumes:
- ./data:/go/src/crawler/data
- ./crawler:/go/src/crawler
Dockerfile
FROM golang:1.7-alpine
ADD . /go/src
浏览 1提问于2019-12-16得票数 2
我正在使用colly进行一些web抓取，但我想使用cron定期运行它。我确实尝试了一种基本的方法。 type scraper struct {
coll *colly.Collector
rc *redis.Client
}
func newScraper(c *colly.Collector, rc *redis.Client) scraper {
return scraper{coll: c, rc: rc}
}
func main() {
rc := redis.NewClient(&redis.Options{
Addr
浏览 26提问于2021-11-13得票数 0
1回答
我试图在go中制作一个简单的web刮刀，但我似乎无法从colly那里获得最简单的功能。我从colly文档中拿出了一个基本的例子，虽然它与他们使用的hackernews.org站点一起工作，但它并不适用于我正在尝试的站点。我用https://，www尝试了几次url的迭代。，我试着用python中的美味汤刮同一个站点，得到了所有的东西，所以我知道这个站点可以被刮掉。任何帮助都是非常感谢的。谢谢。
package main
import (
"fmt"
"github.com/gocolly/colly"
)
// main function
浏览 10提问于2021-12-25得票数 3
我正在使用colly框架来抓取网站。我正在尝试登录Evernote帐户，以获取一些东西。但我不能通过它。我使用“用户名”和“密码”标题来提供凭据。这条路对吗？
提前谢谢你。
package main
import (
"log"
"github.com/gocolly/colly"
)
func main() {
// create a new collector
c := colly.NewCollector()
// authenticate
err := c.Post("https://www.evernote.com/Login.a
浏览 1提问于2018-05-29得票数 2
我有一个如下的结构：
Type Post struct{
ID int64
Title string
Content string
}
我卷曲了一个网页，用接收数据，我有两个OnHtml方法，如下：
func main() {
c := colly.NewCollector()
c.OnHTML("p", func(e *colly.HTMLElement) {
Post := Post{
Content: e.Text
}
db.Create(&Pos
浏览 41提问于2020-03-09得票数 0
回答已采纳
1回答
我以前用基本相同的方式做过几个这样的程序(只是不同的域名)，但是这次colly没有找到一个链接，只是在访问第一个页面后退出了。有人能看到哪里出了问题吗？*注:为了清楚地了解当前的主题，我省略了程序的某些部分。 *编辑:我已经找到了问题，但没有解决方案。在终端中运行curl https://trendmicro.com/vinfo/us/security/research-and-analysis/threat-reports会返回一个301 permanently错误，但是在浏览器中连接到相同的链接会得到我想要的页面。为什么会发生这种情况?我如何修复它？ *EDIT2:我发现使用curl -
浏览 23提问于2019-02-15得票数 0
我在下面的代码中做了哪些修改，在弹性索引中使用游标符？
我想要全文(如果需要的话，我想得到完整的文本(带状html，剥离js，呈现)。
使其符合avro模式{pageurl：，标题：，内容：}，
批量发布到特定的弹性搜索'mywebsiteindex-yyyymmdd‘-也许使用配置文件，而不是硬编码。
代码片段会很棒的。是否有示例go-colly代码显示爬行->scraping->产于弹性(例如python框架)的“管道化”输出。即流水线化的框架支持。
对于插入弹性，我正在考虑：？
func main() {
c := colly.NewCol
浏览 2提问于2020-05-07得票数 0
我在为graphql解析器创建有效负载时遇到了问题。我如何重写它来返回一个完整的数组呢？ 我被困在c.OnHTML("article", func(e *colly.HTMLElement) {}中，无法将数据返回到它之外。 type Article struct {
Title string `bson:"title"`
Source string `bson:"source"`
Url string `bson:"url"`
Timestamp string `bso
浏览 24提问于2021-08-29得票数 0
回答已采纳
我从Go开始，然后和Colly一起抓取。有人能帮我删除输出中的空行吗？这是我的代码：
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
c := colly.NewCollector()
c.OnHTML("table > tbody", func(e *colly.HTMLElement) {
fmt.Println(e.Text)
})
c.Visit("https:/
浏览 22提问于2020-02-27得票数 0
我正在用colly框架解析一个网站，结果出现了一些问题。我有一个非常基本的函数getweeks()来获取和返回一些东西，但是我却得到了一个空的片段。
func getWeeks(c *colly.Collector) []string {
var wks []string
c.OnHTML("div.ltbluediv", func(div *colly.HTMLElement) {
weekName := div.DOM.Find("span").Text() // a string Week 1, Week 2 etc
浏览 13提问于2022-05-03得票数 1
回答已采纳
我确实为亚马逊产品的标题做了刮擦，但是Amazon抓住了我的刮刀。我试了10次-去运行main.go(8次抓住我-2次我刮了的产品标题)
我研究过这个问题，但我没有找到任何解决方案(只有python)，我有什么解决方案吗？
package main
import (
"fmt"
"strings"0
"github.com/gocolly/colly"
)
func main() {
// Create a Collector specifically for Shopify
c := colly
浏览 2提问于2021-06-25得票数 0
回答已采纳
我试着刮一个简单的网站，看起来像这样：
<html>
<head>
</head>
<body>
<pre>
"Name Surname 1
Name Surname 2
Name Surname 3
Name Surname 4"
</pre>
</body>
</html>
编写了一个简单的go代码：
package main
import (
"fmt"
"github.com/gocol
浏览 4提问于2022-03-22得票数 2
在GoColly中执行网络请求的默认模式是什么？由于收集器中有Async方法，所以我假设默认模式是同步的。但是，在程序中执行这8个请求时，除了需要使用Wait进行异步模式之外，没有什么特别的区别。似乎该方法只控制程序的执行方式(其他代码)，并且请求总是异步的。
package main
import (
"fmt"
"github.com/gocolly/colly/v2"
)
func main() {
urls := []string{
"http://webcode.me",
浏览 9提问于2022-01-23得票数 1
回答已采纳
我有点新的去，并试图刮几个网页使用colly。两个页面有不完整的链接，下面是代码和输出
func PaloNet() {
c := colly.NewCollector(
colly.AllowedDomains("security.paloaltonetworks.com"),
)
c.OnHTML(".list", func(e *colly.HTMLElement) {
PaloNetlinks := e.ChildAttrs("a", "href")
浏览 44提问于2022-11-22得票数 0
回答已采纳
1回答
我正试着从Google趋势中获取一些信息。但是每次我尝试获取一些数据时，我都会收到太多的请求。其他网站都没问题。
我的代码：
func Teste(searchTrend string) {
searchTrend = strings.Trim(searchTrend, " ")
searchTrend = strings.Replace(searchTrend, " ", "%20", -1)
linkTrends := ("https://trends.google.com.br/trends/explor
浏览 11提问于2022-11-17得票数 1
1回答
我正试着用Go和Colly来搜索Zillow上一些列表的一些细节。下面是我正在使用的脚本：
package main
import (
"encoding/csv"
"log"
"os"
"time"
"github.com/gocolly/colly"
"github.com/gocolly/colly/proxy"
)
func main() {
// filename for data
fName := "dat
浏览 8提问于2022-05-24得票数 1
我正在使用框架GoColly获取一些urls的主体。现在我正在测试Netflix网站，下面有下面的代码
u = "http://netflix.com"
uri, err := url.Parse(u)
if err != nil {
fmt.Println(err.Error())
continue
}
c := colly.NewCollector()
c.AllowedDomains = []string{"netflix.com"}
c.OnResponse(func(r *colly.Response) {
q.r.Set(
浏览 0提问于2018-11-16得票数 0
回答已采纳
我已经写了一个山羊绒的脚本，从一个网站收集港务局的信息。
func main() {
// Temp Variables
var tcountry, tport string
// Colly collector
c := colly.NewCollector()
//Ignore the robot.txt
c.IgnoreRobotsTxt = true
// Time-out after 20 seconds.
c.SetRequestTimeout(20 * time.Second)
//use random
浏览 7提问于2021-12-25得票数 2
1回答
我有过很多使用的经验，但是在这个项目中，我应该使用。我正在尝试从一个网站中刮取数据，但它返回以重新获得访问，请确保在重新加载页面之前启用了cookie和JavaScript。
我的代码部分如下：
func crawl(search savedSearch) {
c := colly.NewCollector()
extensions.RandomUserAgent(c)
/* for debugging to see what is the result
c.OnHTML("*", func(e *colly.HTMLElement) {
浏览 5提问于2020-10-04得票数 1
1回答
我目前有一个问题的光线投射引擎，我正在工作。我目前正在向渲染引擎添加非传送门，但我得到了一些奇怪的工件。我给出了每个案例的一些绘图示例。
这是从-X角度(朝东)查看的垂直(从北向南)门。正如你所看到的，这就是门在所有情况下都应该如何绘制。
这是同一扇门，但从Y轴(朝南/朝北)可以直接看到。正如您所看到的，这就是视觉工件开始出现的时候。在门口中间绘制的块来自右侧，并将向左移动，直到您到达+X角度(向西看)。
此行为在所有水平和垂直打开的门口中都会复制自身。它们从一个角度看起来是正常的，但随后奇怪的伪像将从右向左移动(反之亦然)，直到在某一时刻抛出溢出错误，因为X碰撞或Y碰撞跳
浏览 15提问于2015-09-22得票数 0
1回答
果冻还空片
、、
我试图刮一个网站，但似乎我的一片产品，它是空的。
scraper.go：
package scraper
import (
"fmt"
"strings"
"github.com/gocolly/colly"
"github.com/gocolly/colly/extensions"
)
type Product struct {
name string
fullPrice string
url string
}
func Scraper(sit
浏览 13提问于2022-11-11得票数 1
回答已采纳
1回答
重试请求
、
我有这个刮板库，如果第一个用户代理返回错误，我想更改我的用户代理，但是这个代码不能工作，如果第一个用户代理不能工作，我已经发送了第二次尝试，但是由于没有触发onHTML，这永远不会结束：
package scraper
import (
"net/http"
"github.com/davecgh/go-spew/spew"
"github.com/gocolly/colly"
)
const (
fbUserAgent = "ua 1"
userAgent = "ua
浏览 2提问于2021-05-23得票数 0
我已经经历了围棋之旅，现在我正在复习一些柯利教程。我理解最大深度，并一直试图在这样的围棋程序中实现它：
package main
import (
"encoding/json"
"log"
"net/http"
"github.com/gocolly/colly"
)
func ping(w http.ResponseWriter, r *http.Request) {
log.Println("Ping")
w.Write([]byte("ping&
浏览 1提问于2021-02-11得票数 0
回答已采纳
1回答
如何正确使用选择器
、、、
我正在编写一个爬虫来从一些页面中检索一些数据，如何构建它的逻辑对我来说是非常清楚的，但我对如何正确使用选择器感到非常困惑。
我想用colly获取一些新闻的标题，我转到页面并检查了我想要提取的信息的标题->单击的检查->副本选择器。
选择器是
主体>div.glb-网格> main >div.row.content-head> div.title > h1
如何将它正确地放在这一行代码中呢？
detailCollector.OnHTML("body > div.glb-grid > main > div.row.con
浏览 3提问于2020-11-09得票数 3
回答已采纳
FTR我已经在两个框架中成功地编写了相当多的刮板，但我被难住了。以下是我试图抓取的数据的屏幕截图(您也可以转到get请求中的实际链接)：
我尝试以div.section_content为目标
import requests
from bs4 import BeautifulSoup
html = requests.get("https://www.baseball-reference.com/boxes/ARI/ARI201803300.shtml").text
soup = BeautifulSoup(html)
soup.findAll("div"
浏览 12提问于2018-07-12得票数 0
回答已采纳
我试图使用GoColly框架获取所有的HREF链接，但只允许任何域的URL都是根URL或SubDomains(没有路径)。我已经把我的REGEXP评论掉了。文件扩展名并不重要。我只是不想要"/“之后的任何东西。我尝试使用变量"Domain“和concat来构建一个”多样化“的regexp。甚至不确定这是不是件事。
Twitter.Com -真
hello.authac.com -真
whole.facebook.com -TRUE
twiiter.com/dd -FALSE
hello.authac.com/sd.html FALSE
整个.facebo
浏览 1提问于2018-11-21得票数 0
1回答
我正在使用刮一个网站，我也试图获得该网站在TLS握手期间呈现的TLS证书。我查看了文档和响应对象，但没有找到我要找的东西。
根据文档，我可以通过定制一些http选项。我尝试设置自定义的GetCertificate和GetClientCertificate函数，假设这些函数将在TLS握手时使用，但是不会调用print语句。
// Instantiate default collector
c := colly.NewCollector(
// Visit only domains: hackerspaces.org, wiki.hackerspaces.org
浏览 9提问于2022-07-08得票数 2
我正在学习使用gocolly进行网页抓取。当我尝试使用选择器名称body查找标记时，它成功地找到了它。但是，当我尝试通过xpath查找/html/body标记时，它找不到它。
我已经通过一个简单的回调函数使用了OnHTML()：
collector.OnHTML("/html/body", func(element *colly.HTMLElement) {
fmt.Println("Found Body")
})
你知道为什么会发生这种情况吗？
此外，在阅读教程时，我注意到传递给函数OnHTML()的选择器有时用“”(双引号)括起来，有时用(反引号
浏览 3提问于2021-04-16得票数 0
1回答
go-colly库可以在div标记下抓取所有的HTML标记和文本内容吗？如果是这样的话，是怎么做的？我可以把所有的短信都放在div标签下。如下所示：
c.OnHTML("body .post-topic-main .post-topic-des", func(e *colly.HTMLElement) {
text = strings.TrimSpace(e.Text)
})
但是我不知道如何在div标签下得到HTML标签.
浏览 6提问于2022-04-07得票数 2
回答已采纳
1回答
我用collects制作了一个网络刮刀，它从一个网站收集ContestName和ContestTime，并制作一个json文件。
所以我确实喜欢这个
Contests := make(map[string]map[string]map[string]map[string]string)
Contests["AtCoder"] = make(map[string]map[string]map[string]string)
Contests["AtCoder"]["FutureContests"] = make(ma
浏览 9提问于2022-11-15得票数 3
回答已采纳
所以我做了一个网站的抓取脚本。当抓取文本成功时，仅当抓取图像失败时。当我检查元素时，代码仍然正常，但当我运行视图源代码时，图像包装代码更改为noscript。所以我想情况就是这样，也许有人能帮上忙？
c.OnHTML(".postarea", func(h *colly.HTMLElement) {
as := Image{}
as.Name = h.ChildText(".headpost .entry-title")
h.ForEach(".maincontent", func(i int, x
浏览 4提问于2021-02-20得票数 0
我开始和科利打交道。我正在尝试为每个请求设置一个代理。但并不是所有的请求都通过代理 它应该可以工作，https://github.com/gocolly/colly/blob/master/request.go#L52 我已经将此代码添加到我的代码中。但是请求像以前一样没有代理。 c.OnRequest(func(r *colly.Request) {
r.ProxyURL = "..."
} 也许我没有正确理解这应该是如何工作的
浏览 69提问于2019-09-02得票数 1
回答已采纳
我正在尝试登录到我的亚马逊买家帐户以获取跟踪信息。我让wordpress-woocommerce登录并获取信息，但我不能为亚马逊。
package main
import (
"fmt"
"log"
"github.com/gocolly/colly"
)
func main() {
// create a new collector
c := colly.NewCollector()
login_link := "https://www.amazon.de/-/en/ap/signi
浏览 37提问于2021-09-19得票数 2
如何使用colly/goquery查找此html代码片段中的数值：
<body>
<a href="/xxxx/aaaa" > AAAA </a>, 125.00 <br>
<a href="/xxxx/bbbb" > BBBB </a>, 235.20 <br>
<a href="/xxxx/cccc" > CCCC </a>, 145.04 <br>
</body>
浏览 4提问于2019-10-14得票数 0
1回答
是将selector变量传递给回调函数的方式吗？
for _, selector := range listSelector {
c.OnHTML(selector, func(e *colly.HTMLElement) {
fmt.Println(selector) // Similar outputs
})
}
预期结果是输出的不同选择器。谢谢。
浏览 1提问于2019-10-17得票数 0
回答已采纳
mysql排序规则、utf8_general_ci格式、、utf_8、是否有区别？
我得到了一张支持票，可以将我的所有sql表更新为utf8_general_ci格式，而不是utf_8。
票证的subject是
为了在世界各地的系统之间实现更好的互操作性和信息交换。尽管这不一定会影响您的性能或安全性，但我们建议您将数据库表设置为"utf8_general_ci“。
请帮帮我..。
谢谢。
浏览 6提问于2014-01-09得票数 1
我正在使用go语言和在Go中构建的colly web scraping框架开发小型web scraping应用程序。
这是网站的html代码
<div clas="cc">
<div class="list">
<span class="countrybg" style="background-image: url(countryimage);"></span>
<span class="continet">As
浏览 10提问于2021-10-20得票数 3
1回答
我有一个代码，使玩家在二维移动，没有重力(像艾萨克或世界最难的游戏)。问题在于与地图中的瓷砖(celle)的碰撞：
def collisions(self):
player = self.player.sprite
for cell in self.celle.sprites():
if cell.rect.colliderect(player.rect):
if player.direction.x < 0:
player.rect.left = cell.rect.right
浏览 3提问于2021-11-02得票数 0
回答已采纳
4回答
在JavaScript中，我有两个数组-- arr1，arr2
arr1是一个对象数组，如下所示-
[
{ user: {id: 1, name: "name1", role: "A"} },
{ user: {id: 2, name: "name2", role: "B"} },
{ user: {id: 3, name: "name3", role: "A"} }
]
arr2也是一个对象数组：
[
{ id: 2, username: "brad", .
浏览 4提问于2021-07-05得票数 0
回答已采纳
1回答
我正在努力刮掉的网页
使用以下代码：
scraper.go
package scraper
import (
"fmt"
"strings"
"github.com/gocolly/colly"
"github.com/gocolly/colly/extensions"
)
type Product struct {
name string
fullPrice string
url string
}
func Scraper(url string
浏览 4提问于2022-11-08得票数 1
回答已采纳
1回答
我正在尝试为一个给定的单词抓取相关的单词，我使用BFS从这个给定的单词开始，并在dictionary.com上搜索每个相关的单词
我在没有并发的情况下尝试了这段代码，它工作得很好，但是需要花费很多时间，所以我尝试使用go例程，但是我的代码在第一次迭代后就卡住了。第一个级别的BFS运行良好，但是在第二个级别它挂起了！
package main
import (
"fmt"
"github.com/gocolly/colly"
"sync"
)
var wg sync.WaitGroup
func buildURL(w
浏览 0提问于2019-06-21得票数 0
我正在使用"github.com/gocolly/colly v1.2.0“运行go build来更新我的go.mod文件的库，但我看到所有其他依赖项在末尾都写着"//间接”。如何避免这种情况？这是我的go.mod文件 module prodenv
go 1.13
require (
github.com/PuerkitoBio/goquery v1.5.1 // indirect
github.com/antchfx/htmlquery v1.2.2 // indirect
github.com/antchfx/xmlquery v1.2.3 /
浏览 26提问于2020-04-09得票数 14
回答已采纳
我是Go的新手，我用它和一起使用刮网站，但是noscript标签有一些问题，因为它没有被解析，只是作为字符串返回，所以我想将该字符串转换为colly HtmlElement，以便能够将它作为一个普通标记进行查询。
我怎么能这么做？
我想刮的网站是Chrome
浏览 0提问于2018-09-14得票数 0
2回答
我正在一个网站刮刀工作。我只能定期向JSON文件发送1个JSON数据。我想一个接一个地编写 JSON数据，所以我需要将数百个数据保存在一个JSON文件中。像这样
[
{
"id": 1321931,
"name": "Mike"
},
{
"id": 32139219,
"name": "Melissa"
},
{
"id": 8421921,
"name": "Jordan"
},
{
&
浏览 3提问于2021-07-18得票数 0
回答已采纳
3回答
我试图从一个包含域(未知量)的文本文件中获取输入，然后使用每个域作为参数并获取它们的服务器类型。不出所料，这只返回最后一个域。如何迭代多个返回值？下面是代码。//测试包main
import (
"bufio"
"time"
"os"
"fmt"
"net/http"
//"github.com/gocolly/colly"
)
var Domain string
var Target string
func main() {
Domain
浏览 4提问于2018-11-15得票数 1
我在试着保存格式
在表格单元格中提取<td>单元格的内容。
如果代码中有两行文本(例如，地址)，代码看起来可能是：<td> address line1<br>1 address line2</td>
当colly解压它时，我得到以下信息: address line1address line2
没有空格或换行，因为所有的html都已从文本中删除。
如何解决/修复此问题，以便从<td>接收可读的文本
浏览 1提问于2018-09-07得票数 1
回答已采纳
我如何在HTML.title中获得c.OnResponse --或者是否有更好的选择来填充结构中的url/title/内容？
最后，我需要填充下面的结构，并将其发布到elasticsearch.
type WebPage struct {
Url string `json:"url"`
Title string `json:"title"`
Content string `json:"content"`
}
// Print the response
c.OnResponse(func(r *c
浏览 0提问于2020-05-07得票数 1
回答已采纳
1回答
我使用gocolly从我的网站收集数据，挑战是，当爬行URL时，gocolly太咄咄逼人了。我增加了一个RandomDelay
更新
根据我改变的答案
c.Limit(&colly.LimitRule{
RandomDelay: 10 * time.Second,
})
至
c.Limit(&colly.LimitRule{
RandomDelay: 10 * time.Second,
Parallelism: 2,
DomainGlob: "*mysite*",
})
但当它爬行时，它只需不到几秒
浏览 3提问于2021-02-04得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
