我用golang写了一个程序来解析一些网站。它正常工作了。然后我篡改了这个程序并试图运行它。现在,它将显示以下错误:
/ bin / sh:./爬虫:找不到
这是我的Dockerfile
FROM golang:1.16-buster AS build
WORKDIR /github.com/Hudayberdyyev/crawler
COPY . .
RUN go mod download
RUN GOOS=linux go build -o crawler cmd/main.go
FROM alpine:latest
WORKDIR /
COPY --from=buil
所以我有一个爬虫,它使用这样的东西:
#if ".mp3" in baseUrl[0] or ".pdf" in baseUrl[0]:
if baseUrl[0][-4] == "." and ".htm" not in baseUrl[0]:
raise Exception
html = requests.get(baseUrl[0], timeout=3).text
这个效果很好。如果像.mp4或.m4a这样的文件进入爬行器而不是HTML页面,那么脚本就会挂起,而在linux中,当我试图运行脚本时,脚本就会打印出来:
今天早上,我收到了大量javascript错误:
ReferenceError: _isMatchingDomain is not defined at parseCookie
at HTMLDocument.set [as cookie]
变量_isMatchingDomain不在我们的网站上,仅来自某些浏览器:
Mozilla/5.0 (X11;Linux x86_64)
AppleWebKit/537.36 (KHTML,类似于壁虎)
Chrome/61.0.3163.100
Safari/537.36
以下是评论意见中的补充资料:
触发这一错
我想找到正确的方法来为我的爬虫设置接受语言头吗?我读到了其他相关的答案,如和,但它们对我不起作用(我得到了这个错误:“方法未定义为类型连接”,这里是代码的一部分:
String baseUrl = "http://www.imdb.com/search/title?at=0&count=250";
org.jsoup.Connection con = Jsoup.connect(baseUrl).userAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) C