腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用Selenium检索反向链接、HTTP代码和IP地址
、
、
我正在使用硒来‘废纸’
网页
寻找反向链接到我的网站。我一直在使用普通的curl来
抓取
,但是curl在JavaScript上玩得并不好(实际上它们根本不能玩)。我的问题是,我需要来自我
抓取
的页面的HTTP头响应(200,301,404,503等)代码。理想情况下,我希望获得的IP地址的
域名
,我正在
抓取
以及。我在下面的链接中使用
php
的facebook
PHP
webdriver,但我找不到如何检索任何标题信息。 我的问题是,有没有办法让Selenium返回头信息和
浏览 0
提问于2013-04-06
得票数 1
回答已采纳
1
回答
获取HTML格式的数据模式
、
、
、
我的目标是写几行R代码,让我可以从 我决定使用爬虫程序包(),但由于没有使用HTML语言的经验,我不知道如何设置ExtractXpathPat选项来获取数据。 Rcrawler(Website = "https://www.skyscanner.it/trasporti/voli/mila/fran/180201?adults=1&children=0&adultsv2=1&childrenv2=&infants=0&cabinclass=economy&
浏览 0
提问于2017-12-16
得票数 0
3
回答
IDN对web开发人员的影响?
因此,BBC刚刚发布了ICANN将批准在
域名
()中使用非拉丁字符的消息。干杯
浏览 0
提问于2009-10-30
得票数 2
回答已采纳
1
回答
hunter.io是如何工作的(从
域名
URL中查找所有电子邮件地址)?
我正在开发一个工具来查找来自
域名
的所有电子邮件地址,就像nov.io/hunter.io所做的那样。你知不知道如何找到所有的电子邮件地址,从
域名
,姓氏,社会档案网址,和邮件的来源(参考图片)?我在考虑使用anyleads,但它似乎不能在软件中实现。
浏览 5
提问于2021-01-14
得票数 2
1
回答
如何为apache nutch设置Regex网站URL?
、
、
我正在尝试设置apache nutch只
抓取
指定
域名
的网站使用正则表达式。我没有太多使用Regex的经验,而且我在如何在Regex中做我的
域名
时遇到了麻烦。
域名
是https://www.health.gov.au/,我希望任何
网页
与这个
域名
后面的任何其他要被接受的正则表达式。
浏览 16
提问于2020-02-26
得票数 0
回答已采纳
3
回答
RegEx :从URL中
抓取
子域(如果有)后的域
这就是我的问题:干杯!
浏览 6
提问于2011-04-01
得票数 2
回答已采纳
2
回答
不使用服务器的React web
抓取
、
、
、
在React中有一种方法可以在不使用服务器的情况下进行web
抓取
。我正在尝试使用casperjs,但当我设置它时,它似乎给我的react带来了问题,它找不到模块。
浏览 3
提问于2019-05-30
得票数 1
3
回答
微信公众号无法添加
域名
:无法访问x.com指向的web服务器(或虚拟主机)的目录,请检查网络设置?
、
、
、
、
在微信公众号后台“公众号设置”-“功能设置”里添加“业务
域名
”、“JS接口安全
域名
”和“
网页
授权
域名
”:,再三确认按照以下要求设置,并且电脑可以访问到这个txt文件: 我这个
域名<
浏览 4890
提问于2019-10-16
2
回答
如何使用Python查找(并
抓取
)给定域上的所有
网页
?
、
、
我如何
抓取
一个
域名
来找到所有的
网页
和内容?
浏览 0
提问于2013-06-20
得票数 4
回答已采纳
2
回答
如何搭建
域名
可用性检查器?
、
、
、
我想建立一个
域名
可用性检查器,但我找不到适当的信息。我只想检查
域名
是否仍然可用。我已经在我的网站(https://prnt.sc/s2p0qr)上制作了一个表格,并用jQuery收集了要查找的
域名
。从我找到的小教程中,我知道我现在必须向一些DNS查找提供商发送带有
域名
的GET请求?(如果我错了,请纠正我) 我在哪里可以找到这些提供者?以及发送哪个url?我如何避开这些信息?
浏览 26
提问于2020-04-20
得票数 1
2
回答
如何通过输入
域名
递归
抓取
所有站点链接?
如何在
PHP
中通过输入
域名
递归
抓取
所有站点链接?请给我一些想法。
浏览 16
提问于2014-11-12
得票数 0
1
回答
基于IP地址与主机名和
域名
的爬行延迟
、
、
例如,在爬行堆栈溢出的情况下,根据主机名/
域名
延迟是有意义的(例如每10分钟向stackoverflow.com发送一个请求)。在*.blogspot.com的情况下,延迟基于
域名
的请求才是有意义的,因为有数百万主机名以.blogspot.com结尾,而基于此的延迟将使服务器充斥数百万个请求。当
抓取
广泛的网站(
网页
规模,爬行),什么是最好的做法,在强加之间的请求之间的延迟?我应该根据IP地址、主机名或
域名
延迟请求吗?
浏览 2
提问于2016-02-10
得票数 1
回答已采纳
4
回答
PHP
脚本执行时间可能是2周吗?
我已经创建了一个
抓取
1mio的
PHP
脚本。域,并分析内容。我在本地测试了它,每1000个
域名
抓取
一次需要20分钟。 我可以用它设置一个服务器,让它运行两周吗?或者
PHP
文件在特定的执行时间后崩溃是有原因的吗?
浏览 0
提问于2017-11-22
得票数 0
2
回答
用
PHP
抓取
网页
、
、
、
、
我有一个
网页
,我想要提取所有跨度和锚标签值从一个表中的ticker。像这个LPCL,11.06等,我尝试了curl和
php
dom文档。它不起作用。
浏览 1
提问于2014-01-23
得票数 0
2
回答
谷歌搜索是用日语而不是英语显示我的网站。
、
、
、
当我的网站在谷歌搜索时,它会用日语显示网站(见下面截图中的第二个链接),然而整个网站都是英文的。📷
浏览 0
提问于2019-02-07
得票数 2
1
回答
我是否可以使用window.postMessage方法从iframe中的
网页
到包含该iframe的UIWebView进行通信?
、
、
、
、
我经常使用window.postMessage和"message“事件侦听器在父
网页
和它的子IFRAME元素中的
网页
之间进行跨域通信。我想知道是否可以在其子IFRAME元素中使用UIWebView和
网页
。
浏览 6
提问于2012-07-28
得票数 2
回答已采纳
1
回答
如何将DW做好的
网页
发布到网上,让大家都可以访问?
已经买了
域名
和云服务器,还差什么,不知道怎么搞,新手。。。
浏览 339
提问于2018-07-26
1
回答
在一个免费的
域名
上传我的
php
页面?
、
我已经在
php
中创建了一些样本
网页
,我需要知道如何在一个免费的
域名
服务器上传这些
网页
。 我喜欢在实时服务器上使用我的页面。我没有任何
域名
。有没有免费的服务来展示我的页面?
浏览 4
提问于2010-12-30
得票数 1
回答已采纳
2
回答
JavaScript书签小程序打开新窗口并传递原始页面参数
、
我有一个完美的工作书签小程序来
抓取
当前网站的文档标题和网址,并把它放入新加载的
网页
网址(代码如下)…现在我想知道如何让这个
域名
.com/bookmarklet?…在一个新的小窗口中打开(600x600px),这样我仍然可以看到我在后台
抓取
标题和url的旧网站,并有新的页面(domain.com/bookmarklet?…)在前台。
浏览 1
提问于2011-09-22
得票数 0
回答已采纳
3
回答
如何让网络爬虫在后台
抓取
网页
?
、
我目前正在开发一个网络爬虫在
PHP
中,它仍然是一个简单的,但我想知道的是,我怎样才能使我的爬虫在后台爬行页面,而不使用我的带宽,我必须使用一些cron作业,我想它自动存储在数据库中的数据。
php
ini_set('max_execution_time*>(.*)<\/a>"
浏览 2
提问于2015-08-06
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
网页视频抓取插件-免费网页视频抓取插件
如何抓取网页中的表格
如何用java实现抓取网页图片
理解网页数据抓取的原理
网页抓取常见的问题有哪些?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券