腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
单独的perl脚本可以运行网站javascript函数吗?
、
、
哇,这很复杂,但我基本上需要通过一个单独的Perl脚本来触发网页中的$.
ajax
函数。 我有一个网页,它的$.
ajax
调用一个Perl文件,该文件
抓取
数据
并将其返回给网页。然后javascript
分析
数据
并创建另一个javascript函数调用,该函数调用
请求
Perl发送带有该
数据
的电子邮件。Perl
抓取
数据
,发送给js,js再次调用Perl通过电子邮件发送
分析
后的
数据
。我被要求编
浏览 0
提问于2014-11-18
得票数 0
2
回答
ajax
加载的爬网内容
、
、
、
现在许多网站都包含一些
ajax
加载的内容(例如,一些视频网站中的评论)。通常我们不能
抓取
这些
数据
,我们得到的只是一些js源代码。有些人告诉我,我可以
抓取
ajax
请求
url,
分析
它的参数,然后再次发送
请求
,以获得
数据
。如果事情不能按照我上面提到的方式工作,谁能告诉我如何提取
ajax
url并以正确的格式发送
请求
?
浏览 2
提问于2012-08-11
得票数 0
2
回答
可爬行的
ajax
页面
、
我读到过Google和Google使用hash后跟一个感叹号来
抓取
ajax
页面的可能性,#!我已经改变了我的网站,我想知道谷歌
分析
。如何跟踪我的访问者
ajax
请求
? 提前谢谢你!
浏览 1
提问于2010-10-27
得票数 0
4
回答
Googlebot什么时候执行javascript?
、
、
、
、
我在多个域上有几个单页面web应用程序,它们严重依赖javascript/
ajax
来获取和显示内容。
浏览 1
提问于2014-03-23
得票数 13
1
回答
无法使用简单Html Dom (PHP)找到并
抓取
某些Div
、
我试着把中间那张桌子刮掉,这是我唯一需要的东西,也是我唯一不能从那里得到的东西。经过几次尝试,我创建了这个小代码,它刮掉了所有的html div,请告诉我我做错了什么,以及你的想法。谢谢!(在底部:此页面中我正在寻找的部分的图片)include_once("simple_html_dom.php"); $ht
浏览 4
提问于2017-06-09
得票数 0
1
回答
使用scrapy从facebook中
抓取
数据
、
、
、
因此,在
抓取
这个url之前,我通过scrapy登录,然后通过这个结果页面登录。但是,即使这个页面的http响应是200,它也不会丢弃任何
数据
。
浏览 3
提问于2013-05-31
得票数 5
3
回答
通过PHP获取DOM的内容
、
我需要通过PHP获得一个网站的内容,然而,只有当JavaScript启用时,内容才可用。我现在使用的变通方法是制作一个applescript在Safari中打开网站,然后选择所有页面内容,将其复制到剪贴板,然后粘贴。
浏览 1
提问于2012-09-24
得票数 0
回答已采纳
1
回答
用python
抓取
javascript驱动的“下一步”按钮的麻烦
、
、
我正在尝试
抓取
一个网站,以学习python和网络
抓取
。特别是,我试图在这个页面上
抓取
足球
数据
: 我的主要问题是如何
抓取
主
数据
表的所有页面,而不仅仅是第一个页面。我正在尝试使用selenium并
分析
当我点击“下一步”按钮时我的浏览器发送的
请求
,但我遇到了一些问题。感谢您的关注。
浏览 2
提问于2018-08-30
得票数 1
1
回答
无法扩展更多...python
、
、
我需要
抓取
全部内容。
浏览 9
提问于2018-02-06
得票数 0
回答已采纳
3
回答
PHP cURL加载延迟
、
我的问题是,我需要使用基于
Ajax
的搜索来加载页面,以获得搜索结果。我需要在curl_exec()和值返回之间组织一个延迟。换句话说,我需要执行不少于5秒的curl_exec()。会非常感激任何暗示或线索 UPD --我不知道怎么做,但是在这个页面上,,但是它需要一个帐户来访问curl,它确实捕获了
ajax
所做的搜索。但是,如果页面的加载时间太长,
Ajax
将返回"action was too fast"错误。所以我只需要延长卷发处决。抱歉,如果不清楚。
浏览 1
提问于2011-01-06
得票数 1
2
回答
如何在PHP中
抓取
ajax
调用
、
请让我知道有没有可能在用PHP加载
ajax
后删除一些信息?我只对静态页面使用了SIMPLE_HTML_DOM。 谢谢你的建议。
浏览 2
提问于2015-09-17
得票数 0
1
回答
抓取
AJAX
请求
、
、
我有一个带有下拉列表的ASP.NET MVC网站,当用户在第一个下拉列表中选择一个选项时,使用
AJAX
调用填充其他下拉列表。基于日志,爬虫试图像正常gets一样访问这些
AJAX
方法,因此我的应用程序会记录错误。我将这些
AJAX
方法设置为不可爬行,这意味着当
请求
不是
AJAX
调用时,我将返回404。这是最好的方法吗?每次用户填写表单时,我都会执行POST
AJAX
请求
并保存输入
数据
。我该如何处理这种情况?
浏览 4
提问于2014-11-03
得票数 0
2
回答
Symfony:调试
Ajax
请求
、
、
社区,
浏览 7
提问于2017-02-22
得票数 2
1
回答
下载带有VBA的网页的HTML内容会激发Google
分析
事件吗?
、
、
、
我想知道,如果我使用VBA
抓取
脚本从网页上
抓取
数据
,Google Analytics事件是否会被触发?我不是使用浏览器模拟,而是使用带有MSXML2.XMLhttp
请求
的GET对象。Set HTMLdoc = CreateObject("HTMLFile")这会让谷歌
分析
数据
发回服务器吗
浏览 1
提问于2016-05-01
得票数 0
回答已采纳
2
回答
Scrapy:从get
请求
中
抓取
数据
、
、
、
、
我正在尝试用scrapy从中
抓取
数据
。但是当我在shell中尝试view( response )时,一些响应丢失了。当我打开chrome dev工具时,我
分析
了网络,并意识到我正在搜索的
数据
来自get
请求
,其中对它的响应是一个包含我需要的
数据
的json文件。但是
请求
失败的原因是 有没有办法在scrapy中手动执行get
请求
来获取json文件?
浏览 38
提问于2019-08-10
得票数 0
回答已采纳
1
回答
从一个客户端到PHP的多个
AJAX
请求
、
、
、
我有一个应用程序,通过jQuery.post向PHP发送多个
请求
,每个
请求
都有不同的params。PHP是来自PHP的
数据
请求
,需要1-3秒才能完成。客户端的
AJAX
请求
将迅速发送出去,然后在完成或出错后立即再次
请求
。 开始发生的情况是,PHP首先执行最老的
请求
,然后再转到新的
请求
。所以
请求
1是在1-3秒内完成的,但是
请求
25是12到20秒以上。编辑:不能同时发送这么多
请求
。每个<
浏览 6
提问于2012-12-23
得票数 0
1
回答
跨站点
Ajax
调用
、
、
、
、
因此,我想进行
ajax
调用以获取所需的信息,但根据我尝试的内容,有几个问题: 我个人能够直接正确地打开网站(就像www.onlinegamesite.com/api/?编辑:我当前的代码是这样的:(尝试使用J
浏览 2
提问于2012-10-14
得票数 1
回答已采纳
1
回答
使用
AJAX
请求
抓取
页面
、
、
、
我正在使用带有jsDOM的Node.js来
抓取
网页并在其中执行JavaScript。但是,如果页面包含
AJAX
请求
,则不会执行这些
请求
。 是否有在
抓取
的页面中执行
AJAX
调用的选项?
浏览 1
提问于2011-05-27
得票数 4
回答已采纳
2
回答
使用Scrapy将来自多个
AJAX
请求
的
数据
组合到单个项中
用来自多个
AJAX
请求
的内容
抓取
页面的最佳方法是什么?看起来我有以下选项(考虑到
AJAX
URL已经为人所知): 并发爬行
AJAX
,并将每个部分作为一个单独的项输出,其中包含一个共享密钥(例如源URL是否有一种方法可以在结束时获得单个项,但允许一些
AJAX
请求
失败w/o,从而损害其余的
数据
?
浏览 1
提问于2013-12-19
得票数 1
3
回答
使用动态生成的内容爬行页面
、
我一直在使用java.net crawler进行定制的爬虫。问题出在动态生成的内容上,比如博客上的评论。考虑下面的页面。如果爬行页面并获取源代码,则无法查看页面的全部内容。我需要内容的原因是因为我正在执行一些关键字密度计算。因此,我需要我的应用程序能够准确地看到浏览器将看到的内容。有什么建议吗?谢谢
浏览 2
提问于2010-09-13
得票数 1
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券