有人知道一种方法(免费或付费工具、软件库等)来抓取HTML和HTTP响应吗？我已经尝试过像Mozenda和Octoparse这样的工具，它们都很有效，但只适用于获取HTML。例如，如果你用chrome打开一个站点，然后打开开发人员工具，在网络选项卡中你可以看到流量和响应，我需要用一个程序来捕获相同的数据。我尝试过复制post请求并使用Postman发送它，但我不知道如何将其自动化(鉴于令牌过期，复制发送的HTTP头将是最困难的部分)
浏览 11提问于2020-11-19得票数 0
回答已采纳
1回答
我已经编写了将信息发布到页面的代码，但是我不知道如何使post成为我放置在页面上的iframe。https://www.mysite.com/dosomething.php"
request.Method = "POST我知道在编写html时，可以在form标记中指定一个目标
<form target="my_iframe" method="pos
浏览 2提问于2009-06-16得票数 0
昨晚我在我的网站上收到了一个异常，是由一个代理的请求引起的:googlebot。
HomeController# (ActionView::MissingTemplate) "Missing template home/index with {:formats=>[:\"\\\"*/*\\\"\"], :locale=>[:en, :en], :handlers=>[:haml, :rjs, :rhtml, :builder, :rxml, :erb]} in view paths \"/disk1/home/slugs/302
浏览 0提问于2010-10-02得票数 5
回答已采纳
我正在尝试从一个url获取一个POST响应，但是我无法获得打印到我的html页面的响应，相反，它只是将我重定向到带有响应的action中的url。有没有办法用html抓取响应？php？我正在使用的html页面的代码<meta http-equiv="content-type" content="text/
浏览 0提问于2010-10-14得票数 0
2回答
我有一个带有按钮的HTML页面，该按钮在单击外部服务的请求时触发。此post请求返回一个HTML页面。 var param = { someParameter: someValue };
.then(function (data) {
浏览 8提问于2016-02-26得票数 1
回答已采纳
3回答
我正在从一个网站抓取数据。为此，我需要发布到此API URL：我该如何为Android App做这件事？下面是我的POST HTML代码
POST /store/connector/3b14652e-4402-b1a8-d9363c8e988e/_l
浏览 0提问于2015-11-05得票数 0
我正在使用BeautifulSoup抓取一些网页内容。import urllib2
soup = BeautifulSoup(urllib2.urlopen('http://www.velocidadcuchara.com/2011/08/helado-platano-light.html').r
浏览 0提问于2011-08-18得票数 2
回答已采纳
我已经为此绞尽脑汁一段时间了，我已经设法使用android sdk，特别是org.apache.http library，向一个基于https的登录表单发送了一个post请求。一切似乎都很好，因为我从服务器得到的响应是200OK。示例代码将非常感谢。
浏览 2提问于2009-06-17得票数 0
2回答
正如在中提到的，我从服务器中抓取了所需的站点并更改了值。
现在，我只需要将修改后的文档发送回服务器并抓取结果页面。有任何想法或解决办法，如何将修改后的文档或其部分发布回网站？
浏览 0提问于2012-01-24得票数 2
回答已采纳
首先，我是一个新手，我想要一个从另一个网页中获取html字符串的代码，并在我自己的网页中使用它，让我用虚拟示例简要解释一下。<body></body><body>
<form id="Form1" action="https://test.com/"
浏览 2提问于2022-08-24得票数 -3
1回答
我正在尝试抓取网页发送POST来填充表单，通常我使用selenium来抓取python的页面，但最近我读到发送POST请求是更好的抓取结果的方法。无论如何，我遵循了一些指令来制作我的代码，但是当我发布我的数据时，我得到了填写了表单的相同页面(帖子没有提交表单)，我做错了什么？同样，同一页在第一个表单之后还有另一个表单要填写，所以如果我实现了填写第一个表单，我真的不知道如何保持该响应以获得最终响应，所以如果有人可以帮助一些想法，我将不胜
浏览 2提问于2017-06-02得票数 1
我使用PHP脚本将POST数据变量发送到URL，然后URL响应一个HTML字符串。当上面的HTML字符串在浏览器上显示时，我如何捕获它的屏幕截图？如果我不需要发送2个POST请求，一个用于HTML内容，一个用于截图，这是最好的解决方案。
更新:添加更多信息。我的网站从其他网站抓取html内容(通过向它发送帖子数据，然后获得它的响应)。它只是一个HTML字符串。此外，我想要获得此响应
浏览 1提问于2014-10-17得票数 1
1回答
我从抓取表格中的内容开始：
data <- data.frame() print(paste("page", i, "of 100")) temp <-
浏览 1提问于2015-09-28得票数 1
1回答
= (HttpWebRequest)WebRequest.Create("Destination URL");<html xmlns="http://www.w3.org/1999/xhtml"> <script type="text/
浏览 15提问于2017-02-17得票数 0
回答已采纳
2回答
目前，我可以运行一个命令，但我不知道如何将结果转换为字符串。现在如果我这么做了它会冻结应用程序，在wireshark中，我可以看到它发送了GET并得到了响应，但不知道为什么它会冻结。password/username
IdHTTP1.Post('http</
浏览 3提问于2014-07-29得票数 2
2回答
我正在尝试编写一个爬虫，当它从响应中抓取项目时，它还将创建响应的修改版本以保存到文件中。例如，我正在尝试修改“src”链接，使其指向本地保存的抓取文件。目前，我正在使用Scrapy的选择器抓取数据，并使用lxml修改响应。('.post'): # For each post
for thumb in post.css('.thumb'): # For each thumbnail
浏览 2提问于2015-07-19得票数 6
我只是想知道如何使用JQuery来实现这一点。我不想报告查看器控制。是否可以将JQuery与SSRS Web Service一起使用，并使用JQuery UI的所有功能，如表格、图表和效果等。
浏览 1提问于2012-06-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
