有一个网页是用JS：生成的
我想抓取FTP栏中的链接。它们都是JS生成的。
默认情况下，scrapy只获取超文本标记语言，而不执行JS。我怎样才能改变它？
浏览 14提问于2018-01-16得票数 0
回答已采纳
我正在构建一个iOS共享扩展。我需要从网页中抓取一些数据，所以我使用了一个JavaScript文件来抓取这些数据，并将其发送回应用程序以在扩展中使用。
我注意到了以下几点。当我用我的JavaScript文件设置NSExtensionJavaScriptPreprocessingFile键时，SLComposeServiceViewController显示得很完美，但没有图像！
如下所示：
如果我删除NSExtensionJavaScriptPreprocessingFile，我的SLComposeServiceViewController显示如下：
但我需要访问网页中的一些
浏览 0提问于2016-02-18得票数 7
我有一些编码经验，但对Javascript和web开发来说几乎是全新的。
我试图构建一个网页，其主要功能包括从国家气象局(如)抓取RSS提要，然后解析输出以显示各种参数(温度、湿度等)。作为文本。
我已经研究过了，似乎Node.js有几种不同的方法来抓取外部网页，并将源代码作为一个对象返回。然而，据我所知，Node.js是为服务器端应用程序设计的，而我想在人们可以访问的实际网站上使用它。我被困在以下几个方面：
如何将Node.js功能集成到网页的代码中？Node.js脚本和其他依赖项是通过浏览器中的浏览器自动“工作”来打包的，还是还有更多？是否有一个自我包含的Javascript编辑器，允许我
浏览 3提问于2020-07-26得票数 1
回答已采纳
1回答
如何读取网页中变量的值？
、、、
我必须网页抓取一个页面，但这个页面是动态加载的一些值。因此，当我使用源代码时，有js变量，而不是它们的值。如果我下载这个页面，我会看到他们的价值。有没有办法在Java程序中读取这些值或下载所有文件(包括脚本)？
浏览 0提问于2020-02-18得票数 0
我试图与FireShot API集成给一个网址，抓取另一个网页的网页到一个div，然后采取截图它。
在获得HTML之后，我需要做一些事情
抓取<link> & <script>从<head> 抓取<body>到<div> <code>F 210</code>
但是第一，当我试图做一个
$.get("http://google.com", function(data) { ... });
我得到了200只红色的萤火虫。我认为这与网站不允许你用JS抓取他们的页面有关？那我就只能打开一扇窗户了
浏览 9提问于2011-03-23得票数 0
对于Google Chrome扩展，我编写的操纵扩展popup.html的DOM的Javascript似乎对弹出窗口的DOM没有任何影响。我可以通过使用content_script.js在浏览器中很好地操作当前网页的DOM，并且我对从网页中抓取数据并将其输出到扩展弹出窗口中很感兴趣，如下所示(下图: popup.html)：
<div id="extensionpopupcontent">Links</div>
<a onclick="click()">Some Link</a>
<script type=
浏览 3提问于2010-05-27得票数 4
2回答
他们是否有办法在没有任何浏览器的情况下，在抓取html之后执行网页javascript的加载事件。即我需要抓取网页内容通过javascript呈现例如bbc新闻网页的视频在页面加载后通过javacscript呈现，我对抓取视频链接和镜头描述感兴趣。
浏览 0提问于2012-06-27得票数 1
1回答
我对web抓取非常陌生，我正在做一个项目，在这个项目中，我需要从一个加载并需要滚动的网格中抓取数据，以便获取所有的值。
网页是()。
我需要网格中的所有数据-(包含NAME , CATEGORY, SUBCATEGORY, RISK, TECHNOLOGY的数据)。
有人能引导我解决这个问题吗？我已经研究并发现，带有js或幻影的selenium可能是一个很好的解决方案，但不太确定。编程部分我将使用Python。
浏览 0提问于2018-08-06得票数 1
回答已采纳
1回答
我需要抓取一个网站，然而，它的内容是动态的。Python中有没有可以调用js函数的包？例如，假设我在JS中有一个链接和JS函数1、2和3，我应该在该网页上调用，并且在所有JS函数调用之后我需要最终的网页。
浏览 16提问于2019-02-12得票数 0
1回答
我想做一个应用程序，该应用程序将有一个网页的内容，由web API提供，并由knockoutjs获取。我应该如何处理我想要抓取的页面，有没有一个库可以在爬虫进入网站并正确集成到sails.js中时生成静态html页面？
如果我可以把!#从url中去掉，那就太好了，但这不是必须的
浏览 2提问于2015-06-16得票数 3
我试图用Node.js抓取网页的内容，并将其与作为文件存储的同一页的副本进行比较，如下所示：
var fs = require("fs");
var request = require("request");
var archive = ["./archive.html", "http://praguerace.com/comic/archive"];
request(archive[1], //request Prague Race's archive
function (error, response, bo
浏览 1提问于2016-11-18得票数 1
回答已采纳
我正在尝试使用selenium从网页中抓取一些数据。我已经成功地让selenium在树莓派上无头工作，我可以连接到我试图抓取的网页，返回页面的标题，并返回我连接到的URL。
我一直在看教程中关于如何抓取数据的示例，它们都是这样的：
titles_element = browser.find_elements_by_xpath(“//a[@class=’text-bold’]”)
然而，我试图抓取的网页中的每一块数据都有相同的类名。举一个我试图抓取的第一位数据的例子，我试图得到wins的值是4：
第二个示例是im尝试抓取的数据，在本例中为kill，值为559：
我试图抓取的两个数字共享相同的
浏览 5提问于2021-03-16得票数 0
我想使用js抓取一个网站，但网站使用ajax来分页内容。最初，您只能爬行第一页内容。你必须点击一个按钮(下一页)，网站使用ajax来更新网页内容。
问题:我可以使用js找到按钮，然后单击它。但是我怎么知道什么时候页面有reloaded.and，我可以得到更新的内容。
谢谢。
浏览 0提问于2013-05-31得票数 0
回答已采纳
1回答
使用AJAX请求抓取页面
、、、
我正在使用带有jsDOM的Node.js来抓取网页并在其中执行JavaScript。但是，如果页面包含AJAX请求，则不会执行这些请求。
是否有在抓取的页面中执行AJAX调用的选项？
浏览 1提问于2011-05-27得票数 4
回答已采纳
1回答
有时，当使用多个并发连接和抓取我的PHP脚本中的cURL时，会返回不完整的网页。curl_getinfo()中有没有一些值可以让我知道一个网页是100%被抓取还是只有90%被抓取？
返回页面的内容大小标题是返回内容的实际大小，还是整个页面的大小？如果是这样，我可以根据响应的实际大小检查content-size。
谢谢!
浏览 0提问于2013-04-12得票数 0
回答已采纳
我基本上是在写一个小的网页抓取代码。最初我使用NodeJS+Request+Cheerio来抓取网站，但后来我意识到Cheerio只适用于静态网页，而不适用于那些使用JS加载DOM对象的网页。
所以我选择了ScraperJS，因为它有Static_Dynamic ContentScraper。我已经设置了这里指定的所有依赖项：
但我的代码仍然不能工作，这是他们的github存储库上给出的示例代码。平台: windows 7，通过CMD : node file_name.js运行
代码：
var scraperjs = require('scraperjs');
cons
浏览 1提问于2017-08-08得票数 0
嗨，我正在用Chrome中的bookmarklet开发爬行程序。
我想定期抓取网页和解析html页面。网页可以每隔5秒重新加载一次，但不会执行页面加载警报。
以下是我的代码
window.addEventListener('DOMContentLoaded', function()
{
console.log("page loaded");
});
function happycode(){
alert('page loaded');
}
setInterval(function(){
console.log(&
浏览 0提问于2020-03-07得票数 0
2回答
我想知道如何让python web抓取所有的结果到excel中。这并不是我不知道如何抓取网页，而是我不知道如何抓取excel。
浏览 2提问于2012-04-21得票数 2
我有大量的文本文件，其中我想抓取文本并显示在一个网页上。另外，我希望将这些文件的文件名添加到每个文本的顶部。
例如：
文件名
文件名中的文本
文件名
文件名中的文本
..。
你知道我怎么用JavaScript做这件事吗？
如果不是js，我也很乐意使用php。
谢谢:)
浏览 7提问于2011-05-19得票数 0
3回答
HTML页面抓取
、、、
抓取具有AJAX/动态数据加载功能的网页的最佳方式是什么？
例如:抓取一个网页，该网页加载了20张图片，但当用户向下滚动页面时，它会加载更多的图片(有点像Facebook)。在这种情况下，如何抓取所有图像，而不仅仅是前20个图像？
浏览 0提问于2012-12-06得票数 3
我正在尝试制作一个自动在网页上玩游戏的机器人。到目前为止，我可以导航到网站，登录，并加载游戏页面，但我被困在这里。
我想在网页级别注入一个脚本，它使用jQuery不断地抓取网页并确定游戏所处的状态。当某个事件发生时，我希望脚本触发一个自定义事件(？)这将通知Node.js./Puppeteer级别的函数执行。我的问题是，当页面中的自定义事件被触发时，我不知道如何让Puppeteer做出反应。
例如，假设我们有一个网页级别的函数，它在1秒的超时时间内抓取X的网页。当找到X时，我想从网页上抓取Y数据并将其发送到节点级别。当在节点级别接收到Y时，它会将鼠标移动到Y位置，或者对Y执行在浏览器级别无法完
浏览 14提问于2017-12-03得票数 0
我试图抓取一个多页的网站，分页是用javascript完成的。该网页如下：
网页只是一个例子。在网页上使用相同的分页来显示所有提出立法的法案，列表，这些法案最终将被刮掉。
使用Chrome中的开发人员工具并检查网络活动，我无法找到点击页码时发送的参数。用于分页的javascript似乎是这样的(cbpHorizontalMenu.js)：
我正在尝试用R进行抓取，但我对其他编程语言或程序(在Chrome、Python、Puppeteer、Phantomjs中运行的脚本)持开放态度。
浏览 1提问于2020-06-04得票数 0
1回答
我正在做一个node.js项目，需要从页面中抓取schema.org内容。这些页面将schema.org信息作为ldJSON数据包含在脚本标记中：
<script type=application/ld+json>
我试着在网上搜索，但只找到了使用python解决方案的页面。我发现了一些网页，它们建议简单地使用JSON.parse()来解析它。但是，在这样做之前，我需要得到脚本标记的内容。如何使用node.js获取此脚本标记的内容？在这种情况下，JSON.parse()通常使用什么呢？
浏览 5提问于2020-12-23得票数 0
回答已采纳
我见过很多关于用Jquery + node.js + YQL抓取html的问题。它没有提到从网页中获取css和javascript。
有没有办法在不使用服务器端技术的情况下获得外部网站的html、css和javascript？
*我需要这在代码中发生，这样我就可以在webapp应用程序中使用结果。
浏览 1提问于2013-02-12得票数 1
我正在尝试编写自己的Nutch插件来抓取网页。问题是，我需要识别是否有一些特殊的标签，例如在网页上。在官方文档中有一些说明，使用Document.getElementsByTagName("foo")可以做到这一点，但这对我不起作用。你有什么想法吗？
我的第二个问题是，如果我识别了上面的标签，我想从这个网页上获得一些其他标签，其中标签被识别…有没有办法存储某个时刻被抓取的网页的完整源代码？
谢谢，简。
浏览 2提问于2013-03-30得票数 1
回答已采纳
我的应用程序需要安装nightmare.js，其中包括电子浏览器的网页抓取。我遵循了这篇文章，但没有结果。那么，我如何安装带有选举人的Nightmare.js呢？
浏览 1提问于2018-02-28得票数 1
回答已采纳
1回答
在MongoDB中保留文本格式
、、、、
我正在用puppeteer进行网页抓取，但我得到的description有不同的文本格式，如h1、项目符号等。 我使用$("#JobDescriptionContainer").html();抓取文本，然后将其保存在MongoDB上，但当我将其放到我的JS/React应用程序中时，文本没有格式化(所有内容都在一个普通字符串中)。 如何在我的网站上以原始格式(如我抓取的网站上所示)显示抓取的文本？ 我想： ? 但我有： ?
浏览 20提问于2021-06-25得票数 0
回答已采纳
有没有一种方法可以在不含selenium的情况下，用python或lxml来抓取JS渲染的网页呢？ 谢谢
浏览 30提问于2020-09-29得票数 3
哇，这很复杂，但我基本上需要通过一个单独的Perl脚本来触发网页中的$.ajax函数。
我有一个网页，它的$.ajax调用一个Perl文件，该文件抓取数据并将其返回给网页。然后javascript分析数据并创建另一个javascript函数调用，该函数调用请求Perl发送带有该数据的电子邮件。Perl抓取数据，发送给js，js再次调用Perl通过电子邮件发送分析后的数据。
我被要求编写一个Perl脚本来单独发送电子邮件，但是我迫切需要使用现有的代码；那么，我的Perl脚本是否可以调用那个特定的$.ajax来获取数据，分析它，然后再次将其发送给Perl以发送电子邮件？
有什么想法吗？
浏览 0提问于2014-11-18得票数 0
1回答
如何从ajax类型的网页中抓取网页源代码: curl似乎不能获得ajax生成的源代码。
如果重复，很抱歉，但是正在寻找抛出的问题没有找到答案。
浏览 0提问于2012-03-30得票数 1
2回答
我目前正在为一家公司开发API。具体地说，这是我的问题。他们在网站管理员更新的网页上有JavaScript阵列。我必须将这些数组放入一个简单的JS脚本或PHP文件中，并获取这些数组的内容，然后根据API的规范进行排列，并将其输出为JSON。
如何在PHP或jQuery/JS中从远程页面拉入JavaScript变量，并使其可用于其他应用程序？
不，我没有访问公司网站的权限。为了这篇文章，我不得不从页面抓取工作。
谢谢!
浏览 2提问于2013-05-29得票数 1
回答已采纳
1回答
抓取R中的iframe数据
、、、、
我正在尝试使用r抓取网页，但问题是抓取的html只包含iframe标签链接()。有没有办法使用任何包从r中的iframe标签获取数据(最好是revst或RSelenium？
我要抓取上述链接(id=pagebody)中的所有(150)个渠道合作伙伴名称
谢谢
浏览 0提问于2016-06-28得票数 0
2回答
我想尝试一些基本的网页抓取，但遇到了一个问题，因为我习惯了简单的td标签，在这种情况下，我有一个网页，它有以下前标签和所有的文本，这意味着它是有点棘手的抓取它。
<pre style="word-wrap: break-word; white-space: pre-wrap;">
11111111
11111112
11111113
11111114
11111115
</pre>
对如何抓取每一行有什么建议吗？
谢谢
浏览 0提问于2019-01-07得票数 3
1回答
我正在使用烧瓶和抓取刮从网站的结果。在这里，烧瓶网页是能够获取输入URL被刮，然后开始爬行。在此之前，一切都很好。
现在，我想让这个Flask网页以HTML标签(它包含一些要被抓取的项目的信息)作为输入，并且基于输入标签的结果应该被抓取。
简单地说，用户可以决定哪些项目应该报废，即项目应该被选择dynamically.Provide我有一些想法，我如何传递这些标签来设置在项目类别中要刮的项目？
浏览 1提问于2015-08-18得票数 0
回答已采纳
1回答
我正在为一个特定的网页做网页抓取，我注意到我的代码只抓取了只显示第一个滚动的部分。当进一步向下滚动时，页面会自动显示更多信息。下面是似乎控制这种算法的代码。
<div class="view-pagination text-right">
<ul class="js-pager__items pager" data-drupal-views-infinite-scroll-pager="automatic">
::before
<li class="pager__item"
浏览 1提问于2019-10-31得票数 0
1回答
我对node.js和Javascript有点陌生，所以如果这个问题措辞不当，请原谅我。
我正在使用cheeriojs从一个站点抓取数据。我正在运行js文件，它在命令行中抓取数据，并输出我想要的数据，但我希望能够在网页上访问这些数据，在那里我可以将其放入表中。(或者我想要的任何事情)。我到底该怎么做？
谢谢
浏览 1提问于2016-07-29得票数 1
回答已采纳
1回答
我正在尝试从网页中抓取java脚本对象。我按照建议尝试了JIRA API，但是我没有得到活动日志。我找到一个网站，解释如何抓取java脚本对象。例如，请参见以下内容 https://datascienceplus.com/scraping-javascript-rendered-web-content-using-r/ 我遵循了这个示例，但是我发现很难理解我需要发送什么作为xpath信息才能列出活动日志。我正在尝试抓取网页底部所有选项卡容器下的活动日志。 library(rvest)
library(V8)
#URL with js-rendered content to be scrape
浏览 14提问于2019-10-02得票数 2
回答已采纳
是一个非常方便的工具，用来查看杂乱无章的报纸、杂志和博客页面。它通过使用一些启发式方法并找到网页的相关主文本来实现这一点。它的源代码也可在上获得。
我的一些同事提请我注意这一点，因为我正在与jQuery斗争，以抓取“主文本”的any，报纸，日志，日志，博客，等网站。我当前的启发式(以及在jQuery中的实现)使用了类似的东西(这是在Firefox包中完成的)：
$(doc).find("div > p").each(function (index) {
var textStr = $(this).text();
/*
We need the piec
浏览 4提问于2009-12-22得票数 2
我的烧瓶应用程序进行了一些网络抓取(使用请求库)，然后在html模板(info.html)上显示结果。
烧瓶应用程序可以工作，但它只做一次网络抓取(当烧瓶应用程序启动)，这意味着如果我刷新网页后，它仍然显示相同的旧的网络抓取结果与第一次。
，我希望网页每次在浏览器中重新加载页面时，都会刷新网页抓取的结果。现在，结果不会刷新，除非我杀死烧瓶进程并再次运行它-这对烧瓶正常吗，如果是，我如何让应用程序再次运行刮擦，每次我重新加载标签？
我用的是服务员，基本上代码看起来是这样的：
from waitress import serve
from flask import Flask, render_te
浏览 0提问于2019-08-30得票数 2
1回答
我正在使用PhantomJS从网页上抓取数据。PhantomJS不会从evaluate方法返回任何内容。脚本只运行几秒钟，然后退出。
我已经检查过PhantomJS是否连接到该页面--确实如此。PhantomJS还能够抓取页面标题。我已经仔细检查了我正在寻找的类，是的--我拼写正确。
var page = require('webpage').create();
page.open('http://www.maccosmetics.com/product/13854/36182/Products/Makeup/Lips/Lipstick/Giambattista-Va
浏览 0提问于2015-08-17得票数 0
1回答
如何在JS/jQuery中为新打开的窗口弹出“另存为”对话框。基本上，我是从网页上抓取一些数据。因此，我将通过以下方式打开一个新窗口：
dataWindow = window.open('blank','dataWindow');
然后我将输出写入空白窗口，但我想自动弹出“另存为”对话框，将窗口内容保存到一个文件(text/csv)。我该怎么做呢。我试过了：
dataWindow.document.execCommand("saveAs",true,".txt");
但它似乎什么也做不了。
浏览 20提问于2009-12-16得票数 6
1回答
我想用HTML DOM pharser从一个页面抓取链接到另一个页面。
另一个网页的代码如下：
$('#vidabc-fast-watch-button').click(function() {
$('#fast-watch-frame').attr('src','http://vidabc.com/embed-8fyiakzp0ob8.html');
});
$('#kingvid-fast-watch-button').click(function() {
$
浏览 13提问于2017-03-10得票数 0
1回答
YQl有没有一种好的方法来抓取网页，同时也可以通过该网页的链接来获取更多的详细信息？
例如，在博客中，索引页面显示每个新闻条目的标题，但您需要单击该标题链接来获取新闻故事和相关图片等。我需要从每个新闻条目页面抓取数据，并在索引页面上处理分页结果。
如果YQL能够做到这一点，有人能提供一些例子吗？如果不是，有没有人能推荐一个好的替代方案？
浏览 0提问于2013-03-14得票数 0
我正在尝试从网页上抓取内容。目前我被困在一个我想要抓取或下载图表的地方。该图表是一个SWF对象。我需要以编程方式下载SWF文件。
浏览 0提问于2011-11-05得票数 0
回答已采纳
我想找到一种基于node.js的网页抓取技术，以便获得所有CSS属性，这些属性应用于网页的每个元素，就像firebug一样。
我试图通过使用getMatchedCSSRules()来使用jsdom，但它似乎不能正常工作。我认为这是因为我通过对URL (即)执行get请求得到的HTML，它不会像在web浏览器中那样被呈现。
有人知道如何在应用程序的node.js后端部分这样做吗？
浏览 1提问于2017-06-20得票数 1
回答已采纳
如何将一个10页的网站保存在一起，使其离线查看(但是CSS和JS已经到位)？
我试图通过Firefox保存一个网页，以便从浏览器中脱机查看：
File > Save page as > Webpage (complete), HTML.
网页保存在一个包含HTML、CSS和JS文件的文件夹中，但它看起来很混乱，而不是在线出现。
因特网档案回送机(IAWM)可以一次将一个页面保存到归档文件中，但我想将所有文件保存在一起。
我可以使用火狐屏幕抓取来制作网站上所有页面的截图，但这并不是在保存整个页面，而且也是重复的(AFAIR)。
我还剩下什么，我还有没有办法把一个30页的网站放在一个离
浏览 0提问于2017-11-29得票数 -2
回答已采纳
2回答
我是，用傀儡js抓取的网页。我正在写下面的一行来取卖家的名字。在某些页面上，它有一个卖方名称，而在一些页面上，它没有任何卖方名称。
let seller = document.querySelector(".seller-name").textContent;
当一个页面有一个卖家的名字时，它会给我这个文本。但是，当它没有任何卖家的名字，它会给我以下错误。
Fatal Error: Evaluation failed: TypeError: Cannot read property 'textContent' of null
有人能帮我解决这个问题吗？
浏览 5提问于2019-11-25得票数 0
回答已采纳
我想抓取网页的特定部分的屏幕截图在点击按钮使用核心php或JS。我使用imagegrabscreen()保存屏幕截图，但我不想保存整个屏幕，因为它包含任务栏和窗口的标题栏。
浏览 4提问于2013-11-09得票数 0
我正在构建一个工具来抓取页面并将其html存储在本地。
还可以使用iframe在网页上加载该HTML。所以我在抓取的页面上有解除绑定和绑定事件。
我正在使用PhantomJS来获取网页数据。
通过JavaScript呈现数据的网页不适合爬行。PhantomJs中有什么方法可以做到这一点吗？
使用PhantomJs加载页面后获取网页数据的代码如下：
PHP代码到shell执行phantomJs命令
$shelldata = exec(PHATOM_JS_PATH."bin/phantomjs ".PHATOM_JS_PATH."/phantomcode.js $WEB_U
浏览 0提问于2019-04-03得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
