Web抓取动态HTML页面结构
是指通过自动化的方式获取网页中动态生成的HTML内容。在传统的静态网页中，HTML的结构是固定的，可以直接通过发送HTTP请求获取网页的源代码。然而，随着Web技术的发展，越来越多的网页采用了动态HTML技术，即通过JavaScript等前端脚本语言在浏览器端动态生成HTML内容。这使得传统的HTTP请求方式无法直接获取完整的页面结构。
为了抓取动态HTML页面结构，可以采用以下几种常见的方法：
- WebDriver技术：WebDriver是一种用于自动化测试的工具，可以模拟用户在浏览器中的行为，并获取完整的动态HTML页面结构。常见的WebDriver包括Selenium和Puppeteer等。通过这些工具，可以模拟用户打开网页、点击按钮、滚动页面等操作，从而获取完整的动态HTML页面结构。
- AJAX请求分析：很多动态HTML页面在加载过程中会使用AJAX技术向服务器发送异步请求，获取数据后再更新页面内容。通过分析这些AJAX请求，可以获取到数据的接口地址，然后直接向接口发送请求获取数据，从而获得完整的动态HTML页面结构。
- Headless浏览器：Headless浏览器是一种无界面的浏览器，可以完全模拟浏览器的行为，并获取完整的动态HTML页面结构。常见的Headless浏览器包括Chrome Headless和PhantomJS等。通过这些工具，可以在后台执行浏览器操作，获取到完整的动态HTML页面结构。
对于Web抓取动态HTML页面结构的应用场景，主要包括数据爬取、搜索引擎索引、内容聚合等。例如，通过抓取动态HTML页面结构可以获取电商网站的商品数据，进行价格比较和竞品分析；可以抓取新闻网站的文章内容，进行内容聚合和自动化摘要生成等。
对于Web抓取动态HTML页面结构，腾讯云提供了一系列相关产品和服务。其中，腾讯云的云爬虫（Cloud Crawler）是一款针对Web抓取和数据采集的全托管服务。它提供了丰富的API和功能，支持动态HTML页面的抓取，并提供了强大的数据清洗和分析能力。您可以通过以下链接了解更多关于腾讯云云爬虫的信息：https://cloud.tencent.com/product/cc。
总结起来，Web抓取动态HTML页面结构是一种获取动态生成的HTML内容的技术方法，可以通过WebDriver技术、AJAX请求分析和Headless浏览器等手段来实现。腾讯云的云爬虫是一项强大的云计算服务，可帮助您实现Web抓取和数据采集的需求。
相关·内容
2回答
是否可以像Firebug的HTML或Chrome DevTools中显示的那样提取页面的HTML？
我必须抓取很多网站，但有时信息不是在静态源代码，一个JavaScript运行后，页面加载和创建一些新的HTML内容动态。如果我然后提取源代码，这些内容就不存在了。
我有一个用Java构建的web爬虫来完成这个任务，但是它使用了很多旧的库。因此，为了学习目的，我想转到Rails/Ruby解决方案。我已经和i和玩过了。
浏览 2提问于2014-07-21得票数 0
回答已采纳
2回答
我正在做一些web抓取和使用Jsoup来解析html文件，我的理解是Jsoup不能很好地处理动态网页。有没有一种方法可以检查网页是否是动态的，这样我就不用费心使用Jsoup来解析它了？
浏览 0提问于2015-08-02得票数 1
2回答
我正在尝试获取来自不同网站的PDF链接列表。首先，我使用Web客户机类下载页面源代码。然后我使用将HTML转换为XML。因此，对于一个特定的站点，我将获得一个如下所示的标记：
<p><a href="pub/1985_to_1997_Board_Action_Summary.pdf">1985 to 1997 Board Action Summary</a></p>
我需要抓取所有包含".pdf“的链接。显然，并不是所有网站的布局都是一样的，所以仅仅搜索<p>标签是不够动态的。我不希望使用linq，但如果有必要
浏览 0提问于2012-03-09得票数 1
回答已采纳
我想从其他网站页面上抓取数据，这些页面动态加载表格的数据。我正在使用Php和简单的Html Dom进行抓取，搜索后没有找到任何解决方案，如何从网页中抓取动态数据？或者有另一种方法可以做到这一点？
我必须从这个url->中抓取表数据。
我使用下面的代码来做这件事。
$url = "https://fantasy.premierleague.com/a/leagues/standings/313/classic";
$html = file_get_html($url);
$html->find('div#ismr-classic-standings')
浏览 3提问于2016-08-23得票数 2
我正在创建webscraper，它将从这个网站中动态地生成玩家数据。
我想要创建一个循环，它将从下拉菜单中为播放器生成数据，刮取数据，然后循环遍历下拉菜单中的所有播放器列表。
我很好奇是否使用selenium与站点交互是最好的方法。但我也注意到，每个播放器的URL都遵循特定的模式，所以我考虑了抓取初始页面来收集我需要的所有数据，然后使用这些数据构造URL列表，然后循环遍历URL列表并将它们作为静态页面处理。
是否有为这种特定类型的web抓取构建的python工具？
浏览 6提问于2020-03-18得票数 1
回答已采纳
2回答
首先，我想获得我twitter账户的所有追随者。我做了一点研究，发现我们可以用Ruby on rails做web抓取，使用: Nokogiri或Mechanize gem。我还得到了一个css选择器，用于web抓取。现在，如果我查找HTML页面源代码，它不会显示该帐户的所有追随者。
我真的可以使用web抓取代码来获取我所有的twitter追随者，还是应该使用Twitter API？
浏览 2提问于2012-11-08得票数 0
回答已采纳
好的，我正在学习Web抓取，并且对Java很满意，所以我选择了Jsoup，这是一个web抓取库。我计划抓取 (这只是一个编码问题)，但我发现很难抓取所有显示的内容，这是不可能的，因为大部分内容是动态源。因此，我使用selenium来呈现JavaScript并获得简单的HTML页面，然后将其提供给JSOUP。
因此，我尝试打印呈现的HTML页面以进行验证，但在运行代码时会出现以下错误：
我的守则：
File f = new File("<Path to chromedriver.exe>");
System.setProperty("webdr
浏览 1提问于2018-03-03得票数 4
我正在尝试从中获取完整的球员数据列表。但是，该表是动态的(URL不变)，所以当我设置连接时，Excel只抓取前50行。它没有识别出表中还有另外6个页面我也需要抓取。
谁知道如何使用excel中的“获取数据”-> "From Web“功能从如上所示的动态表格中导入数据？
浏览 1提问于2019-10-25得票数 1
8回答
我想在我的网站上为我的php页面创建一个缓存。我确实找到了太多的解决方案，但我想要的是一个可以从我的数据库生成HTML页面的脚本，例如：
我有一个从数据库中抓取所有类别的类别页面，所以脚本应该能够生成一个HTML页面的排序: my-categories.html。然后，如果我选择一个类别，我应该得到一个my-x- category y.html页面，以此类推，用于其他类别和子类别。
我可以看到一些网站有这样的URL:www.the- web -site.com/the-page-ex.html
即使它们是动态的。
非常感谢你的帮助
浏览 0提问于2008-12-10得票数 4
我对web抓取相当陌生，但我已经设法创建了我的程序，它允许我通过使用selenium web驱动程序访问页面来抓取某些数据(动态内容)。
具体地说，我是从FAQ页面(每个帖子的浏览量)中抓取数据，但在这个网站上，如果不点击每个帖子并手动检查，就没有办法检查每个帖子的评论数量。目前，我已经编写了代码，以便web驱动程序可以简单地检测到每个帖子的浏览量，因为它向下扫描一般帖子页面的第一页，并继续对后续页面执行此操作。
据我所知，一般帖子页面中的源代码与评论数量没有任何关系，我认为如果我要访问每一篇帖子，处理时间将急剧增加。有没有办法获得评论的数量而不让我的web驱动程序输入每一篇帖子？
谢谢!
浏览 0提问于2019-02-17得票数 0
我想在我的ruby项目中使用Nokogiri抓取一些html页面。在爬虫页面，有一些链接，我也想抓取。但问题是链接的href在javascript函数中。
<a href="javascript:nextPage('some text','','other text')">Click here</a>
如何使用Nokogiri加载此动态页面？
浏览 3提问于2016-02-18得票数 0
3回答
我必须抓取一个网站，并保存为HTML的所有页面，并把它完全放在DVD上。我已经这样做了，但是现在所有的链接都以一个/开头，它抓取了我的根目录。我想将所有文件(1500页)的所有hrefs更改为href="./"，以便它始终抓取工作目录。
我已经在bash中看到了关于sed的一些东西，但是我不太理解如何动态地获取所有的href并对其进行更改。
我怎样才能以一种有效的方式做到这一点呢？
浏览 0提问于2012-07-10得票数 0
回答已采纳
1回答
首先，请理解使用翻译器可能不正确的语法。 我将在React环境中使用cheerio来做web抓取。 站点的一部分(例如)： <ul>
<li>
<div class="name">burger</div>
<div class="price">5,500</div>
</li>
<li>
<div class="name">sandwich</div>
<div class=&
浏览 30提问于2021-01-04得票数 0
1回答
如何在Google、Yahoo或Bing等搜索引擎中缓存从数据库呈现的页面中的动态数据？
如果我创建一个带有网格或其他控件的ASP.NET网站，这些控件可以从SQL数据库中获取数据。我不确定搜索引擎如何在他们的服务器上缓存这些数据？
我确信，如果在web托管目录中有任何具有相关设置的物理.html文件，搜索引擎将会成功地解析/抓取它。但对动态数据不太确定。
浏览 2提问于2016-04-11得票数 0
1回答
我刚开始使用web抓取，到目前为止，我所做的只是一些基本的python抓取。我真正想要的是让我所有的在线朋友在facebook上刮擦，看看如何刮一些动态变化的东西。所以请告诉我是否可能，从哪里开始等等。谢谢！
浏览 1提问于2013-08-02得票数 0
回答已采纳
我目前正在学习使用scrapy进行web抓取，并尝试/学习各种登录stackoverflow的方法，然后提取一些问题来练习web抓取。我已经使用scrapy和pyquery成功登录到stackoverflow，使用的代码如下：
import scrapy
import requests
import getpass
from pyquery import PyQuery
from scrapy import FormRequest
from scrapy.utils.response import open_in_browser
class QuoteSpider(scrapy.Spide
浏览 3提问于2020-10-13得票数 1
这可能是一个非常基本的问题，但我正在使用Selenium练习web抓取动态页面，我想知道是否有一种方法只测试表部分的web抓取，而不必运行整个代码？我是个菜鸟，只是不知道自己做错了什么？因为我的代码有很多延迟，所以在使用selenium单击“通过”按钮并登录到要刮表的页面时，可以防止出现错误。但是，当我一遍又一遍地测试我的web擦伤时，需要花费大量的时间来不断地等待整个脚本的运行。
浏览 9提问于2022-03-14得票数 0
回答已采纳
1回答
我正在创建一个使用php简单html dom库的网络抓取器。我正在做一个web scraping项目，在一个php页面上，我加载一个html页面用于抓取，在这个项目中，我调用另一个php页面上的函数，该函数也加载一个或多个html页面。问题是我无法加载第二个html页面。下面是我在两个页面上使用的函数，用于加载要抓取的html页面。首页
include ('simple_html_dom.php');
$html = new simple_html_dom ();
$html->load_file ( $link );
首页
$html = new simple_html
浏览 2提问于2011-09-21得票数 0
我正在使用这段代码通过HTMLAgility抓取HTML页面。但是在抓取页面时，我无法将相对url转换为absoute url。
我正在使用以下代码：
HtmlAgilityPack.HtmlDocument doc = web.Load(serviceStatusHTMLURL);
data = doc.DocumentNode.SelectSingleNode("//div[@id='columnRight']").OuterHtml;
我需要用所有的HTML标签刮掉整个页面。
浏览 0提问于2018-05-07得票数 0
回答已采纳
在web应用程序中，元标记使用来自REST api调用的数据进行绑定。这将如何影响SEO，因为当页面被抓取时，异步调用将不会完成，因此标签将不会对爬虫可用。在我所知道的关于SEO的概念中是否有任何错误，否则有没有一种方法可以使元标签可用。所有html内容在客户端设备中被静态地提供和动态绑定，而不是在服务器中绑定数据。
浏览 10提问于2017-01-05得票数 1
回答已采纳
2回答
我正在使用Apache Mod RewriteRule来处理动态URL。并试图找出最适合的URL结构。
以下是我正在考虑的选项：
它们都将重写为: mydomain.com/myprogram.php?username=$1&cat=$2&item=$3
选项1: mydomain.com/username-category-item-5.html
选项2: mydomain.com/username/category-item-5.html
选项3: mydomain.com/username/category/item-5.html
我关心的是搜索引擎如何抓取和索引页面。如
浏览 3提问于2009-12-21得票数 0
回答已采纳
我是一个网络抓取新手，需要帮助。我试图从一个有大约20页的属性站点中抓取数据，在每个页面中有到不同属性的18条链接。我的最终目标是从每个属性链接中抓取所有数据。为此，我考虑通过将页面参数增加1来运行20页的循环。
但在这样做之前，我需要从单个页面上的每个属性中抓取数据，为此我需要链接到单个页面上的所有属性，因此需要从页面中抓取所有链接(指向属性)。我试图使用html_nodes("a")来实现这一点，但没有成功。
这是我想要刮的网页和网站。
下面是用于获取单个页面上所有链接的代码，但没有获得所需的输出。我也尝试过使用不同的类和CSS选择器。
url <- 'ht
浏览 1提问于2018-09-26得票数 0
回答已采纳
1回答
我正在开发一个网站，在那里我们使用第三方web服务返回动态内容，并使用javascript解析和显示从页面到页面的数据。我们已经在网站上的几个地方使用主干将数据发布到web服务，所以我想尝试使用主干的路由器来运行基于页面url的特定功能，并抓取查询，因为我们正在将查询散列到页面的url中。
例如: global-site-search.html#query
这是路由器的代码，我要说的是：
var Router = Backbone.Router.extend({
routes : {
'' : 'indexRoute',
浏览 6提问于2014-01-28得票数 3
回答已采纳
1回答
我正在尝试抓取web动态页面，但使用scrapy时，我不能检索所有信息，因为我想要的信息是动态的。 我试着使用Selenium，但与Scrapy不同的是，你不能指定头部，网站阻止了我。(我不能说出这个网站的名字，因为抓取是非法的，但它是一个著名的旅游元搜索引擎...)。我有一个带有验证码解算器的页面(用脚本很难解决重新验证码)，因为网站会检测到我是机器人。 我想拥有所有的动态信息，并有权访问网站，但不可能与selenium和scrapy没有给我所有我想要的信息，我认为这是因为当scrapy阅读它时页面没有完全加载。
浏览 23提问于2019-06-13得票数 0
我试着用requests库抓取twitter上的追随者。最后，我尝试将所需页面的响应保存为json格式，然后尝试搜索所需的部分。问题是，如何在json对象中找到所需的元素？我的代码是：
s =requests.session()
res = s.post("https://twitter.com/sessions",data=payload,headers=headers)
r = s.get("https://twitter.com/akhiltaker619/following/users?include_available_features=1&i
浏览 12提问于2018-01-28得票数 0
回答已采纳
2回答
我正在做以下页面的web抓取工作：COVID，我需要做的是生成表的csv，该表出现在页面上，但动态加载了我正在使用selenium的数据。问题是，即使这样，我也找不到包含以下代码的表： import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
#url of the page we want to scrape
url = "https://saludd
浏览 26提问于2020-12-14得票数 0
回答已采纳
我花了很多时间浏览网页，寻找我的问题的解决方案，但没有效果。
我有一个有很多页面的web应用程序。许多页面都有各自的子页面，其中一些childs也有其他childs，依此类推。web应用程序只是UI，这意味着它是HTML模型。
我需要的是一些方法(显然是在应用程序的帮助下)，我如何连接文件夹，其中有所有这些HTML文件与可视网站地图。我还需要，当我在这个文件夹中创建另一个HTML页面时，网站地图将知道并动态修改此页面。如果一个页面被删除了，情况也是如此。
我尝试使用应用程序，但由于我的应用程序有许多连接到DIVs、SPANs等的javascript链接，而不是锚点，PowerMapper无法识
浏览 0提问于2011-01-19得票数 1
回答已采纳
我正在尝试从这个页面中抓取数据：
如果我试图使用css选择器和通常的rvest语法刮取播放机的名称：
names <- read_html("http://www.atpworldtour.com/en/tournaments/brisbane-international-presented-by-suncorp/339/2016/match-stats/r975/f324/match-stats?") %>%
html_nodes(".scoring-player-name") %>% sapply(html_text)
万事如意。
不幸
浏览 2提问于2016-06-05得票数 0
回答已采纳
我有一个网络爬虫应用程序。它成功地抓取了大多数常见和简单的网站。现在，我遇到了一些类型的网站，其中HTML文档是通过表单或javascripts动态生成的。我相信它们是可以被爬行的，只是我不知道怎么做。现在，这些网站并不显示实际的HTML页面。我的意思是，如果我在IE或firefox中浏览该页面，HTML代码与IE或firefox中的实际内容不匹配。这些站点包含文本框、复选框等。所以我相信它们就是他们所说的"Web表单“。实际上，我对web开发不是很熟悉，所以如果我错了，请纠正我。
我的问题是，有没有人像我现在这样，成功地解决了这些类型的“挑战”？有没有人知道一本关于网络爬行的书或文章
浏览 0提问于2010-03-30得票数 5
回答已采纳
1回答
真的需要这个社区的帮助！
我正在使用Selenium和Beautiful Soup在Python中对动态内容进行web抓取。问题是，即使使用以下代码，也无法将定价数据表解析为Python：
html=browser.execute_script('return document.body.innerHTML')
sel_soup=BeautifulSoup(html, 'html.parser')
然而，我后来发现，如果我在使用上面的代码之前单击WebPage上的“查看所有价格”按钮，我可以将该数据表解析为python。
我的问题是，我如何解析和访问我的py
浏览 15提问于2018-02-14得票数 2
当我向下滚动网页浏览器时，我想抓取一个动态生成更多内容的网站。我看过一个相关的帖子，，但它没有回答我的问题。
是否可以使用Watir web驱动程序滚动网页直到页面末尾(web服务器不再生成任何内容)，或者直到几次刷新？
浏览 0提问于2012-02-28得票数 5
回答已采纳
1回答
由于我不得不使用服务器提供商，我们站点的一些页面必须使用ajax动态创建。因此，页面的内容区域在初始加载时是空白的，并在几分钟后填满内容。
现在，当有人试图用Pinterest的“从网站添加”-tool来抓取网站的图片时，什么也没有显示出来。在Pinterest API中有解决这个问题的方法吗？一些标题标签等会让Pinterest在抓取之前等待片刻？
浏览 0提问于2014-05-14得票数 0
我目前正在抓取一个格式如下的页面： <div id="container>
<script>Script that cause iframe contents to load correctly</script>
<iframe>Contents of iFrame</iframe>
<script>More scripts</script>
</div> 我可以很容易地抓取页面，但这不会抓取iframe内容，所以我用以下命令切换了框架： driver.switch_to
浏览 28提问于2019-04-12得票数 2
我把动态网站分为两类：
第一个是使用PHP，让PHP连接一个HTML页面，然后推送回客户端；
另一种是使用HTML模板，所有web界面都只提供JSON数据，在加载HTML页面时动态提供所有字段。
前一类网站的优点是什么？那么缓存呢？
浏览 7提问于2012-06-16得票数 0
回答已采纳
1回答
我正在抓取一个包含相同数据的多个元素的“草率”节点。下面的代码从一个列出唱片的页面中抓取城市日期。我只需要每个专辑的第一个city-date实例，但我不确定如何编写代码，以便只返回 first city-date实例。
library(rvest);library(stringi);library(stringr)
citydate <- read_html("https://www.jazzdisco.org/atlantic-records/catalog-1200-series/") %>%
html_nodes(".date") %
浏览 30提问于2018-09-02得票数 0
回答已采纳
我买了一个脚本，用PHP在HTML页面上抓取一些信息(在HTML源代码上使用regex )，当页面只有HTML时，它工作得很好。然而，某些信息是由Ajax/Javascript填充的，抓取无法获得这些信息(只返回空格)。
这是我需要抓取的示例HTML源，{d10}{d1}等是一个时间戳。当我抓取源代码时，它没有被实例化：
layout: '<p><span>Time Remaining</span><br><strong>{d10}{d1} : {h10}{h1} : {m10}{m1} : {s10}{s1}</str
浏览 2提问于2011-02-21得票数 1
无法从网页中提取字段数据，这不是常见的web抓取问题。它也与javascript相关联。我也尝试了python-request，但是无法解决这个问题。
我正在尝试从网页中提取doi。doi位于javascript中。我能够读懂页面，代码一直运行到{print(Soup)}。当我试图提取DOI值(在给定代码中，示例网页的doi如下：“doi”：“10.1109/LAwr2014.2364296”)时，我想打印“10.1109/LAwr2014.2364296”，这是从网页中提取的。
import urllib
from bs4 import BeautifulSoup
web_page = &#
浏览 4提问于2019-02-09得票数 0
1回答
我是Rails的新手，我正在尝试创建一个web应用程序，在这个应用程序中，您可以从页面中抓取一些html，并将其存储到数据库中，以便将其与另一个版本进行比较，例如，更改产品的价格。我想让它工作的方法是每次从新域中刮东西时创建一个新的表。
因此，基本上每个域都有自己的变更表。我知道如何使用迁移创建表，但是添加新域时如何动态创建表？
浏览 0提问于2018-02-06得票数 0
回答已采纳
2回答
因此，我第一次尝试使用BeautifulSoup和Python进行web抓取。我要刮的页面是：
client = request('http://vesselregister.dnvgl.com/VesselRegister/vesseldetails.html?vesselid=34172')
page_html = client.read()
client.close()
page_soup = soup(page_html)
identification = page_soup.find('div', {'data-bind':'
浏览 5提问于2017-10-12得票数 0
回答已采纳
1回答
请问，importXML也适用于动态页面吗?动态页面需要先填写一个字段才能显示信息。
例如，在此页面上，我总是必须填写- dd/mm/yyyy -(例如15/03/2021)之前的日期(“”)才能显示信息。然后按下FILTRAR按钮
如果会有几个足球运动员的名字，我想要抓取照片的URL，名字，运动员的情况，出版物和俱乐部的名称
或者使用另一种刮板，如Web刮板或selenium更好？
浏览 0提问于2021-03-22得票数 0
1回答
这是一个非常常见的问题，但我无法找到它的解决方案。我已经在Eclipse中创建了一个动态Web项目。这是一个没有java的空项目，我尝试在Tomcat服务器上运行它，它给我files.Whenever状态404错误:请求的资源找不到。欢迎页面index.html位于WEB-INF文件夹中，web.xml的内容如下所示
<welcome-file-list>
<welcome-file>index.html</welcome-file>
<welcome-file>index.htm</welcome-file>
<welcome
浏览 8提问于2017-02-18得票数 0
回答已采纳
我已经让我的网络浏览器指向google静态地图，我想弄清楚如何保存图像文件以便稍后离线查看。如果你不熟悉，谷歌静态地图页面仅仅是包含单个图像的html页面。它们看起来像这样。
<html>
<body>
<img... src="">
</body>
</html>
我基本上需要从web查看器中抓取图像数据来存储它，或者可能只是从HTML中抓取source标签来以某种方式下载它。有没有人知道我该怎么做？
浏览 1提问于2013-05-16得票数 0
回答已采纳
我目前正在抓取一个网站，以便能够在本地对数据进行排序，然而，当我这样做时，代码似乎不完整，我觉得在我滚动网站以添加更多内容时，可能会发生变化。这会发生吗？如果是这样的话，我如何确保我能够抓取整个网站进行处理呢？
我目前只知道一些python和html用于web抓取，正在寻找其他可能影响这个问题的元素(javascript或ReactJS等)。
我希望在抓取网站时得到50个名字的列表，但它只返回13个。我已经下载了整个HTML文件来浏览它，文件中似乎没有其他名字，也就是为什么我认为文件可能是动态变化的
浏览 0提问于2019-01-02得票数 0
2回答
我想从一个显然使用javascript生成表的站点(这个站点是oddsportal.com)中抓取内容。
我看到Scrapy无法加载动态内容，我阅读selenium可以处理它，但我计划使用web服务器。
有什么方法可以解析这个站点或获取动态请求并使用scrapy解析它吗？
例如，我想从这个页面导入完整的表，包括标题、匹配名和赔率。
浏览 3提问于2016-01-28得票数 1
回答已采纳
我需要使用PHP抓取这个HTML页面...
http://www.cittadellasalute.to.it/index.php?option=com_content&view=article&id=6786:situazione-pazienti-in-pronto-soccorso&catid=165:pronto-soccorso&Itemid=372
..。我需要提取行"Rosso"，"Giallo"，Verde“和"Bianco”的数字(请注意，这些数字是动态的，所以它们可以在刷新页面时更改，但这并不重要……)
浏览 23提问于2017-08-12得票数 1
我真的很喜欢OneNote的很多方面，但是，要真正充分利用它，我至少需要能够从OneNote web应用程序页面中抓取数据。它们巧妙地使用javascript来模拟桌面UI。我希望能够在这些页面上读/写数据。想法？
浏览 1提问于2010-06-15得票数 1
2回答
我正在尝试使用Python抓取这个网站：'‘。
首先，我注意到我感兴趣的表实际上位于这个url：
但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。
因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。
from selenium.webdriver import Firefox
from bs4 import BeautifulSoup
import lxml
driver = Firefox()
url = 'https://ec.europa.eu/assets/eac/msca/jobs/im
浏览 4提问于2020-02-02得票数 0
我正在尝试从网站上抓取内容，解析它，提取我想要的内容，并将其放入数据库中。
我使用的是PHP。
我已经使用cURL构建了一个脚本，它遍历我需要的页面并获取HTML内容。现在，据我所知，我需要一个工具或库来允许我获取充满页面HTML的字符串并对其进行解析。
有没有关于如何(最好)用PHP做到这一点的提示？
浏览 0提问于2011-01-16得票数 0
回答已采纳
1回答
我正在用Node编写一个网络抓取器，并考虑使用像Cheerio或JSDom这样的模块来将HTML解析成一组URL的DOM。然而，我有一个特定的功能是必要的。
我的目标是构建一个可以在一个网站上抓取多个相似页面的抓取器，以获取几个关键信息。但是，我有一些包含这些信息的样本数据，我想使用它们为这些页面动态构建一个模型，然后使用该模型抓取站点的其余部分。
为了清楚起见，如果一个网站上有三个页面，每个页面包含一个不同的产品：
第1页：
<html>
<body>
<h1>Product 1</h1>
<p>Desc</p>
<
浏览 14提问于2017-01-25得票数 2
10回答
我找不到任何好的基于Java的web抓取API。我需要抓取的站点也不提供任何API；我想使用一些pageID遍历所有网页，并在它们的DOM树中提取HTML标题/其他内容。
除了网络抓取之外，还有其他方法吗？
浏览 1提问于2010-07-08得票数 72
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
