为什么render / requests-html不抓取动态内容？
render / requests-html不抓取动态内容的原因是因为它们是基于静态HTML解析的库，无法执行JavaScript代码。动态内容通常是通过JavaScript动态生成或加载的，而这些库只能解析静态HTML，无法执行JavaScript代码来获取动态内容。
要抓取动态内容，可以使用一些支持JavaScript执行的库，例如Selenium、Puppeteer等。这些库可以模拟浏览器的行为，执行JavaScript代码，并获取动态生成的内容。
推荐腾讯云相关产品：腾讯云云服务器（CVM）和腾讯云容器服务（TKE）。
腾讯云云服务器（CVM）是一种灵活可扩展的云计算服务，提供高性能、高可靠性的虚拟机实例，可满足各种计算需求。
腾讯云容器服务（TKE）是一种基于Kubernetes的容器服务，提供高度可扩展的容器化应用管理平台，支持快速部署、弹性伸缩和自动化运维。
更多关于腾讯云云服务器（CVM）的信息，请访问：https://cloud.tencent.com/product/cvm
更多关于腾讯云容器服务（TKE）的信息，请访问：https://cloud.tencent.com/product/tke
相关·内容
页面：https://www.winamax.fr/paris-sportifs/sports/1/1/1 加载后，它使用英语游戏对动态内容进行收费(例如:谢菲尔德联队-西汉姆联队)。HTMLSessionr = session.get('https://www.winamax.fr/paris-sportifs/1/1/1')
r.html.rende
浏览 11提问于2020-01-09得票数 3
回答已采纳
你好，我正在尝试使用python模块requests-html进行web抓取，以处理页面https://www.monster.com/jobs/search?q=Software+Engineer&where=上的动态内容。q=Software+Engineer&where='response = session.get(url)
response.html.render() 但是当我运
浏览 102提问于2021-04-01得票数 2
1回答
我正在尝试抓取patentsview.org，但我遇到了一个问题。当我尝试抓取这个页面时，它不能很好地工作。使用JavaScript从其数据库中获取数据的站点。我试着用requests-html包获取数据，但我不太明白。requestsr.html.render但是我的代码看不到div的<e
浏览 18提问于2021-04-17得票数 0
我正在构建一个开源的quizlet抓取器，用于从一个类(例如)中提取所有链接。在本例中，标签是a，类是"UILink“。但是当我使用下面的代码时，返回的列表并不包含我要查找的元素。如何抓取这些urls？
浏览 0提问于2020-10-18得票数 0
1回答
我试图从ratemyprofessors.com中拉出完整的超文本标记语言，但是在页面的底部，有一个“加载更多评级”按钮，可以让你看到更多的评论。 我使用的是requests.get(网址)和漂亮汤，但这只给出了前20条评论。有没有办法让页面在返回之前加载所有评论？ 这是我目前正在做的，给出了前20个评论，但不是所有的评论。 response = requests.get(url) comments = []
for j in soup.fin
浏览 17提问于2020-04-19得票数 0
回答已采纳
1回答
我仅通过使用以下内容作为请求才能成功抓取js内容。scrapy.Request( self.parse, )
如何在抓取动态内容
浏览 10提问于2017-08-14得票数 1
试图从“地下天气”中获取一些天气数据。我没有遇到任何困难来获得感兴趣的数据，直到我开始获得日期/日期，嗨/低温度，和预测(即。“局部多云”)。每个都在一个没有类的div中。每个div的父类都是一个带有日期“obs-class=”的div(见下图)已尝试使用下面的代码注释掉其他选项。每个函数都返回一个空列表。 city=city.lower()
浏览 2提问于2021-04-14得票数 0
我想弄清楚是否有可能从DPD进口最新的包裹状态。例如，我希望从下面的链接获得“传递”状态，并将其导入到google：
非常感谢您的帮助！格雷格
浏览 4提问于2022-03-08得票数 0
我可以在此页面上根据ID指向其他div和表，但由于某种原因，此表不会返回任何内容。知道我错过了什么吗？
浏览 0提问于2020-01-16得票数 0
1回答
我一直在编写一个python 3脚本来生成BibTeX条目，并且我希望使用来获取有关关联日志的信息。我可以使用手动完成此操作，其中我要查找的信息存储在lxml表//table[@id="journal-search-results-table"]中，或者更具体地说，存储在其表主体的单元格中。我尝试使用来自httplib2、requests、urllib2和lxml.html包
浏览 0提问于2020-06-26得票数 3
回答已采纳
3回答
无法使用HTML抓取导入数据
、、、、
tree.xpath('//*[@id="PriceWrp"]/div[2]/span')我已经尝试使用xpath代码来表示价格，但是当我打印价格时，它什么也不返回注意--我是HTML抓取的新手，对python有基本的了解，但我决定有一点挑战。
提前谢谢。
浏览 3提问于2018-10-12得票数 0
print (len(containers))输出<class 'bs4.element.ResultSet'>print (type(containers))0不知道为什么我不能提取数据
浏览 1提问于2018-04-22得票数 0
回答已采纳
我尝试使用下面的代码在这个网页()上刮取名字+人的姓氏，但是它不起作用。我怎么才能确定这是怎么回事？from lxml import html import requestsr=requests.get(url)#Create the list of s
浏览 1提问于2018-11-24得票数 4
回答已采纳
我在试着从https://hk.appledaily.com/search/apple..。我需要从div class="flex-feature"但它只返回[]..。希望大家能帮忙，谢谢！ from bs4 import BeautifulSoup
results = soup.find_all(
浏览 40提问于2020-10-06得票数 2
回答已采纳
然而，抓取的结果脚本与我在Chrome上查看页面源代码时观察到的脚本并不相同。你知道为什么我不能根据页面来源刮掉完整的脚本吗？我读过一些帖子，其中提到，由于页面由使用javascript的动态列表组成，因此建议使用selenium。如果是这样的话，我还想了解为什么BeautifulSoup不能执行与selenium相同的功能。有没有办法在不求助于其他库的情况下抓取我想要的东西？
在此之前，非常感谢您。
浏览 3提问于2020-07-23得票数 0
3回答
我正在尝试使用file_get_contents()获取url的内容，如下所示：这很好用，但我还必须获得如下所示的页面内容：http://www.website.com#somevalue，但是，如果我使用与上面相同的方法，它只返回与没有散列相同的内容。可以获取更新的内容吗？我假设他们正在使用主干或其他类型的路由来处理此问题。
浏览 2提问于2012-11-11得票数 1
回答已采纳
假设XML文件具有未知的结构(即未知元素和属性名称)，如 <Level 1 ...> ... <Level 2 ...> </Level 2> <Level 1 ...> ...
浏览 1提问于2011-12-04得票数 3
回答已采纳
但是现在我想知道为什么不呈现设置到Typo3后端的内容。}"> <f:render section="Sidebar" /><div id="content">
<f:render section-- Render colPos=0 in this section --&
浏览 4提问于2014-07-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
