首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python BeautifulSoup 选择器无法找到对应元素(异步加载导致)

问题使用 Python BeautifulSoup 爬取一个股吧帖子发现某个样式无法找到,但是在网页中确实存在这个元素:网页使用 document.querySelector 可以正常查找:但是 Python...BeautifulSoup 找不到元素:网页标题: 华夏北京保障房REIT股吧_华夏北京保障房REIT分析讨论社区-东方财富网总页数: []核心部分代码import requestsfrom bs4...通过断点查看返回的 content,其中确实不包含我们需要的样式选择器标签内容。解决方案找到包含内容的 XHR 异步请求第一种思路在网页请求去找到包含内容的 XHR 异步请求,再用上述的方式进行请求。...WebDriverWait 等待动态加载完成(根据实际情况修改选择器)element = WebDriverWait(driver, 5).until( EC.presence_of_element_located...((By.CSS_SELECTOR, '#articlelistnew > div.pager > span > span > span > span')))# 获取元素的文本内容page_size =

25030

使用CSS选择器进行元素定位

在selenium webdriver中,支持使用CSS选择器来进行元素定位,事实在真的投入工作,大量编辑用例和元素定位的时候,使用css 和 xpath才是经常需要用到的。...之前有专门讲过使用xpath对元素定位的使用,下面要介绍css选择器来进行元素定位。...【参见W3C官网说明】 http://www.w3school.com.cn/cssref/css_selectors.asp 先看看css选择器定位的webdriver函数: def find_elements_by_css_selector...(by=By.CSS_SELECTOR, value=css_selector) 常见语法 CSS选择器用于选择你想要的元素的样式的模式。...选择器 示例 示例说明 CSS .class .intro 选择所有class="intro"的元素 1 #id #firstname 选择所有id="firstname"的元素 1 * * 选择所有元素

3.1K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    【CSS】CSS 复合选择器 ② ( 子元素选择器 | 交集选择器 )

    文章目录 一、子元素选择器 1、语法说明 2、代码分析 3、代码示例 二、交集选择器 1、语法说明 2、代码示例 一、子元素选择器 ---- 1、语法说明 子元素选择器 可以选择 某个基础选择器...选择出的 元素组 的 直接子元素 ( 亲儿子元素 ) 中 使用基础选择器 选择 元素 ; 子元素选择器语法 : 父选择器 写在前面 , 子选择器 写在后面 , 两个选择器之间使用 > 大于号隔开 ; 父选择器...父选择器 选择出的元素的 亲儿子 元素 中选择 , 孙子元素 和 重孙子元素 选择不到 ; CSS 基础选择器 : 标签选择器 类选择器 ID 选择器 通配符选择器 2、代码分析 在下面的代码中 ,...; 基础选择器1基础选择器2 { 属性名称1:属性值1; 属性名称2:属性值2; 属性名称3:属性值3; } CSS 基础选择器 : 标签选择器 类选择器 ID 选择器 通配符选择器 2、代码示例...下面是 交集选择器 , 获取 p标签选择器 与 .red类选择器 交集元素标签 ; /*交集选择器 p标签选择器 与 .red类选择器 交集元素*/ p.red { color: red

    4.8K10

    css伪元素选择器有哪些_css3伪选择器

    伪元素选择器可以帮助我们利用CSS创建新标签元素,而不需要HTML标签,从而简化HTML结构。...//本篇文章都使用这个结构代码来做演示 //lorem加上Tab键快速生成一段测试英文 Lorem ipsum dolor, sit amet consectetur adipisicing...::before和::after ::before表示元素的开始,::after表示元素的最后,before和after必须结合content属性来使用 代码演示?...注意: before和after创建一个元素,但是属于行内元素。 新创建的这个元素在文档中是找不到的,所以我们称为伪元素。...before在父元素内容的前面创建元素,after在父元素内容的后面插入元素。 伪元素选择器和标签选择器一样,权重为1。 ---- 没有所谓失败,除非你不再尝试!

    1K30

    CSS元素选择器及其优先算法

    CSS 选择器 这一块可以说是很基础了,只有用选择器选中元素,才能使样式生效 元素选择器(标签选择器) 直接选中原生 html 标签名,该选择器可以说是优先级最低的了,在没有其它类型选择器时才会考虑它...,用逗号隔开 #great, .great-class, div{ width: 100px; height: 50px; } 相邻选择器 选中相邻的兄弟元素 #one + section{ width: 100px; height: 50px; } 属性选择器 选中指定属性值的所有元素...n 个子元素 选择器优先级算法 众多类型的选择器方式,还可以组合使用,那么如何区分呢 优先级由 A,B,C,D 四个值确定,计算规则如下 存在内联样式,A = 1,否则 A = 0 B 的值等于...ID选择器 出现的次数; C 的值等于 类选择器 + 属性选择器 + 伪类 出现的总次数; D 的值等于 标签选择器 + 伪元素 出现的总次数 将四个值当成一个序列,(A,B,C,D),按照从左往右的顺序依次比较

    88020

    【CSS3】CSS3 伪元素选择器 ( 伪元素选择器语法简介 | 伪元素选择器权重计算 | 代码示例 )

    一、CSS3 伪元素选择器 ---- CSS3 伪元素选择器 : ::before 选择符 : 在 指定的标签元素内部的 前面 插入内容 ; ::after 选择符 : 在指定的标签元素内部的 后面 插入内容...; CSS3 伪元素选择器注意事项 : content 属性 : 上述两个选择器 必须设置 content 属性 ; 元素类型 : 上述两个选择器 添加 的元素 是 行内元素 ; 如果要为其配置宽高...权重相同 , 权重为 1 ; 区分 伪元素选择器 与 伪类选择器 : 伪类选择器 有一个冒号 , 如 : a:hover 表示鼠标经过 a 标签上的样式 ; 伪元素选择器 有两个冒号 ; 二、CSS3...伪元素选择器权重 ---- 伪元素选择器 的权重 与 标签选择器 权重相同 , 权重为 1 ; 属性选择器 , 伪类选择器 的 权重 , 与 类选择器 权重相同 , 都是 10 ; 参考 【CSS】CSS...特性 ③ ( CSS 优先级 | 权重叠加计算公式 ) 本博客中的 权重公式 ; 权重叠加计算公式示例 : 根据下面的 基础选择器 权重 表格 , 进行权重叠加计算 ; CSS 选择器 选择器优先级

    1.1K20

    CSS元素选择器是怎样运作的?

    在前端工程师的日常工作中,使用 CSS 元素选择器是稀松平常的事;无论你是编写一般的 CSS 还是需要经过编译的 SASS,SCSS,LESS等,最终都被编译成一行一行的 CSS 样式属性,最终交给浏览器解析并套用...) 浏览器的使用者偏好设定 浏览器负责处理 CSS 的部分,会吧前面所有的东西以及 CSS 文件定义的样式规则分别整理成单独的样式规则组(CSS 规则集),内容记载了样式规则、目标属性等信息。...我们可以回顾一下浏览器渲染的步骤,由于 inline style 存在于 DOM 元素中,只能在 CSS 套用到 DOM 上时才会接触到,事前无法将两者结合。...状态一致就是要满足以下几个条件: 没有设定 ID tag 及 class 必须完全一致 没有设定 style 属性 样式规则中不能使用各种同级选择器(例如:〜,+,:first-child 等) 由于上面的条件...延伸 认识了 CSS 选择器之后,你一定会很好奇,JavaScript 的元素选择器又是怎么回事呢?

    1.7K10

    CSS进阶-CSS选择器高级:伪类与伪元素

    它们实际上插入了新的元素到DOM树中,尽管这些元素不可见于源代码。 常见问题与易错点 1. 伪类与伪元素的区别 易错点:混淆伪类和伪元素的使用场景。...双冒号与单冒号的使用 问题描述:CSS3规范中,伪元素推荐使用双冒号(::),而伪类仍使用单冒号(:),但在旧版浏览器中,双冒号可能不被支持。...解决方案:为兼容性考虑,对伪元素建议采用双冒号,同时确保单冒号的备选方案,除非明确针对现代浏览器。 3. 顺序与优先级 易错点:伪类和伪元素的顺序影响样式叠加,错误的顺序可能导致期望的样式无法生效。...注意事项:保持逻辑清晰,通常先写伪类再写伪元素,并注意CSS特性的优先级规则。 4. 使用content属性 问题描述:在伪元素中忘记使用content属性,导致样式不生效。...希望本文能成为你探索CSS高级选择器路上的一盏明灯。

    15210

    【CSS】CSS 选择器 ② ( ID 选择器 | 通配符选择器 | CSS 选择器使用注意事项 )

    文章目录 一、 ID 选择器 1、简介 2、代码示例 二、通配符选择器 1、简介 2、代码示例 三、CSS 选择器使用注意事项 一、 ID 选择器 ---- 1、简介 ID 选择器 使用 " #...id " 选择 指定的 某一个 标签 , 使用 ID 选择器 步骤如下 : 首先 , 在 HTML 中 设置 标签的 ID ; 标签内容 然后 , 在 CSS 样式中使用...* ID 选择器 与 类选择器 的使用方法基本一致 ;** 在开发时 , ID 选择器 不推荐使用 , 使用频率不高 , 推荐使用 类选择器 ; 2、代码示例 代码示例 : <!...:20px; } 通配符选择器 会降低 页面的 打开速度 , 如果没有特殊情况 , 不推荐使用 ; 2、代码示例 通配符选择器代码示例 : 使用通配符选择器 * 将 HTML 所有页面标签的文本设置成了...选择器使用注意事项 ---- CSS 选择器使用注意事项 : 尽量不使用 ID 选择器 ; 尽量不使用 通配符选择器 ; 使用标签选择器时 , 尽量不对 无意义的标签 进行选择 , 如 div , span

    2.7K10

    【CSS】伪元素和伪类选择器区别

    1.伪类选择器和伪元素选择器 伪类选择器是用来向某些选择器来添加效果。...:visited :hover :active (6)用户行为伪类选择器 :focus 伪元素选择器则是用来将特殊的效果添加在选择器上。...:伪类不修改DOM容,通过一些特定的选择器根据特定的状态,特定条件来修改元素的样;而伪元素可能改变DOM结构,创造了虚拟的DOM 伪类选择器只是相当于给标签加上了个名字,让我们能够找到精准的位置,而伪元素选择器修改了他原本的结构...2.注意 可通过使用css伪类实现点击元素变色的效果,两个伪类是:active, :focus :active :active选择器用于选择活动链接。...当在一个链接上点击时,它就会成为活动的(激活的),:active选择器适用于所有元素,不仅限于链接a元素 :focus :focus 选择器用于选取获得焦点的元素。

    1.6K10

    【说站】css后代选择器和子元素选择器的区别

    css后代选择器和子元素选择器的区别 说明 1、后代选择器使用空格作为连接符号,子元素选择器使用>作为连接符号。 2、后代选择器选中所有的特定后代标签,子元素选择器选中所有的特定的直接标签。...后代选择器会选中指定标签中, 所有的特定后代标签, 也就是会选中儿子/孙子..., 只要是被放到指定标 签中的特 定标签都会被选中 子元素选择器只会选中指定标签中, 所有的特定的直接标签, 也就是只会选中特定的儿子标签...单纯用后代选择器很难做到吧!...                                                              以上就是css...后代选择器和子元素选择器的区别,希望对大家有所帮助。

    2K30

    在JS中使用强大的CSS选择器来定位页面元素

    近期由于受到谷歌退出中国市场的影响,就连之前可以正常使用的翻译 API 也无法使用了。 无奈之下为不影响本站的加载速率,决定暂时关闭谷歌的在线翻译功能。...熟悉 JS 代码的小伙伴应该都清楚这里发生了啥,最简单的修复方式就是在注册点击事件前,加个 if 条件判断,当元素不存在时不进行事件注册。...于是便想到了使用 CSS 的选择器语法来支持,首先定位到这些按钮的父元素上,然后再逐一对子元素(即按钮本身)进行事件注册,这样当某个按钮被删除后也就无须 if 条件判断,同样也不用调整 JS 代码。...结合之前编写 SCSS 代码时的经验,是否可以使用 :first-child 这样的选择器进行排除呢?直接在浏览器终端窗口中使用 JS 语法进行了快速验证,得到的答案是可行的。...相比于 JS 中使用 ID 或名称来定位页面元素的方式,这种使用 CSS 选择器的模式,操作起来会更的加简便和灵活。

    6210

    怎样使用 CSS 选择器精确地选择特定的元素或元素组来应用样式?

    要精确地选择特定的元素或元素组来应用样式,可以使用 CSS 选择器。以下是一些常用的 CSS 选择器: 元素选择器:通过元素名称选择元素。例如,使用 p 选择所有 元素。...p { color: blue; } 类选择器:通过类名选择元素。可以在 HTML 元素中使用 class 属性来指定类名,然后在 CSS 中使用 .类名 来选择元素。...可以在 HTML 元素中使用 id 属性来指定唯一的 ID,然后在 CSS 中使用 #ID 来选择元素。例如,使用 #header 选择具有 ID 为 “header” 的元素。...可以使用 > 将多个选择器组合在一起,表示元素的直接子元素关系。例如,使用 ul > li 选择 元素中的直接子元素 元素。...a:hover { text-decoration: underline; } 这些是一些常用的 CSS 选择器,通过结合使用它们,可以精确地选择特定的元素或元素组来应用样式。

    10410

    第91天:CSS3 属性选择器、伪类选择器和伪元素选择器

    除了以前学过的:link、:active、:visited、:hover,CSS3又新增了其它的伪类选择器。...;(使用不是非常广泛) 没有任何的子元素,包括空格. 3、目标伪类 E:target 结合锚点进行使用,处于当前锚点的元素会被选中;       CSS (...层叠样式表)   CSS (层叠样式表)  h2:target{     color:red;   } 三、nth选择器 :first-child...四、伪元素选择器 重点:E::before、E::after 是一个行内元素,需要转换成块元素 E:after、E:before 在旧版本里是伪类,在新版本里是伪元素,新版本下E:after、E:before...,并且没有伪元素的概念       CSS3中 提出伪元素的概念 E::before和E::after,并且归属到了伪元素当中,伪类里就不再存在E:before或者   E:after伪类;

    1.6K30
    领券