爬取美国公司案例-parsel库教学篇（Xpath的详细使用）

原创

laity

修改于 2025-01-16 15:29:48

7300

代码可运行

文章被收录于专栏：爬虫爬虫

运行总次数：0

代码可运行

@TOC

前言

本文分享一个爬虫案例，通过使用parsel库中的xpath来爬取美国排名前一百名的公司，来详细解释下Xpath的使用。

Xpath的使用

Xpath的介绍

XPath 是一门在 XML /HTML文档中查找信息的语言。

Xpath节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

看下面这个HTML文档

<!DOCTYPE html>
<html > // 根节点
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title lang='eng'>我是标题</title> // 元素节点
</head>
<body>
    
    <div class="ancestor"> // class为属性节点
        <div id="father">
            <a href="https:xx.xxx.com">哈喽</a> // href为属性节点
            <h1>在你的身边</h1>  // h1标签内的文字为文本
           <div class="son">
           <div>ping<div/>
            <span>多幸运</span>
           </div>
        </div>
    </div>
</body>
</html>

元素之间会有一些节点关系，下面是常见的节点关系：

父节点：每个元素以及属性都有一个父。在上面的例子中，id为father的div元素是 a、h1、div 以及 span元素的父节点
子节点：元素节点可有零个、一个或多个子。在上面的例子中，a、h1、div 以及 span元素是id为father的div元素的子节点
兄弟节点：拥有相同的父的节点。在上面的例子中，a、h1、div 以及 span元素都是兄弟节点
祖先 - 子孙节点：就是至少隔两代的元素节点，比如父节点的父节点和子节点的子节点。再上面的例子中，html元素节点就是 a、h1、div 以及 span元素的的祖先节点，反之。

Xpath语法

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的，下面列出一些常用的路径表达式。

路径表达式	描述
/	从根节点选取（取子节点）
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

下面来举几个例子来讲讲下xpath的应用：

"/html":选取根元素

"//div": 选取所有 div子元素，而不管它们在文档中的位置。

"//div@class='ancestor'":选取class为ancestor的所有div元素

"//div@class='ancestor'//div":选取class为ancestor的div元素下的所有div元素（不管什么位置）

"//title@lang='eng'":选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性

"//div@class='ancestor'//div@id='father'/*":选取class为ancestor的div元素下id为father的div元素下的所有元素

"//div@class='ancestor'/div2":选取class为ancestor的div元素下的第二个div元素

实战应用

下面通过一个实战应用来继续熟悉下Xpath的使用：通过爬取美国排名前一百的公司，公司名字，公司市值，公司所属国家等数据。也会附上找到xpath的路径截图。

完整源码

import requests # 数据请求库
import parsel  # 数据解析库

# 目标网站
url='https://companiesmarketcap.com/'
# 请求体，用于伪装浏览器访问
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
}
# 响应数据
response = requests.get(url=url, headers=headers)
# 实例化对象
selector = parsel.Selector(response.text)
# 利用xpath先获取所有名字的selector对象
name=selector.xpath("//div[@class='company-name']")
# 再利用css选择器来获取所有的文字：即美国排名前一百的公司名称
name_detail=name.css('*::text').getall()

# 获取美国前一百公司的市值,利用xpath获取：后面附图具体讲解了每个元素的定位
value_data=selector.xpath("//td[@class='td-right']")
#  再利用css选择器获取所有市值，储存到value_detail列表中
value_detail=value_data.css('*::text').getall()

# 获取每个公司的所属国家
fallGains = selector.xpath("//span[@class='responsive-hidden']")
fallGains=fallGains.css('*::text').getall()

# 对列表进行遍历 输出公司名称和市值
for num in range(1,101):
    new_num=3*num-2
    name_company=name_detail[num-1]
    print(f"美国公司第{num}名：{name_company},市值为：{value_detail[new_num]},所属国家为：{fallGains[num]}")