python爬取舔狗语录初识selenium

小王不头秃

发布于 2024-06-19 16:46:36

1240

发布于 2024-06-19 16:46:36

文章被收录于专栏：后端/图像融合/机器学习/爬虫后端/图像融合/机器学习/爬虫

前言

首先咱们先看看舔狗的卑微经历吧

看看这卑微的聊天记录，就是那种你发十句，别人不稀得回一句的那种，虽然是舔狗吧，但也玩出花吗，最近刚发现了一个舔狗网站，来看看怎么把舔狗玩出花吧

分析页面

其实很简单的一个页面，总的流程就是实现点击换页，然后进行文本的获取先来看看页面

主要就是两步，通过xpath获取到文本和按钮，然后进行分别操作，先来写一下xpath

因为整个页面只有一个按钮标签，所以获取按钮的xpath很简单，如下图所示

然后来获取文本内容，与按钮相同，该页面中也只有一个article标签，所以很容易写xpath，如下图，很简单就拿到了

这样其实就完成了，然后接下来就可以开始写代码了

主要代码

selenium伪装

url = 'https://www.nihaowua.com/dog.html'
    # 躲避智能检测
    option = webdriver.ChromeOptions()
    # option.headless = True
    option.add_experimental_option('excludeSwitches', ['enable-automation'])
    option.add_experimental_option('useAutomationExtension', False)
    driver = webdriver.Chrome(options=option)
    driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
                           {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
                            })
    driver.get(url)

获取文本内容

text = driver.find_element(By.XPATH, '//article')
print(text.text)

获取按钮并点击

 button = driver.find_element(By.XPATH, '//button')
 button.click()

完整代码

    url = 'https://www.nihaowua.com/dog.html'
    # 躲避智能检测
    option = webdriver.ChromeOptions()
    # option.headless = True
    option.add_experimental_option('excludeSwitches', ['enable-automation'])
    option.add_experimental_option('useAutomationExtension', False)
    driver = webdriver.Chrome(options=option)
    driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
                           {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
                            })
    driver.get(url)
    i = 0;
    while 1:
        text = driver.find_element(By.XPATH, '//article')
        print(text.text)
        value = text.text
        button = driver.find_element(By.XPATH, '//button')
        button.click()
        time.sleep(1)
        driver.switch_to.window(driver.window_handles[0])