前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何在Selenium自动化Chrome浏览器中模拟用户行为和交互?

如何在Selenium自动化Chrome浏览器中模拟用户行为和交互?

原创
作者头像
jackcode
发布2023-07-26 14:26:07
8530
发布2023-07-26 14:26:07
举报
文章被收录于专栏:爬虫资料
亿牛云代理
亿牛云代理

Selenium是一个用于自动化Web应用程序测试的工具,它可以模拟真实的用户在浏览器中进行各种操作,如点击、输入、滚动等。Selenium支持多种浏览器,如Chrome、Firefox、Edge等,但是每种浏览器都需要相应的驱动程序才能与Selenium进行通信。本文将介绍如何在Selenium中使用Chrome浏览器,并且设置代理服务器来避免被目标网站识别。

要使用Selenium自动化Chrome浏览器,首先需要下载Chrome的驱动程序,即chromedriver,可以从这里下载:https://chromedriver.chromium.org/downloads 下载后,将chromedriver.exe文件放在一个合适的位置,并记住其路径。

然后,需要导入Selenium的Java库,可以使用Maven或Gradle来管理依赖。这里以Maven为例,只需在pom.xml文件中添加以下代码:

代码语言:html
复制
<dependencies>
    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-java</artifactId>
        <version>4.1.0</version>
    </dependency>
</dependencies>

接下来,需要创建一个WebDriver对象,用于控制Chrome浏览器。为了设置代理服务器,需要创建一个ChromeOptions对象,并使用setProxy方法来指定代理信息。代理信息可以使用Proxy类来构造,需要设置代理类型、主机名、端口号、用户名和密码。以下是一个示例代码,实现抖音关键词搜索,并将搜索获取的结果进行分析,存入Excel文件:

代码语言:java
复制
import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.openqa.selenium.By;
import org.openqa.selenium.Proxy;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;

import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class SeleniumDemo {

    // 爬虫代理
    // 亿牛云 代理服务器
    final static String proxyUser = "16YUN";
    final static String proxyPass = "16IP";

    // 代理服务器
    final static String proxyHost = "www.16yun.cn";
    final static int proxyPort = 31111;

    public static void main(String[] args) throws IOException {
        // 设置chromedriver的路径
        System.setProperty("webdriver.chrome.driver", "D:\\chromedriver.exe");

        // 创建一个Proxy对象,用于设置代理信息
        Proxy proxy = new Proxy();
        // 设置代理类型为MANUAL,表示手动设置代理
        proxy.setProxyType(Proxy.ProxyType.MANUAL);
        // 设置http和https协议的代理主机名和端口号
        proxy.setHttpProxy(proxyHost + ":" + proxyPort);
        proxy.setSslProxy(proxyHost + ":" + proxyPort);
        // 设置代理的用户名和密码
        proxy.setSocksUsername(proxyUser);
        proxy.setSocksPassword(proxyPass);

        // 创建一个ChromeOptions对象,用于设置Chrome浏览器的选项
        ChromeOptions options = new ChromeOptions();
        // 使用setProxy方法来指定代理信息
        options.setProxy(proxy);

        // 创建一个WebDriver对象,用于控制Chrome浏览器,并传入options参数
        WebDriver driver = new ChromeDriver(options);

        // 添加一个隐式等待,用于等待页面元素加载完成
        driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);

        // 使用get方法来打开抖音网页版首页
        driver.get("https://www.douyin.com/");

        // 使用findElement方法,根据id属性,找到搜索框元素,并使用sendKeys方法输入关键词“猫”
        WebElement searchBox = driver.findElement(By.id("search-input"));
        searchBox.sendKeys("猫");

        // 使用findElement方法,根据class属性,找到搜索按钮元素,并使用click方法点击搜索
        WebElement searchButton = driver.findElement(By.className("search-btn"));
        searchButton.click();

        // 使用findElements方法,根据class属性,找到所有的视频列表元素,并存入一个List中
        List<WebElement> videoList = driver.findElements(By.className("video-card"));

        // 创建一个List对象,用于存储每个视频的信息
        List<VideoInfo> videoInfoList = new ArrayList<>();

        // 遍历每个视频元素,获取其标题、作者、点赞数、评论数等信息,并创建一个VideoInfo对象,并添加到videoInfoList中
        for (WebElement video : videoList) {
            // 获取视频标题
            String title = video.findElement(By.className("video-card-title")).getText();
            // 获取视频作者
            String author = video.findElement(By.className("video-card-user-name")).getText();
            // 获取视频点赞数
            String likes = video.findElement(By.className("video-card-like-count")).getText();
            // 获取视频评论数
            String comments = video.findElement(By.className("video-card-comment-count")).getText();
            // 创建一个VideoInfo对象,并设置相应的属性
            VideoInfo videoInfo = new VideoInfo();
            videoInfo.setTitle(title);
            videoInfo.setAuthor(author);
            videoInfo.setLikes(likes);
            videoInfo.setComments(comments);
            // 将VideoInfo对象添加到videoInfoList中
            videoInfoList.add(videoInfo);
        }

        // 创建一个Workbook对象,用于表示一个Excel文件,并使用XSSFWorkbook类来创建一个xlsx格式的文件
        Workbook workbook = new XSSFWorkbook();

        // 创建一个Sheet对象,用于表示一个工作表,并命名为“抖音视频”
        Sheet sheet = workbook.createSheet("抖音视频");

        // 在Sheet对象中创建第一行,并设置单元格的值为标题、作者、点赞数、评论数等字段名
        Row headerRow = sheet.createRow(0);
        headerRow.createCell(0).setCellValue("标题");
        headerRow.createCell(1).setCellValue("作者");
        headerRow.createCell(2).setCellValue("点赞数");
        headerRow.createCell(3).setCellValue("评论数");

        // 在Sheet对象中创建后续的行,并根据videoInfoList中的数据,设置单元格的值为对应的视频信息
        for (int i = 0; i < videoInfoList.size(); i++) {
            // 获取第i个VideoInfo对象
            VideoInfo videoInfo = videoInfoList.get(i);
            // 在Sheet对象中创建第i+1行
            Row row = sheet.createRow(i + 1);
            // 设置单元格的值为VideoInfo对象的属性值
            row.createCell(0).setCellValue(videoInfo.getTitle());
            row.createCell(1).setCellValue(videoInfo.getAuthor());
            row.createCell(2).setCellValue(videoInfo.getLikes());
            row.createCell(3).setCellValue(videoInfo.getComments());
        }

        // 使用FileOutputStream对象,将Workbook对象写入到一个指定的文件中,并关闭流
        FileOutputStream fileOut = new FileOutputStream("douyin.xlsx");
        workbook.write(fileOut);
        fileOut.close();

        // 关闭浏览器
        driver.quit();
    }
}

// 定义一个VideoInfo类,用于封装视频信息
class VideoInfo {
    private String title; // 标题
    private String author; // 作者
    private String likes; // 点赞数
    private String comments; // 评论数

    public VideoInfo() {
    }

    public VideoInfo(String title, String author, String likes, String comments) {
        this.title = title;
        this.author = author;
        this.likes = likes;
        this.comments = comments;
    }

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public String getAuthor() {
        return author;
    }

    public void setAuthor(String author) {
        this.author = author;
    }

    public String getLikes() {
        return likes;
    }

    public void setLikes(String likes) {
        this.likes = likes;
    }

    public String getComments() {
        return comments;
    }

    public void setComments(String comments) {
        this.comments = comments;
    }
}

代码说明

  • 导入Apache POI的Java库,用于操作Excel文件
  • 在WebDriver对象创建后,添加一个隐式等待,用于等待页面元素加载完成
  • 使用WebDriver对象的findElement方法,根据元素的id或class属性,找到搜索框和搜索按钮,并使用sendKeys和click方法,输入关键词并点击搜索
  • 使用WebDriver对象的findElements方法,根据元素的class属性,找到所有的视频列表,并遍历每个视频,获取其标题、作者、点赞数、评论数等信息,并存入一个List中
  • 创建一个Workbook对象,用于表示一个Excel文件,并创建一个Sheet对象,用于表示一个工作表
  • 在Sheet对象中创建第一行,并设置单元格的值为标题、作者、点赞数、评论数等字段名
  • 在Sheet对象中创建后续的行,并根据List中的数据,设置单元格的值为对应的视频信息
  • 使用FileOutputStream对象,将Workbook对象写入到一个指定的文件中

总结

本文介绍了如何在Selenium中使用Chrome浏览器,并且设置代理服务器来避免被目标网站识别。运行上述代码,可以看到Chrome浏览器自动打开www.douyin.com,并且将视频的标题、作者、点赞数、评论数等信息存入文件,这说明我们成功地访问目标网站。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云服务器
云服务器(Cloud Virtual Machine,CVM)提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源,适应变化的业务需求,并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档