Selenium是一个用于自动化Web应用程序测试的工具,它可以模拟真实的用户在浏览器中进行各种操作,如点击、输入、滚动等。Selenium支持多种浏览器,如Chrome、Firefox、Edge等,但是每种浏览器都需要相应的驱动程序才能与Selenium进行通信。本文将介绍如何在Selenium中使用Chrome浏览器,并且设置代理服务器来避免被目标网站识别。
要使用Selenium自动化Chrome浏览器,首先需要下载Chrome的驱动程序,即chromedriver,可以从这里下载:https://chromedriver.chromium.org/downloads 下载后,将chromedriver.exe文件放在一个合适的位置,并记住其路径。
然后,需要导入Selenium的Java库,可以使用Maven或Gradle来管理依赖。这里以Maven为例,只需在pom.xml文件中添加以下代码:
<dependencies>
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>4.1.0</version>
</dependency>
</dependencies>
接下来,需要创建一个WebDriver对象,用于控制Chrome浏览器。为了设置代理服务器,需要创建一个ChromeOptions对象,并使用setProxy方法来指定代理信息。代理信息可以使用Proxy类来构造,需要设置代理类型、主机名、端口号、用户名和密码。以下是一个示例代码,实现抖音关键词搜索,并将搜索获取的结果进行分析,存入Excel文件:
import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.openqa.selenium.By;
import org.openqa.selenium.Proxy;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
public class SeleniumDemo {
// 爬虫代理
// 亿牛云 代理服务器
final static String proxyUser = "16YUN";
final static String proxyPass = "16IP";
// 代理服务器
final static String proxyHost = "www.16yun.cn";
final static int proxyPort = 31111;
public static void main(String[] args) throws IOException {
// 设置chromedriver的路径
System.setProperty("webdriver.chrome.driver", "D:\\chromedriver.exe");
// 创建一个Proxy对象,用于设置代理信息
Proxy proxy = new Proxy();
// 设置代理类型为MANUAL,表示手动设置代理
proxy.setProxyType(Proxy.ProxyType.MANUAL);
// 设置http和https协议的代理主机名和端口号
proxy.setHttpProxy(proxyHost + ":" + proxyPort);
proxy.setSslProxy(proxyHost + ":" + proxyPort);
// 设置代理的用户名和密码
proxy.setSocksUsername(proxyUser);
proxy.setSocksPassword(proxyPass);
// 创建一个ChromeOptions对象,用于设置Chrome浏览器的选项
ChromeOptions options = new ChromeOptions();
// 使用setProxy方法来指定代理信息
options.setProxy(proxy);
// 创建一个WebDriver对象,用于控制Chrome浏览器,并传入options参数
WebDriver driver = new ChromeDriver(options);
// 添加一个隐式等待,用于等待页面元素加载完成
driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);
// 使用get方法来打开抖音网页版首页
driver.get("https://www.douyin.com/");
// 使用findElement方法,根据id属性,找到搜索框元素,并使用sendKeys方法输入关键词“猫”
WebElement searchBox = driver.findElement(By.id("search-input"));
searchBox.sendKeys("猫");
// 使用findElement方法,根据class属性,找到搜索按钮元素,并使用click方法点击搜索
WebElement searchButton = driver.findElement(By.className("search-btn"));
searchButton.click();
// 使用findElements方法,根据class属性,找到所有的视频列表元素,并存入一个List中
List<WebElement> videoList = driver.findElements(By.className("video-card"));
// 创建一个List对象,用于存储每个视频的信息
List<VideoInfo> videoInfoList = new ArrayList<>();
// 遍历每个视频元素,获取其标题、作者、点赞数、评论数等信息,并创建一个VideoInfo对象,并添加到videoInfoList中
for (WebElement video : videoList) {
// 获取视频标题
String title = video.findElement(By.className("video-card-title")).getText();
// 获取视频作者
String author = video.findElement(By.className("video-card-user-name")).getText();
// 获取视频点赞数
String likes = video.findElement(By.className("video-card-like-count")).getText();
// 获取视频评论数
String comments = video.findElement(By.className("video-card-comment-count")).getText();
// 创建一个VideoInfo对象,并设置相应的属性
VideoInfo videoInfo = new VideoInfo();
videoInfo.setTitle(title);
videoInfo.setAuthor(author);
videoInfo.setLikes(likes);
videoInfo.setComments(comments);
// 将VideoInfo对象添加到videoInfoList中
videoInfoList.add(videoInfo);
}
// 创建一个Workbook对象,用于表示一个Excel文件,并使用XSSFWorkbook类来创建一个xlsx格式的文件
Workbook workbook = new XSSFWorkbook();
// 创建一个Sheet对象,用于表示一个工作表,并命名为“抖音视频”
Sheet sheet = workbook.createSheet("抖音视频");
// 在Sheet对象中创建第一行,并设置单元格的值为标题、作者、点赞数、评论数等字段名
Row headerRow = sheet.createRow(0);
headerRow.createCell(0).setCellValue("标题");
headerRow.createCell(1).setCellValue("作者");
headerRow.createCell(2).setCellValue("点赞数");
headerRow.createCell(3).setCellValue("评论数");
// 在Sheet对象中创建后续的行,并根据videoInfoList中的数据,设置单元格的值为对应的视频信息
for (int i = 0; i < videoInfoList.size(); i++) {
// 获取第i个VideoInfo对象
VideoInfo videoInfo = videoInfoList.get(i);
// 在Sheet对象中创建第i+1行
Row row = sheet.createRow(i + 1);
// 设置单元格的值为VideoInfo对象的属性值
row.createCell(0).setCellValue(videoInfo.getTitle());
row.createCell(1).setCellValue(videoInfo.getAuthor());
row.createCell(2).setCellValue(videoInfo.getLikes());
row.createCell(3).setCellValue(videoInfo.getComments());
}
// 使用FileOutputStream对象,将Workbook对象写入到一个指定的文件中,并关闭流
FileOutputStream fileOut = new FileOutputStream("douyin.xlsx");
workbook.write(fileOut);
fileOut.close();
// 关闭浏览器
driver.quit();
}
}
// 定义一个VideoInfo类,用于封装视频信息
class VideoInfo {
private String title; // 标题
private String author; // 作者
private String likes; // 点赞数
private String comments; // 评论数
public VideoInfo() {
}
public VideoInfo(String title, String author, String likes, String comments) {
this.title = title;
this.author = author;
this.likes = likes;
this.comments = comments;
}
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title;
}
public String getAuthor() {
return author;
}
public void setAuthor(String author) {
this.author = author;
}
public String getLikes() {
return likes;
}
public void setLikes(String likes) {
this.likes = likes;
}
public String getComments() {
return comments;
}
public void setComments(String comments) {
this.comments = comments;
}
}
代码说明
总结
本文介绍了如何在Selenium中使用Chrome浏览器,并且设置代理服务器来避免被目标网站识别。运行上述代码,可以看到Chrome浏览器自动打开www.douyin.com,并且将视频的标题、作者、点赞数、评论数等信息存入文件,这说明我们成功地访问目标网站。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。