Selenium自动化防爬技巧：从入门到精通，保障爬虫稳定运行，通过多种方式和add_argument参数设置来达到破解防爬的目的

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# Chrome浏览器
chrome_options = Options()
chrome_options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')
driver = webdriver.Chrome(options=chrome_options)

# Firefox浏览器（类似设置）
# from selenium.webdriver.firefox.options import Options
# firefox_options = Options()
# firefox_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')
# driver = webdriver.Firefox(options=firefox_options)

driver.set_window_size(1280, 1024)  # 设置浏览器窗口大小为1280x1024

chrome_prefs = {}
chrome_options.add_experimental_option("prefs", chrome_prefs)
chrome_prefs["profile.default_content_settings.images"] = 2  # 2代表禁用图片

from seleniumwire import webdriver

driver = webdriver.Chrome()
driver.options.add_argument('--proxy-server=http://your-proxy-server:port')
# 注意：selenium-wire的使用方式可能与原生Selenium有所不同，具体请参考其文档

from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 假设已经定位到一个可点击的元素
element = driver.find_element(By.ID, "clickable-element")
element.click()

# 等待页面加载完成（示例）
wait = WebDriverWait(driver, 10)
wait.until(EC.visibility_of_element_located((By.ID, "some-other-element")))

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

driver = webdriver.Chrome()
driver.get("你的网页URL")

# 使用显式等待等待某个元素可见
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "someElementId"))
    )
    # 对元素进行操作...
    element.click()
except Exception as e:
    print(e)

# 在需要的时候使用time.sleep()增加额外的延迟
# 例如，在两次请求之间等待
time.sleep(2)  # 等待2秒

# 继续执行其他操作...

# 脚本结束前关闭浏览器
driver.quit()

import time
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
# 禁用浏览器自动化检测功能，使浏览器无法检测到它是被自动化工具控制的。
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
# 启动Chrome浏览器
driver = webdriver.Chrome(options=chrome_options)
#打开网站
driver.get('https://www.baidu.com/')
#等待10秒（非必须，只是为了演示）
time.sleep(10)
# 关闭浏览器
driver.quit()

import time
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
# 禁用Chrome的自动化扩展，这有助于减少被检测到的风险。
chrome_options.add_experimental_option('useAutomationExtension', False)
# 启动Chrome浏览器
driver = webdriver.Chrome(options=chrome_options)
#打开网站
driver.get('https://www.baidu.com/')
#等待10秒（非必须，只是为了演示）
time.sleep(10)
# 关闭浏览器
driver.quit()

import time
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
# 从Chrome的启动参数中排除enable-automation开关，进一步防止浏览器显示被控制的提示。
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
# 启动Chrome浏览器
driver = webdriver.Chrome(options=chrome_options)
#打开网站
driver.get('https://www.baidu.com/')
#等待10秒（非必须，只是为了演示）
time.sleep(10)
# 关闭浏览器
driver.quit()

import time
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
# 启用无头模式，使Chrome在后台运行，没有可视化窗口。这不仅可以避免被检测，还可以提高测试效率，因为不需要加载和渲染UI界面。
chrome_options.add_argument("--headless") 
# 启动Chrome浏览器
driver = webdriver.Chrome(options=chrome_options)
#打开网站
driver.get('https://www.baidu.com/')
#等待10秒（非必须，只是为了演示）
time.sleep(10)
# 关闭浏览器
driver.quit()

import time
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
# 在某些情况下，特别是Linux系统上，可能需要禁用GPU加速，以确保无头模式能正常工作。
chrome_options.add_argument("--disable-gpu")  
# 启动Chrome浏览器
driver = webdriver.Chrome(options=chrome_options)
#打开网站
driver.get('https://www.baidu.com/')
#等待10秒（非必须，只是为了演示）
time.sleep(10)
# 关闭浏览器
driver.quit()