抓取Google搜索结果的问题可以通过使用Python编程语言和美汤(BeautifulSoup)库来解决。
下面是一个使用Python和美汤库抓取Google搜索结果的示例代码:
import requests
from bs4 import BeautifulSoup
def get_google_search_results(query):
url = f"https://www.google.com/search?q={query}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
search_results = soup.find_all("div", class_="g")
for result in search_results:
title = result.find("h3").text
link = result.find("a")["href"]
print(f"Title: {title}")
print(f"Link: {link}")
print("-----")
# 调用函数进行搜索结果抓取
get_google_search_results("python web scraping")
以上代码使用requests库发送HTTP请求获取Google搜索页面的HTML内容,然后使用美汤库解析HTML并提取搜索结果的标题和链接。最后,打印出每个搜索结果的标题和链接。
请注意,抓取Google搜索结果可能涉及到一些法律和道德问题,建议在合法和合规的前提下使用该功能。
领取专属 10元无门槛券
手把手带您无忧上云