。
首先,我们需要导入所需的库和模块。在Python中,我们可以使用csv
模块来处理CSV文件,使用requests
库来发送HTTP请求并获取URL的状态代码,使用BeautifulSoup
库来解析HTML并获取标题。
import csv
import requests
from bs4 import BeautifulSoup
接下来,我们需要打开CSV文件并读取其中的URL列表。假设CSV文件的路径为urls.csv
,URL所在的列为url
,可以使用csv
模块的reader
函数来读取CSV文件。
with open('urls.csv', 'r') as file:
reader = csv.DictReader(file)
for row in reader:
url = row['url']
然后,我们可以使用requests
库发送HTTP请求并获取URL的状态代码。可以使用get
函数来发送GET请求,并使用status_code
属性来获取状态代码。
response = requests.get(url)
status_code = response.status_code
接下来,我们可以使用BeautifulSoup
库解析HTML并获取标题。可以使用BeautifulSoup
函数来解析HTML,然后使用find
函数来找到标题元素,并使用text
属性来获取标题文本。
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('title').text
最后,我们可以打印URL的标题和状态代码。
print(f"URL: {url}")
print(f"Title: {title}")
print(f"Status Code: {status_code}")
完整的代码如下:
import csv
import requests
from bs4 import BeautifulSoup
with open('urls.csv', 'r') as file:
reader = csv.DictReader(file)
for row in reader:
url = row['url']
response = requests.get(url)
status_code = response.status_code
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('title').text
print(f"URL: {url}")
print(f"Title: {title}")
print(f"Status Code: {status_code}")
这段代码将逐行读取CSV文件中的URL,并发送HTTP请求获取标题和状态代码,并将其打印出来。
对于腾讯云的相关产品,可以使用腾讯云提供的云服务器(CVM)来运行Python脚本,使用云数据库(TencentDB)来存储CSV文件和结果数据,使用云函数(SCF)来定时执行脚本,使用云监控(Cloud Monitor)来监控脚本的执行情况。
腾讯云产品链接:
领取专属 10元无门槛券
手把手带您无忧上云