最近学到了一个新鲜玩意,Python网页爬取数据脚本,今天我们就来试一试,python爬取数据到底有多方便。
下面直接放源代码:
from selenium import webdriver
from urllib import request
import re
import os
import datetime
print(datetime.datetime.now())
# 文档路径
filedir = "d:\\tsldrb_pic\\"
if not os.path.exists(filedir):
os.makedirs(filedir)
f = open("d:\\urls.txt", "r", encoding='utf-8')
urls = f.readlines()
for url in urls:
print(url.replace('\n', ''))
driver = webdriver.Chrome()
driver.maximize_window()
driver.get(url)
data_content = request.urlopen(url.replace('\n', ''))
content_text = data_content.read().decode()
result_title_time = re.search('(?<=content/).*(?=/content)', url.replace('\n', '')) # 匹配content/和/content间时间
result_title = re.search('(?<=">).*(?=</h2)', content_text) # 匹配">和</h2间的标题
result_title_time.group().replace('/', '')
pic_name = result_title_time.group().replace('/', '') + result_title.group().replace(' ', '') + '.png'
driver.get_screenshot_as_file(filedir + pic_name)
driver.close()
print(datetime.datetime.now())
使用教程:
打开此电脑,随便到哪个目录新创一个txt文件,例如我这里使用的是E盘:
创建完之后在里面输入多个网址,并用“,”隔开:
另外下载pycharm,复制代码即可完成爬取txt文档里的多个网页数据。
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有