首页
学习
活动
专区
圈层
工具
发布

用Python+Selenium下载网盘特定标题的PDF文件

我想要从百度云网盘上下载一些有特定标题的PDF文件,用来做数据分析。但是百度云网盘的下载速度很慢,而且有些文件需要付费才能下载。...所以我决定用Python和Selenium来写一个爬虫程序,自动化地搜索和下载我想要的文件。为了防止被百度云网盘检测到,我还使用了代理IP来隐藏我的真实IP地址。...PDF文件的标题(请替换为你想要的标题) title = "your_title" search_input = wait.until(EC.visibility_of_element_located(...文件并点击 pdf_files = driver.find_elements_by_css_selector(".file-name .file-name-text") for pdf_file in...pdf_files: if pdf_file.text.endswith(".pdf"): pdf_file.click() break # 点击下载按钮 download_button

1K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    利用selenium webdriver下载不同类型的文件(pdf,txt等等)

    很多时候你需要从网站上下载不同种类的文件,像是MS Excel file, MS Word File, Zip file, PDF file, CSV file, Text file, 等等。...如果手动下载,会弹出一个保存文件的对话框。 现在,selenium webdriver还不能处理这样的对话框。...不过,你可以用别的好的selenium webdriver的特点去很轻松的下载文件,而不用处理这个对话框。在了解这些特点之前,我们先来看看文件的MIME类型。...用selenium webdriver时, 你必须提供文件的MIME类型。有很多工具可以检测到文件的MIME类型。可以搜索MIME checker来找到合适的工具。...webdriver下载不同类型的文件(pdf,txt等等)的代码实例 FirefoxProfile fprofile = new FirefoxProfile(); //Set Location to

    2K10

    Python批量爬虫下载PDF文件代码实现

    没想到刚开始就遇到了困难,Excel中的超链接读到Python中直接显示成了中文。 所以第一步就是把超链接对应的网址梳理出来,再用Python去爬取对应网址的pdf。...第一步已经在上一篇文章中进行了详细说明,本文分享批量爬虫下载文件的第二步,详细代码介绍。...pdf的按钮 接着模拟使用Chrome浏览器登录,用代码打开第一个网址,并模拟人进行点击下载,具体代码如下: import json import time import random from captcha...三、写循环批量下载所有文件 写循环批量下载所有文件,最简单的方式是遍历所有网址,模拟点击下载pdf,代码如下: for i in range(0,1000): print(i) #打开搜索页...: 至此,Python批量爬虫下载PDF文件代码实现已经讲解完毕,感兴趣的同学可以自己实现一遍。

    3.6K10

    使用python合并多个pdf文件

    今天需要整理一份资料,需要把多个pdf合并为一个,wps这些软件自然是有这个功能,但一般都是收费的,百度上也有很多网站,但资料上传到别人的网站,始终觉得还是不太可靠,故自己搜索了一下使用python来处理...pdf文件,故此分享这个方法 python处理pdf需要用到一个PyPDF2的库,故首先安装这个第三方库 安装这些第三方库推荐使用国内的源,比如清华、豆瓣、百度、华为等 pip install PyPDF2...target_path = r'pdf' ## pdf目录文件 pdf_lst = [f for f in os.listdir(target_path) if f.endswith('.pdf'...() for pdf in pdf_lst: file_merger.append(pdf,import_bookmarks=False) # 合并pdf文件 file_merger.write...(r"合并文件.pdf") 注意一下: 合并的时候,pdf_lst 是根据文件的名称来排序生成,如果对于pdf文件合成顺序有要求,建议吧文件按照期望的合成顺序编号1 2 3这样,方便一些 比如像下面这种

    3.2K10

    使用Python合并任意多个PDF文件

    在工作中,经常会遇到合并pdf文件的需求,这时候你会发现不是一件很容易完成的任务。包括WPS、福昕阅读器在内的很多软件都有合并pdf文件的功能,但是只有交钱变成会员之后才能使用,否则只能合并3页。...有不少网站提供了在线合并pdf文件的功能,但也是必须交钱才能用。还有的显示合并成功,但就是无法下载。如果你会一点Python,就会发现这是一件很容易的事,并且不用花一分钱。...功能描述: 使用Python合并任意多个PDF文件。 详细步骤: 1、安装扩展库PyPDF2。 ? 2、编写代码。 ?...3、把代码中pdf_files的内容改成自己要合并pdf文件名,运行代码,一眨眼,合并完成。

    5.2K20

    使用Python拆分和合并PDF文件

    安装Python库并将PDF文件装载到Python中 我们将使用PyPDF4库来处理PDF文件。...在本例中,使用的示例名为data-1.pdf(有兴趣的朋友可以到知识星球完美Excel社群中下载该文件,也可以自己制作一个用于演示的文件)。...从PDF文件中获取页面 我们可以使用pdf.getPage()从pdf对象获取特定页面。记住,Python索引从0开始,而不是1,因此许多Python库都遵循此约定。...图2:使用Python从PDF文件中获取页面 创建并保存PDF文件 现在我们已经成功地从PDF中提取了一个页面。...结果表明PyPDF4库中有一个bug,每次保存完PDF文件并想保存另一个文件时,都必须重新创建PdfileReader()对象。这里,我们看到这个错误是因为之前保存了一个一页的PDF文件。

    3.3K10

    selenium+python自动化79-文件下载(SendKeys)

    前言 文件下载时候会弹出一个下载选项框,这个弹框是定位不到的,有些元素注定定位不到也没关系,就当没有鼠标,我们可以通过键盘的快捷键完成操作。...一、下载场景 1.当点到下载按钮时候,会弹出如下页面 ?...2.如果想点“保存文件”按钮,解决问题思路: - 先按TAB键,移动光标聚焦到保存按钮上 - 再按下ENTER键,这样就能保存了 3.SendKeys的环境安装看这篇:Selenium2+python自动化...75-非input文件上传(SendKeys) 二、代码实现 # coding:utf-8 from selenium import webdriver import SendKeys import...driver.get("https://www.autoitscript.com/files/autoit3/autoit-v3-setup.exe") time.sleep(3) # 默认在取消按钮上,先切换到保存文件上

    1.6K60

    使用Python提取PDF文件里的内容

    PDF文件,是我们工作和学习中经常见到的文件。阅读体验非常好。 常用的Python操作PDF文件的第三方库,包含pyPdf、pyPdf2、pyPdf3、pyPdf4、pdfrw。...这次主要用pyPdf2来提取PDF文件属性信息,如:文件名、标题、作者、PDF创建者、页数。...现在让我们继续学习如何从PDF中提取一些信息。 二、提取内容 你可以使用PyPDF2从PDF中提取元数据和一些文本。当你对现有PDF文件执行某些类型的自动化时,这将非常有用。...让我们用PDF编写一些代码,学习如何访问这些属性: from PyPDF2 import PdfFileReader def extract_info(pdf_path): with open...(pdf_path,'rb') as f: pdf = PdfFileReader(f) information = pdf.getDocumentInfo()

    4.4K30

    使用Python从PDF文件中提取数据

    然而,由于可移植文档格式(pdf)文件是最常用的文件格式之一,因此每个数据科学家都应该了解如何从pdf文件中提取数据,并将数据转换为诸如“csv”之类的格式,以便用于分析或构建模型。...在本文中,我们将重点讨论如何从pdf文件中提取数据表。类似的分析可以用于从pdf文件中提取其他类型的数据,如文本或图像。...我们将说明如何从pdf文件中提取数据表,然后将其转换为适合于进一步分析和构建模型的格式。我们将给出一个实例。 ?...02 示例:使用Python从PDF文件中提取一个表格 a)将表复制到Excel并保存为table_1_raw.csv ? 数据以一维格式存储,必须进行重塑、清理和转换。.../extracting-data-from-pdf-file-using-python-and-r-4ed8826bc5a1

    5.9K20

    selenium+python自动化99--文件下载弹窗处理(PyKeyboard)

    前言 在web自动化下载操作时,有时候会弹出下载框,这种下载框不属于web的页面,是没办法去定位的(有些同学一说到点击,脑袋里面就是定位!定位!定位!)...有时候我们并不是非要去定位到这个按钮再去点击,学会使用键盘的快捷键操作,也能达到一样的效果。...之前讲过一篇Selenium2+python自动化75-非input文件上传(SendKeys)这个当时是基于python2写的。...最近很多小伙伴开始用python3了,这个SendKeys在python3上没法用,python3需要用PyUserInput,详细安装教程地址Selenium+python自动化84-python3.6...driver.get("https://www.autoitscript.com/files/autoit3/autoit-v3-setup.exe") time.sleep(3) # 默认在取消按钮上,先切换到保存文件上

    2.5K30

    《selenium2 python 自动化测试实战》(14)——下载文件

    下载文件 下载文件的代码网上一找一大堆,但是要想找能写下载例子的网站就不容易找了……找到了还得调通了,真的很麻烦……先抱怨两句 先看代码: # coding: utf-8...browser.download.folderList 设置Firefox的默认下载文件夹。0是桌面;1是“我的下载”;2是自定义。...这一选项你可以直接在“首选项-下载-将所有文件保存在此文件夹”中修改。但请注意,如果你在“首选项-下载-保存每个文件夹前询问存储位置“(也就是要求弹出下载对话框),那么本选项无效。...browser.download.manager.showWhenStarting 当下载开始时是否显示下载对话框,Ture是显示。...application/pdf 文件一般就这几种吧,大家在下载对应文件的时候只要将上面代码第二个参数换成对应的文件类型的就可以直接跳过弹出框自动下载了。

    1.6K80

    selenium+python自动化80-文件下载(不弹询问框)

    前言 上一篇是点弹出框上的按钮去保存文件,本篇介绍一种更加优雅的方法,加载Firefox和Chrome的配置文件,不弹出询问框后台下载。...一、FirefoxProfile 1.点下载的时候,如下图,如果不想让它弹出这个询问框,可以加载firefox的配置文件隐藏起来 ?...二、文件类型 1.第四个参数文件类型这里一定要注意了,下载的不同文件类型,参数是不一样的,可以查阅:MIME 参考手册 http://www.w3school.com.cn/media/media_mimeref.asp...三、Firefox配置 # coding:utf-8 from selenium import webdriver # 设置各项参数,参数可以通过在浏览器地址栏中输入about:config查看。...driver.find_element_by_id("download-btn").click() 四、Chrome配置 # coding:utf-8 from selenium import webdriver

    2.3K50
    领券