FTP Urls使用Python批量下载

文章/答案/技术大牛

发布

1回答

python、ftp

我想下载文件从无数的ftp链接使用PYTHON和键入他们不会很容易，因为他们比这些更多 ftp://data-out.unavco.org/pub/rinex/obs/2015/001/adis0010.15d.Zftp://data-out.unavco.org/pub/rinex/obs/2015/002/adis0020.1

浏览 20提问于2021-08-10得票数 0

1回答

查找命令行ftp客户端(linux)

command-line、ftp、download

我希望批量下载大量的文件(>800)。我有一个包含所有文件名列表的文本文件。然后使用这些文件名来派生可从中下载这些文件的URL。我一直在使用python脚本解析文件，使用子进程wget文件。wget ftp://ftp.name.of.site/filename-prefix/filename/filename+suffix 然而，由于我不知道的原因，wget无法正确连接。我想知

浏览 1提问于2013-05-03得票数 1

1回答

使用python下载大量文件

python、download、urllib2

有没有使用python批量下载大量文件的好方法？这段代码足够快，可以下载大约100个文件。但我需要下载30万个文件。显然，它们都是非常小的文件(否则我不会下载300,000个:)，所以真正的瓶颈似乎是这个循环。有谁有什么想法吗？也许使用MPI或线程？import numpy as npimport

浏览 2提问于2014-06-25得票数 10

回答已采纳

4回答

如何搬迁COS文件？

对象存储

COS文件只支持上传，不支持下载，请问要如何将储存在COS上的文件批量下载到本地？

浏览 595提问于2016-04-05

2回答

如何在Ruby中并行递归下载FTP文件夹？

ruby-on-rails、ruby

我需要在ruby本地缓存一个ftp文件夹。现在我正在使用下载ftp文件夹，但是速度太慢了，你们知道有什么库可以并行下载文件夹文件吗？谢谢!

浏览 3提问于2012-11-10得票数 3

回答已采纳

1回答

从列表中读取带有通配符的urls，并使用lftp下载

bash、curl、ftp、wget、lftp

有没有一种方法可以使用lftp通过读取文件中的urls来下载一堆文件？我的输入如下所示： $ cat urls.txtftp://ftp.example.com/234*/*.png ftp://ftp.example.com/345*&#x

浏览 16提问于2020-09-13得票数 0

1回答

如何从FTP位置下载CSV文件并使用存储过程更新表

sql-server、csv、stored-procedures、ftp

我想从FTP位置下载CSV文件，并使用存储过程将数据更新到表中。我不知道该怎么做，也不知道存储过程是不是正确的方法。我已经看过很多帖子了，但大多数帖子都是关于将数据推送到FTP位置。

浏览 1提问于2017-01-18得票数 0

1回答

Python 3 ftplib错误“名称或服务未知”

python、sockets、ftp、ftplib

我正在尝试使用Python 3的ftplib库从FTP服务器下载一个文件。这是相关代码-ftp.login("xxxxx", "xxxxxxx") ftp.cwd

浏览 2提问于2017-12-20得票数 3

1回答

自动批量下载FTP

batch-file、ftp、winscp

我需要每天从我公司的FTP服务器上下载一个文件，我试着通过批处理来做到这一点 open wget --user=USERNAME --password=PASSWORD FTP://000.00.0.0

浏览 20提问于2021-03-26得票数 2

2回答

有没有一种方法可以对FTP对象进行pickle？

python、ftp、multiprocessing、pickle、ftplib

我正在使用Python的多进程通过FTP进行批量下载。然而，当我尝试打开超过5个ftp会话时，EOFError被抛出，这意味着主机正在断开我的连接，因为打开了太多的会话。我看到的唯一解决方案是打开一个FTP对象并将其传递给必要的方法。问题是，因为多处理使用酸洗来移动对象，而FTP对象不能被酸洗，所以这是不可能的。因此，我的问题是，是否有可能通过找到一种方法来筛选FTP对象来解决这个问题？cnxn ft

浏览 1提问于2012-07-11得票数 2

回答已采纳

1回答

如何从FTP服务器下载只有特定扩展名的文件？

downloads、ftp、bittorrent、filezilla

我想用一个命令或在GUI中单击一次(在输入主机名和根目录之后)从FTP服务器(例如.torrent )批量下载ftp://ftp.fau.de/gimp/gimp/文件。其目的是将所有的.torrent文件都放在一个根目录下的一个根目录下，这样就可以将它们批量添加到一个急流客户机中，就像洪水一样。

浏览 0提问于2017-09-25得票数 3

回答已采纳

2回答

如何在linux中使用wget下载多个文件，并为每个下载的文件使用自定义名称保存它们

linux、input、filenames、wget

如何使用wget下载多个文件。假设我有一个包含多个urls的urls.txt，我希望使用每个文件的自定义文件名自动保存它们。怎么做？我尝试用这种格式"wget -c url1 -O filename1“下载1乘1，现在我想尝试批量下载。

浏览 10提问于2022-04-21得票数 1

1回答

是否有方法使用请求模块下载多个文件？

python、python-requests

我想从一个名为.hdr的网站下载多个hdrihaven.com文件。它使用了循环遍历注释中建议的所有可用文件列表的技术。我发现请求模块和urllib比从eg下载的本地程序慢得多。铬。如果有人想知道我如何加快速度，请告诉我。

浏览 2提问于2020-06-29得票数 0

2回答

Java中的Rest API用于下载大小大于3 GB的文件(.tar.gz

java、rest

我正在尝试下载大小大于2 GB ( .tar.gz格式)的文件。call.org.apache.catalina.connector.ClientAbortException: java.io.IOException: Connection reset by peer 为什么会出现上述错误&在Java中有没有其他方法可以下载任意大小的文件

浏览 0提问于2019-06-12得票数 1

1回答

如何在Python中同时从ftp下载几个文件

python、file、download、simultaneous、ftplib

我是Python编程的新手。我的问题是，如何同时下载几个文件。不是一个文件一个文件地，而是同时从ftp上的一个目录。现在我使用这个脚本，但是我不知道如何重建这个代码： ftp.retrlines("NLST", filenames.append) print local_filename f = open(local_filename, &quo

浏览 0提问于2013-04-22得票数 0

1回答

wget:无法在google colab中解析主机地址

python-3.x、google-colaboratory、wget

wget -P "/content/drive/My Drive/data" ftp://speedtest.tele2.net/1KB.zip 它下载数据。然而，当我尝试下载多个文件时， urls = ["ftp://speedtest.tele2.net/1KB.zip", "ftp://speedt

浏览 62提问于2020-09-19得票数 0

回答已采纳

4回答

Python，多线程，抓取网页，下载网页

python、web-scraping、twisted

我想在一个网站批量下载网页。在我的'urls.txt‘文件中有5000000个urls链接。大概有三亿米。如何做一个多线程链接这些网址和下载这些网页？或者batch如何下载这些网页？我的想法是： for el in f:还是扭曲的？

浏览 6提问于2010-01-26得票数 5

1回答

在同一个ftp服务器上使用wget多次登录一次

linux、bash、ftp、wget

基本上，我在一个包含多个URL的文件上使用wget。我注意到我使用的每一行命令：对于“FTP”中的每一行，wget都会登录到我正在下载的list_of_urls服务器。每一行都产生输出有没有办法只

浏览 16提问于2021-06-16得票数 1

2回答

从.csv下载包含urls的.doc文件，然后批量转换为纯文本

python、url、csv、.doc

我有一个.csv文件，其中包含.doc文件的URL列，我需要保存所有这些文件，然后在本地批量转换这些.doc文件为.text，目的是最终编写一些代码，将这些文件中包含的文本添加回原始.csv文件/数据库我有3000多个.doc文件要下载，但它们都不到100kb。我不是很擅长python，但我正在努力学习，所以在这方面的任何帮助都会非常感谢。到目前为止，我有以下代码：import sys reader=csv.reader

浏览 3提问于2013-02-05得票数 0

回答已采纳

1回答

让Bazel使用python* 3*

python-3.x、bazel

我想在Bazel中使用python 3运行我的py_test。-3.6.3", interpreter_path = "/usr/local/bin/python3",我能够通过命令实现这一点。bazel test --python_top=//path/to/foo:python-3.6.3 foo_test 但是，我希望使用<em

浏览 10提问于2017-10-31得票数 3

回答已采纳

点击加载更多