数据下载工具-aria2c学习

aria2

aria2 是一个用于下载文件的工具。它支持的协议包括 HTTP(S)、FTP、SFTP、BitTorrent 和 Metalink。aria2可以从多个来源和协议同时下载同一个文件，也可以同时下载多个文件，线程数最大是16，最大限度地利用你的下载带宽。它支持同时从 HTTP(S)/FTP/SFTP 和 BitTorrent 下载文件，并将通过 HTTP(S)/FTP/SFTP 下载的数据上传到 BitTorrent 网络中。借助 Metalink 的分块校验功能，aria2 可以像 BitTorrent 一样在下载过程中自动校验每个数据块的完整性。

aria2的一些参数（借助大模型整理）

aria2c使用

1.环境激活及安装

# 激活环境
conda activate scRNA

# 安装
conda install aria2c

2.ftp文件下载

测试数据集：HRA007926

单一样本下载：

nohup aria2c \
  -x 16 \
  -s 16 \
  -c \
  -d ./ \
  ftp://download.big.ac.cn/gsa-human/HRA007926/HRR1836003/HRR1836003_r2.fq.gz \
  > aria2.log 2>&1 &

重要参数：

1. -x , --max-connection-per-server，最大线程数，最多是16个；
2. -s，--split=N，分片数，一个文件最多拆成N个部分并发下载，默认值是5
3. -c，--continue，断点续传
4. -d, --dir=DIR，指定输出文件地址

多样本下载：

# 制作txt文件，其包含下载地址，比如ftp链接
nano HRR.txt

# 编辑好内容后，按Ctrl+O，此时可以修改文件名也可以不修改，然后按回车
Ctrl+O 
Enter/Return键

# 保存完成后，按Ctrl+X
Ctrl+X

nohup aria2c \
  -x 16 \
  -s 16 \
  -c \
  -d ./ \
  -j 5 \
  -i HRR.txt \
  > aria2.log 2>&1 &


# 但有可能这代码会出现没下成功，因此需要多多重复

重要参数：

1. -j，--max-concurrent-downloads=N，最大并行下载任务数，适用于HTTP/FTP、torrent和Metalink文件，默认是5可以往上调整。
2. -i, --input-file=FILE，从指定的文件中读取下载的 URI。你可以为单个下载任务指定多个 URI：在同一行中用制表符分隔多个URI。

最后就可以下载，下载速度真的很快，但多样本同时下载的时候可能会出现下载失败，因此要多重复代码，确保最后显示所有的文件都下载成功。

参考资料：

1. aria2：https://aria2.github.io/ https://github.com/aria2/aria2

注：若对内容有疑惑或者有发现明确错误的朋友，请联系后台(欢迎交流)。更多相关内容可关注公众号：生信方舟 。