辐射2下载|您还在为遥感数据的下载而烦恼吗？

#从会话文件中读取下载任务

-=真

最大文件未找到=100

#Aria2退出时保存`error/`下载任务到会话文件

保存-=aria2.

#定期保存会话，0为退出时才保存，需要1.16.1或以上，默认：0

#保存--=60

##RPC相关设置##

#启用RPC，默认：false

-rpc=真

#允许所有来源，默认：false

RPC-允许--全部=真

#允许非外部访问，默认：false

RPC--全部=真

#Storm寻址方式，值：[epoll,,port,poll,]，不同系统默认值不同

#事件轮询=

#RPC监听端口，端口被占用时可更改，默认：6800

#rpc--端口=6800

# 设置 RPC 授权令牌，v1.18.4 new，而不是 --rpc-user 和 --rpc-

#rpc-=

#设置RPC访问用户名，新版本不推荐使用该选项，建议使用--rpc-选项代替

#rpc 用户=

#设置RPC访问密码，新版本不推荐使用该选项，建议使用--rpc-选项代替

#rpc-=

##BT/PT下载相关##

#当下载为（以.结尾）时，手动启动BT任务，默认：true

-=真

#BT窃听端口，端口被阻塞时使用，默认：6881-6999

-端口=51413

#单个种子的最大连接数，默认：55

#bt-max-peers=55

#开启DHT功能，PT需要关闭，默认：true

-dht=真

#开启功能，PT需要关闭

#-dht6=假

#DHT网络窃听端口，默认：6881-6999

#dht--端口=6881-6999

#本地节点搜索辐射2下载，PT需要关闭，默认：false

#bt--lpd=true

#种子交换，PT需要关闭，默认：true

-peer-=真

#每个种子的限速，对种子少的PT有用，默认：50K

#bt--peer-speed-limit=50K

#客户端伪装，PT需要

对等ID-=--

用户代理=/2.77

#当种子分享率达到这个数值时，手动停止播种，0表示还在播种，默认：1.0

种子比率=0.1

#强制保存会话，虽然任务已经完成，默认：false

#新版本任务完成后会保留.aria2文件

#强制保存=假

#BT校准相关，默认：true

#bt-hash-check-seed=true

#继续上一个BT任务时，无需再次校准，默认：false

bt-seed-=真

#将磁力链接元数据保存为种子文件（.file），默认：false

#bt-保存-=真

我以D盘目录为例说明下载步骤。首先，单击并运行 .exe 可执行程序以创建 Web 服务层。根据前面的配置文件配置aria2.conf，如图3，

图3.aria2文件夹下的相关文件

打开.exe的配置界面，如图4，将主目录设置为当前aria2配置文件所在目录，并确保已打开。

图4..exe配置界面

如前所述，通过 访问 data 有一些限制：

The API a,ie..(both-1and-2).(即一个用户的最大并行下载速率是有限的，也有限制条件，比如一机一号经常用于下载，机器IP被锁定，账号被限制）

即使 aria2 的下载速度非常快，并且在多次尝试下载失败后，也不会重新下载相应的链接。为此，我这里使用了一个.py文件，如图3所示目录，具体代码给出。这段代码通过子进程模块调用可执行文件.exe，从子进程的标准输出中检查下载数据的拷贝信息。如果发现上一次拷贝信息仍然没有变化，则调用函数()。中止子进程，然后重新执行循环。（需要注意的是没有goto语句，可以安装一个with-go模块实现循环跳转）

#!/usr/bin/env

#:utf-8

操作系统，时间

系统

来自Popen，PIPE

时间

从goto

定义（名称）：

.path.(fname):

没有任何

尝试：

f=文件（fname，'rb'）

md5=.md5()

而真：

#每次读取16K

d=f.read(16384)

如果没有：

休息

md5.(d)

f.close()

md5.()

：

没有任何

@

定义（）：

标签.开始

="用户2.txt"

=len(open(,'rU').())

=""

=60

＃打印（）

("D:\aria2\.exe--conf-path=aria2.conf",shell=False,=.PIPE,=.,=20000,=True)asp:

.:

#如果最后一行没有改变，向原进程发送一个abort信号并退出

#打印（行）

#打印（长度（线））

if(line=='n'and==""):

别的：

如果==""：

=线

别的：

#line=line.strip()

如果==行：

=-1

时间.sleep(1)

如果==0：

p.()

休息

别的：

=='n':

别的：

打印（行）

=线

goto.begin

如果==""：

#cmd='cmd.exeD:\aria2\Start.bat'

#先看看需要下载多少文件

()

也可以点击.exe的右键找到浏览主页，看到如图5所示的数据下载界面。

图数据下载界面

经过这样的折腾，aira2下载工具可以快速下载这些失效链接。ESA 定期维护数据集下载服务器，因此无法防止链接的临时故障。我们认为这个小程序会更好地解决这个问题。

第三部分：更新aria2下载工具的下载列表。

aria2的无效链接手动重启配置后，另一个重要的问题是它的内部循环迭代查询是否还有未下载的图片。这使得包含 10,000 个链接的文件总是从头到尾扫描，这是浪费时间。因此，继续使用程序进行判断，将已经完成的哨兵数据链和尚未完成的哨兵数据链去掉。代码如下：

球体

操作系统

回覆

时间

时间

数据库

从，，

从

ASPD

#作用是复制当前目录下的所有文件名

def（级别，路径）：

=0

'''''

´òÓ¡ Ò»¸öÄ¿ ¼ÏµÄËùÓÐÎļþ¼ÐºÍÎļþ

'''

=[]

#ËùÓÐÎļþ

=[]

文件=操作系统。（路径）

.（str（级别））

文件：

如果（os.path.isdir（路径+'/'+f））：

如果（f[0]=='.'）：

经过

别的：

。（F）

if(os.path.(path+'/'+f)):

。（F）

i_dl=0

福特林：

如果（i_dl==0):

i_dl=i_dl+1

别的：

((int([0])+1),path+'/'+dl)

=[]

福林：

=+1

.(os.path.join(path, fl))

#ne 接受两个参数，第一个参数是通过上一个函数得到的图片文件名

'''第二个参数是一个包含ur和mdf信息的csv文件。之前的第一段代码是获取这两个有效信息，使用=.md5()估计文件的md5值，然后设置要比较的链接。下载文件csv中是否有md5信息，如果有则设置flag 为1，最后复制的url文件为未下载的图片的链接。按照第二、三部分的说明继续下载。能。'''

#

定义（，）：

=[]#最后一个没有下载的url

df=.copy()

文件：

=.md5()

打开（文件，“rb”）asf：

#

(:f.read(40960),b""):

.()

md5=str.upper(.())

＃打印（”.................”）

#print(md5)

掩码=(df['md5']==md5)

df.loc[掩码,'标志']=1

df=df.copy()

df=df.(0).copy()

#终于找到所有这些flag=0.0

掩码=(df['flag']=="0.0")

=df.loc[掩码]

=df.copy()

打印（['url']）

经过

如果==""：

=r"D:"

=(1,r"D:")

＃打印（）

=pd.(".csv")

ne(,)

经过

第 4 部分：不是主题的主题

详细介绍了如何快速下载 数据后，我们再说点别的。事实上，遥感数据的获取和查询仍然是一个热门话题。比如我们要研究世界各地河流闸门面积的变化，我觉得这些难度很高，主要是下载数据会浪费我们的时间。另一方面，更重要的是小范围的遥感影像数据的查询和下载。比如我们只需要上南湖的数据，结果就得下载整个上海地区的数据。看来，对于 GIS 和遥感专业人士来说，遥感数据本身就是海量的，从用户的角度来看，有可能我们需要的只是一个小实验场的单像素长序列数据。这种情况下，自身的大尺度思维就会不一样了。我可以很清楚的告诉大家，目前还没有一家遥感公司考虑过这方面的问题。为了解决这个问题，我们团队开发了一个遥感数据服务平台，主要是解决这里提到的问题（因为会涉及到产品推广问题，在知乎上宣传产品可能会有不好的影响，所以我就不做了它在这里了。多说）。我们的目标是让小规模遥感影像数据下载如泉涌，让小规模遥感影像数据交易成为主流。希望您能继续关注我们的团队。最后希望大家帮忙转载。同时，我们希望大家可以在这个平台上分享下载的数据辐射2下载，让其他科研用户不再痛苦地等待数据下载。转载前请记得联系我们（），我们保留对转载内容和代码的一切权利。谢谢你！~！~