在美国的实验室( A )有 100TB~的实验数据 想要下载到在大陆的主机( C )上 目前正在用 Syncthing 上传和下载( A )<->( B ),速度只有 1MB/s 左右
但是从( A )上传数据到 Google Cloud Storage 的速度可以达到 200~300MB/s
从 Google Cloud 下载到大陆的主机( C )好像比较复杂
求问各位,有没有更好的方法
1
ComTNT 2022-12-08 17:44:22 +08:00
One Drive 国内的速度好像还可以
|
2
WinkeyLin 2022-12-08 17:53:45 +08:00 via Android 7
这种情况建议物理邮寄硬盘
|
3
googlefans 2022-12-08 17:58:46 +08:00
有种子
|
4
redegg 2022-12-08 17:59:36 +08:00 via iPad
违反当地法律吗?
|
5
RunCax 2022-12-08 19:50:22 +08:00 1
100TB 直接物理邮寄啊。
|
7
SenLief 2022-12-08 20:02:38 +08:00 via iPhone
物理快递回来就好了
|
8
longbow0 2022-12-08 20:35:57 +08:00
6 块 18T 的硬盘就行
如果双方都有磁带机,寄磁带应该更加方便 要考虑的是能不能出海关 |
9
yaoyao1128 2022-12-08 20:48:47 +08:00 via iPhone
1. 速度只有 10mbps 的话 建议确定一下对端是不是走了 relay 两边直接用端口访问看一下。速度和地区也有关,不行强制 tcp 看看?我从 cn 到 kr 能跑满
2. 100t 的话还是硬盘吧…… |
10
livepps 2022-12-08 23:49:53 +08:00 via Android
上传到 onedrive for business ,国内可以之间下载,速度很快,就是不大稳定
|
11
kome 2022-12-08 23:56:44 +08:00
前段时间, 清华大学的一位教师分享了他从日本传递实验数据的经历, 采用的磁带运输, 这个是当时的直播直播视频链接: , 应该可以参考一下.
|
12
netabare 2022-12-09 06:58:05 +08:00 1
100TB……最好的办法感觉是买张机票飞过去领回来。
|
13
eason1874 2022-12-09 07:45:56 +08:00
1MB/s ,还没有 OneDrive 快,移动宽带直连 OneDrive 客户端同步都有 5MB/s
不在乎时间的话,开 OneDrive 商业版慢慢同步 不差钱的话,用云厂商的对象存储,上传到海外区域,开启跨区域复制,复制到大陆区域,然后从大陆区域下载,200TB 的流量费用得 10 万左右 |
14
eason1874 2022-12-09 07:48:01 +08:00
就现在的网络环境,性价比最高的方式还是邮寄。虽然买存储设备也得好几万,但是可以反复使用。传输加速的 10 万花了就真的花了,渣都不剩
|
15
davelm 2022-12-09 08:37:26 +08:00
Syncthing 比较慢,用种子,然后 ipv6 地址来传输,速度会很快
|
17
eason1874 2022-12-09 10:11:17 +08:00
@idblife 大部分都行吧,阿里云腾讯云都有啊。各区域默认是隔离的,跨区域复制是增值服务,需要另外开通。他们还有更贵的增值服务,传输加速域名,都不用等复制,直接用加速域名就可以访问
|
18
OrangeLoveMilan 2022-12-09 10:16:39 +08:00
100T 确实有点大,如果非要使用远程传输的方式, 可以试试买 CN2 的云服务器做代理,,速度应该会比你目前 1MB/s 提高 20~30 倍这样.
买 CN2 的服务器之前记得做个跳转测试,看看是不是从国内直连到 us 的 |
19
yimiaoxiehou 2022-12-09 12:50:14 +08:00 via Android
@idblife 区域复制,加钱
|
20
idblife 2022-12-09 13:17:12 +08:00
|
21
systemcall 2022-12-09 17:13:48 +08:00 via Android
100tb 最好还是邮寄硬盘或者磁带
不知道你这 2 个机器直连的速度怎么样,要是速度还可以的话,可以考虑 zerotier ,有可能需要 moon 如果走 moon 中转估计就很贵了。100TB 的流量,并且国内连接性好,这种机器不便宜吧。那些开机场的可能有这种大盘鸡 |
22
lin559671 2022-12-09 23:21:35 +08:00 via Android
套个 warp 解千愁,电信联通直连 warp 下载速度 500m/s
,加速访问 Google cloud |
23
kice 2022-12-10 04:33:01 +08:00 via Android
100Mbps 的速度传都要传差不多 100 天。100T 最好还是肉身带回来,如果不是涉及美国国家安全,出境并不难,主要是入国内海关比较悬。至少说把数据拿到物理距离比较近的地方。
其次的话,就是找个中间代理。优先考虑上传国内云盘,前提是做好加密,即使是简单的 xor 也能防止被炸。大体上准备多个账号,多线程上传,下载倒是还说,毕竟服务器在国内。 |
24
kice 2022-12-10 04:39:16 +08:00 via Android
其实我觉得这个问题问出来是想要开机场。
如果真的只是传数据,那么可以和国内机房或者开机场的进行合作,价格相对来说比商业用的加速服务便宜一些。 syncthing 想要加速的话,多买些服务器进行“做种”。文档里面也写了,节点越多,同步速度越快。 其实如果时间不是问题,慢慢传得了。 |
25
natsji 2022-12-10 21:32:29 +08:00 via Android
100tb 慢慢传 1mb/s 要传三年吧
|
26
ShineyWang 2022-12-11 00:15:50 +08:00 via Android
NGA 上有人问了一个类似的问题,你可以参考一下
https://ngabbs.com/read.php?tid=33011578 |