如何将加拿大服务器上总计 200T 的文件传输到国内？

[j0ck1e]

网络环境

加拿大服务器公网 10G 带宽 国内服务器公网 5G 带宽

遇到的问题

由于链路距离过长，直接下载速度只能达到 100Mbps

以了解过的解决方法

1. 购买阿里云 OSS ，通过闪电立方将数据传输到阿里云 OSS 美国节点上，然后数据内部同步到国内的 OSS 节点，最后用国内服务器下国内 OSS 节点上的数据，这个方案价格太高，需要支付存储包流量包费用近 20W
2. 购买阿里云 CDN 服务，这个方案能否实现还不清楚

感谢各位的解答。首先200T的数据是确有其事并非杜撰，其次最新进展是已经联系香港电信运营商开通一台1Gbps带宽的服务器进行测试，加拿大到香港最大带宽能达到多少还需测试，如果能跑满1Gbps就将国内服务器寄过去下载好再托人带回国内，最后说明一下我的测试方法

1. 用speedtest测试线路带宽是否达标
2. 从香港节点用axel多线程下载加拿大的数据

第二点应该用iperf3测试香港到加拿大节点带宽，但是加拿大运营商负责人没有同意使用iperf3测试

各位除网络链路之外可能会提到的瓶颈

1. cpu是48核心的处理器，所以cpu性能是够的
2. 磁盘做了阵列，写入速度能达到16Gbps/s（注意是小b，换算成大B是2GB/s）

[phub2020]

@fs418082760 鬼才。

[xio]

Google Workspace Enterprise Standard 了解一下，无限存储，rclone 上传，用 SA 账户，然后国内用梯子下

[geekvcn]

说预算

[jdjx]

期待楼主分享后续

[luoshengdu]

@Xusually 全新不拆封的硬盘和拆了的硬盘待遇不同；单单国内，往新疆发存储介质，全新的顺丰快递会考虑下再拒绝你，如果发拆封的存储介质顺丰快递会直接拒绝你

[bclerdx]

@luoshengdu 理由呢？

[Weixiao0725]

@hoythan 他这种数据我估计肯定再 Linux 服务器上，说不定连个 GUI 都没有，咋上传

[luoshengdu]

@bclerdx 搜 第四部新疆反恐纪录片丨打击暴恐音视频，是他们守护了新疆的网络安全 http://news.cnr.cn/native/gd/20210405/t20210405_525454427.shtml

[IDAEngine]

谷歌云盘无限容量，存上去就行了，我的谷歌盘都存了 15PB

[Weixiao0725]

我觉得简单点，你直接找本地回国的人带回来吧，你肯出个几万块，肯定大把人愿意带的。记得数据加密就行。网友说的各种文件拆分，中转，再下载，问题是你上传还是单节点上传吧，依然很慢。

[serafin]

你国内服务器国际出口能达到 5Gbps 是个问题

[ryd994]

@lslqtz #56 这是个点对点的需求，但是通过其他服务器转发，可以把它变成多点对多点的传输，就可以绕过运营商限速。

[lslqtz]

@ryd994 可行。

[levenwindy]

没有机密资源的话，租 /借一个 gdrive 无限量，200t 流量的机场，目前这样性价比高

[dann73580]

其实找个到你国内服务器网速好的云厂商中转就可以，然后选个方便断点续传的方式去下载就好。链路质量差可以直接解决这个问题。

或者租几个按照小时付费的服务器，用基于 p2p 的同步协议，比如 syncthing 就行。

[seki]

要不要看看 aws snowball ，或者 azure data box ，虽然也不便宜

[mingl0280]

@j0ck1e 硬盘有数据不怕，报关就行。
这种大容量数据传输请不要考虑任何方案的在线传输，丢十个字节你哭去吧。

[vhus]

1.公开报价的服务肯定不便宜，找一些中小型的 IDC 问问，单独谈价格，应该能省至少 50%的费用。如果国内自己有存储设备应该还能再便宜，无非是加点运费。可以谈使用时段，不占用高峰时期带宽。
2.LTO9 磁带理论上能有 45T 容量（压缩后），两端的磁带机想办法租用（一般去咨询设备经销商），这个可能会最便宜。

[liuidetmks]

用磁带，磁带便宜，搜了下 30T 1k ，只需要 7 个，
加上运费，总共不超过 1w

[Inuyashaaa]

我们做过这种跨境海亮数据传输的项目，最直接的方法还是国内云服务器和加拿大服务器直接对传，可以用 cloudendure 这种备份工具来传输，也可以用 IBM Tsunami 这类工具。这样能最大程度保证数据一致性和数据安全性。如果数据不重要 /可丢失部分数据 /不怕外泄，采用邮寄硬盘的方式就最快

[Ciallo]

@liuidetmks #119 但是磁带机很贵，而且速度也很慢

[salmon5]

嫌贵就不要了吧

[liuidetmks]

@Ciallo 刚在京东看了下，惠普磁带宣称的速度是 860G 每小时，速度不算慢了吧，磁带机是不是可以租一个呢

[kerrspace]

@txydhr 用卡车装硬盘里面绝对有一部分要随机报废 这个方案实际根本不可行

[liuidetmks]

@Ciallo https://img1.mydrivers.com/img/20200630/s_1bfe3f76d3d94e869123e2a028c40f49.png 这个图，竟然还有 2G/s 的磁带。

[Ciallo]

@liuidetmks #125 之前在 B 站看过翼王搞过磁带机，老款的，新款的就不清楚了，估计价格不美丽

[lrzsw2008]

硬盘...
20T 的硬盘你都要 10 个，在线方案我觉得成本更高且不可靠。
硬盘你丢包率 50%，你也只不过是 20 块硬盘+两次运输费用。
或者上面说的磁带，容量比硬盘更大，缺点是两边你都需要租用设备

[runntuu]

两个方案：
1. 阿里云 OSS+CDN： https://help.aliyun.com/document_detail/123227.html

2. 阿里云 OSS+跨区域复制： https://help.aliyun.com/document_detail/31864.html
> 先把 200T 数据上传到阿里云 OSS 的加拿大站点，然后通过跨区域复制（内网）到阿里云国内站点

[mosliu]

带硬盘吧。。。建议，双备份，三备份。分开寄
伪装新的，邮寄应该最便宜

不过说实话 硬盘光拷贝 200T 也要好久时间。。。

[hankai17]

打电话 口述 01 编码

[mosliu]

或者 SSD 以 1T 100$ 计算
200T 就要 2w$
这个抗震好的多
包上 10 层海绵
2 备份 大概 4W$

这 4w 后续也可以用，或者 从 V2 上打个 8 折再便宜下 V2er 回收个 80%
总共也就是几 k$的花费。

[DKR]

为什么这个话题时常出现呢，之前记得也有这类话题的讨论。

[XiaoBaiYa]

18T 现在一个也才 1800.需要买 12 个，2W 块搞定

[XiaoBaiYa]

BT 和 PT 的方式个人觉得是最靠谱的，租几个带宽高的服务器，成本很低

[mayli]

链路长不是带宽利用率低的直接原因
即使 300ms 延迟也可能跑满全部带宽
核心问题是缺少可以跑满的高质量线路
尤其是国内

解决了线路 QoS 质量，传输这个没有什么问题

[rexion]

前面有人提到微软的实体硬盘数据传输，亚马逊 aws 也有，叫 snowmobile ，可以了解一下。

[mayli]

我觉得题主需要说明下预算和预期的时间
不然不好估算
最便宜的话慢慢传就好了
预算出来了
就方便估计技术路线

[WeberXie]

@IDAEngine 好奇干啥能存 15 PB 呀？

[xuelu520]

1.刻蓝光光盘
2.磁带
3.硬盘
然后人肉或快递回国内。

[7colcor]

想起亚马逊海量数据的运输服务（卡车运输）

[cctrv]

Resilio Sync
慢慢跑

[IDAEngine]

@WeberXie 小姐姐，各种电影，反正谷歌无限容量，随便上传，一个月才几美金

[461da73c]

rm -rf * 解千愁。

[levenwindy]

@IDAEngine 应该是 Peter ？

[lbp0200]

https://syncthing.net/
或者
微力同步

[ychost]

做成种子，然后取名 《 2020-2022 高清无码合集》，发 P 站

[skyphone001]

是啥数值，能这么大。运回来有啥用？还是只是随便说说

[jsutfun]

插眼。以前 100T 的数据都是让人从国外下载下来，然后在寄过来的。看看有啥好的解决方案没有

[ShallowAi]

便宜和稍微迅速的方案：购买磁带库和磁带然后邮寄。
中等方案：购买一定数量的 16TB 的机械硬盘然后邮寄。
顶级方案：购买专线
永远不要低估一辆满载硬盘的汽车的带宽。

[fiht]

套层免费的 Cloudflare CDN 试试？

[i3x]

@ShallowAi chia 的时候，十几辆轻卡，120PB/4hours 。。。。jitter 1800s ，lost 0 ，TB 级别的巨型帧。


@jsutfun 千兆一个月也 300t+了。。。。拿电信宽带一两个月干几百 T 下行的 pt/bt 党不在少数。。。最近这种文章我越来越觉得是水经验的。。。。特别是那些玩歌库的。我群就有个大佬直播重建 600T 的库。。。光我的机器就被他薅了 50t 上行。。。

去年的时候我重建自己的服务器，用的就是美西副本。一台美西独服。。。重建镜像块文件直接加密，一个块 1.5TB ，开 http 服务。国内用迅雷精简版普通电信宽带多线程下载。。。速度并没有什么问题。做一个有社会责任感的人，下载机本身全局限速。凌晨 1 点后随随便便全局限速 600Mbps 一直是满的，下午 5 点暂停。。。1PB 的数据，同样的时间，用在网络传输来说成本明显比物理传输低。。。。

[explore365]

留个联系方式

[Jet]

楼主需要寻找的是一个线路商帮你找一条优化链路。

[qq2511296]

走快递邮寄是最便宜的方法吧

[AS4694lAS4808]

13 个希捷酷鱼 16T ，分批走 UPS 之类的，估计几 W ？
考虑到海关问题，AWS 的 snowball 传到香港，再从香港下载人肉来两趟带回来？

[liuxyon]

@lslqtz 求

[Aaron325]

试试快递吧

[huihuilang]

阿里云盘超级会员，20T 的空间，买 10 个就行。。。每个买一个月就可以了

[subing]

建议还是拆成小文件传云盘之类的，大量文件下来会被墙

[i3x]

@subing 只要不是楼上有的人说的骚操作不会的。比如一直是一个地区的那么一些 ip ，就是一个地方的几条宽带，用 http 方式获取。。。。我都是这么备份的归档。。

[qyd0801]

@huihuilang 即使是会员大量上传也很有可能会被限速

[liliass]

去香港，找个人有 1Gbps 宽带的，用几天下载完毕

[liliass]

1. 咸鱼开帖，香港代下载。

2. 申请 上海电信 + 精品网 + 1Gbps 带宽，v2ex 里一推人在用精品网的

[xyjincan]

用 udp 协议并行传输

[icetea12138]

把文件名改成 xxx.avi 然后做成种子发到网上，你还不是满速下载？

[vhus]

比较好奇楼主最后选择了什么解决方案。
有进展后公布一下吧。
比较好奇，顺便学习。

[makusuofute]

信鸽 IP 通讯（ IP over Avian Carriers, IPoAC ）
这样可以养一堆鸽子和存储卡进行数据传输
点对点传输 安全性有保障系列 emm

[mandymak]

@AS4694lAS4808 建议走澳门，香港现在回国还是要在酒店检疫。

[chijiao]

200T 真不多,我用 onedirve,一个多月就上传了 100T, 还是国内的普通宽带, 你这 200T,开个 OneDrive, 多拉几条电信联通宽带,半个月就同步到国内了.

[i3x]

@vhus 钓鱼的水经验的而已。。。你们还真信。。。。这样的帖子今年发了多少个了。。都是这样热闹。。。。。说白了就那么几百 t ，http 都可以了。。。。嫌慢就用断点续传的多线程下载软件。。。听着很高端？迅雷。甚至更古董的红色的。。。

[vhus]

@i3x 难道上钩了……

[datafeng]

寄硬盘的难点在两边海关吧。。。估计得走私才行:)

[linxijun]

买个威联通的 nas ，走 qsync 或 hybridmount 和 hbs 3 ，电脑上安装 qudedup 加解压，无限容量，威联通在全球各地都有 cdn ，专门给 qudedup 用的，最适合楼主的需求了，虽然要另外花钱和买另外的 nas

[yinheli]

> 2. 购买阿里云 CDN 服务，这个方案能否实现还不清楚
可行，但是也很慢，我们在用这个，CDN 的镜像回源，把几十 T 的数据，缓慢的回源到了阿里的 OSS ，应该是不太适合你这种大规模迁移。你要是说阿里云闪电立方能解决，20w ，应该是合适了吧，因为就算你带宽超大，单算流量费都要 16 ，7 万了吧