金枪鱼之夜:空运磁带的 PB 级实验数据传输 https://tuna.moe/event/2022/lto-practice/
从日本神冈到中国北京,可以试着计算实际传输速率。
1
oldshensheep 2022-10-06 15:54:51 +08:00 1
实际传输速度受限于磁带传输速度。
飞机,运送等时间忽略不计,因为写入磁带花了 20 天,实际传输速度就是 700TB/20 天大约 400MB/S 。 |
2
netnr 2022-10-06 16:24:00 +08:00 via Android
这应该算得上大数据分析了吧
|
3
huaes 2022-10-06 16:48:32 +08:00
以前见极客湾玩过磁带机,磁带挺便宜的就是磁带机贵,顺序读写几百 MB 这样,做冷数据存储性价比远超机械硬盘
|
4
huaes 2022-10-06 16:50:54 +08:00
不对,是翼王,
|
5
ohiu 2022-10-06 16:57:31 +08:00 1
很慢 而且丢包率只能是 0 一丁点冗余都不能有 满载硬盘的卡车也只能是立刻可以部署的服务器才行 否则读写数据本身就是瓶颈
|
6
MrKrabs 2022-10-06 17:35:59 +08:00
难道就一盒磁带?可以一起读啊
|
9
fisherwei 2022-10-06 22:06:42 +08:00 1
@oldshensheep 清关报检可能远不止 20 天能出来。当然,关系硬可能也半天就出来了。
|
10
zli 2022-10-07 00:00:47 +08:00 1
日本进来的?
先 84 喷一遍消消毒…… 🐶 |
11
kerrspace 2022-10-07 00:06:56 +08:00
说实话 我搜集的黄图黄片加在一起也快有 100TB 了(不算备份),清华这个 700TB 也就洒洒水
|
12
Cubat 2022-10-07 00:11:40 +08:00
证明至今为止数据最快的传输方式还是集装箱托运,比如 AWS Snowmobile (狗头)
|
13
ZE3kr 2022-10-07 00:26:07 +08:00 via iPhone
为什么我从日本寄到北京的包裹是需要隔离 10 天才会派送的😭USPS 、UPS 、FedEx 都是,是不是因为我没有清华的关系
|
14
Zy143L 2022-10-07 02:52:39 +08:00 via Android
清华包裹需要消毒静止么?
这个时间节点还能进京么? |
15
documentzhangx66 2022-10-07 03:02:06 +08:00 1
也就 35 个 20TB 磁盘,手提式磁盘箱,一个箱子能放 10 块。那么就是 4 个箱子的事情。
双副本 7 个手提箱,三副本 11 个手提箱的事情。 难点是 700 TB 的数据,要进行写入,还要校验,费时间罢了。 以上是垃圾佬的做法。 企业级的做法,直接一台 3U 的全闪服务器,一台最大能达到 PB 级别。 |
16
dangyuluo 2022-10-07 06:32:52 +08:00
好奇是怎么实现无人值守写入磁带的,而且怎么保证数据完整性
|
18
zachgenius 2022-10-07 08:19:59 +08:00
@kerrspace #11 借一部说话 😂
|
24
huihuilang 2022-10-08 09:34:24 +08:00 via Android
@ZE3kr 找个靠谱的清关公司吧。。。我们买的货物欧洲进来的,从发出到收到一周搞定。。。货物发出来就可以预申报了
|
25
lxr760 2022-10-08 09:59:12 +08:00
直播链接:YouTube ,开始后公布
谁有 youtube 地址 上去学习学习 |
26
ZE3kr 2022-10-08 10:08:40 +08:00 via iPhone
@huihuilang 清关都是预申报,清关不到 4 个小时。发到北京之外的地方全程都不到 3 天就能派送抵达,远不到一周。但收货地北京无论是从北京口岸、广州口岸、上海口岸进口,都会被静置隔离 10 天……打算以后送到天津然后再转寄到北京了
|
27
ungrown 2022-10-08 11:27:39 +08:00
@kerrspace #11 说真的冗余度太高了,试着用 webp 和 hevc 压一遍,不影响观感,体积估计能缩到一两成的样子
|
28
Cassius 2022-10-08 12:51:49 +08:00 via Android
磁带自动化程度很高的。大型带库一次可以放上千盘磁带,都是机械手托盘自动装载到磁带机的。
维护的时候只需要拉开抽屉一次性放入所有磁带就行了。每盘磁带上有条码,机械手读取的时候会读取到 ID ,每盘数据先后就不会乱。 取出也是同理。IBM 小带库也能塞几十盘,大型带库有 4 个 42U 机柜 |
30
xunqin 2022-10-08 17:25:10 +08:00
|
31
nbsn 2022-10-08 19:02:35 +08:00
时间到了,没有开始啊
|
32
Xymmh 2022-10-08 20:08:10 +08:00
|
33
secondwtq 2022-10-08 22:51:34 +08:00
以前网速没那么快的时候数据稍微大一点就是这么干的 ... 现在就是多了几个 0 吧
|