V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
如果你希望学习 CDN 相关知识,那么建议你可以遍历以下软件的说明文档。
NGINX
cURL
oldcai
V2EX  ›  CDN

对于存储空间远大于流量、上传有限制的需求的应用,用什么/哪家的方案最高性价比

  •  
  •   oldcai · 2016-06-06 21:32:17 +08:00 · 3689 次点击
    这是一个创建于 3122 天前的主题,其中的信息可能已经有所发展或是发生改变。

    图片已经快 3T ,每日流量不到 200G 。

    青云的硬盘装不起了,带宽也耗不起了,打算转移这一部分的业务到其他云服务。

    现在也在用七牛来加速热图,但是没有完全用七牛来存储,如果没有更好的可能就选他们的了。

    1. 服务可靠,不会硬盘坏了就丢数据
    2. 需要对整体费用尽可能减少
    3. 最好可以对于每次上传可以控制,因为需要限制流量,实在不行就从服务端传图到第三方也可以接受
    4. 有 python SDK 的更是好评
    26 条回复    2016-06-07 09:40:38 +08:00
    qqmishi
        1
    qqmishi  
       2016-06-06 21:42:06 +08:00 via Android
    试试 S3 ?
    oldcai
        2
    oldcai  
    OP
       2016-06-06 21:44:45 +08:00
    @qqmishi 国内访问速度是问题,我经常碰到被屏蔽的 s3 链接
    leofml
        3
    leofml  
       2016-06-06 21:49:35 +08:00
    为什么不使用青云的对象存储呢?
    oldcai
        4
    oldcai  
    OP
       2016-06-06 22:08:42 +08:00
    @leofml 存储和带宽的价格比较高,也好像不支持转格式、缩略图等花活
    suifeng
        5
    suifeng  
       2016-06-06 23:40:09 +08:00   ❤️ 1
    储存价格来说又拍云和阿里云都稍微便宜一点点
    ryd994
        6
    ryd994  
       2016-06-07 00:06:18 +08:00
    如果真的请求不多的话可以试试 amazon glacier
    自己写个逻辑取回和缓存就好,不要直接公开链接
    ryd994
        7
    ryd994  
       2016-06-07 00:22:23 +08:00   ❤️ 1
    Glacier 每月下载量不超过储存量 5%,你这个恐怕还不够
    说 s3 慢的话可以考虑自己反代一下,反正流量不多,不过那样的话说不定不如便宜独服
    shiny
        8
    shiny  
       2016-06-07 00:26:55 +08:00 via iPhone
    托管独服,前面再加个七牛什么的做擦车
    oldcai
        9
    oldcai  
    OP
       2016-06-07 00:49:14 +08:00
    @ryd994
    @shiny
    持久性方案需要可靠性,不想丢了用户的数据。自己托管独服数据安全性的心操的有点多。
    而且七牛,又拍有多节点加速,所以成本方面没有压倒性优势就没有必要了。
    带宽和存储算下来,用七牛或者又拍可以省下来有一半。
    独服每次满盘还要停机挂盘也是很醉的。
    ryd994
        10
    ryd994  
       2016-06-07 01:14:22 +08:00   ❤️ 1
    @oldcai 冷数据 glacier 价钱很好啊,$0.007 per GB / month 你还不满意?
    就是单纯存档,热数据放国内
    oldcai
        11
    oldcai  
    OP
       2016-06-07 01:29:28 +08:00
    @ryd994 嗯,是很不错,不过刚才了解了一下,它的流量看一天的峰值,而限额 5%是均分到每日的。
    算起来加上取回费用大概也就比七牛又拍便宜一半。
    超过 10T 后考虑吧,现在引入无疑只是增加了系统的复杂度而效果不大。
    在看 GlusterFS ,不知道是不是可以解决独服托管的不可靠性。
    oldcai
        12
    oldcai  
    OP
       2016-06-07 02:45:44 +08:00
    @ryd994 楼主火星了,才知道 AWS 中国区开通了。。。。。
    lslqtz
        13
    lslqtz  
       2016-06-07 04:35:19 +08:00 via iPhone
    来一台 100M 不限流量独服,反代+缓存源站数据。
    notgod
        14
    notgod  
       2016-06-07 04:52:14 +08:00 via iPhone   ❤️ 1
    3t 的数据而已
    什么方案都可以解决 而且才 200g/天
    我会告诉你我一个英文图片上传存储外链站 一天流量 100 个 t ?

    大数据的时代
    首先考虑的数据安全性,虽然各种云看起来很美好,一样有风险,

    我存储自己的服务器
    设备是 ssd 做 flash 缓存+sata 存储
    结构 raid10 , zfs 热插拔硬盘 不存在你说的什么加停机加硬盘 那是哪个时代的产物才需要停机加硬盘?

    因为图片内容 后期可能会做 ocr 机器搜索 图片识别等训练 做些技术研究 这个时候图片在本地 就很方便了

    什么 glusterfs 根本不是你这么点数据该考虑的
    到 50t 可能有那个必要 不到 10 使用这些 各种优化 各种卡顿延时高 集群读写慢 保证酸爽

    前端加个百度云加速 360 网站加速
    妥妥的够用

    不要扯些高大上的技术看起开美好 其实很多实在没必要
    notgod
        15
    notgod  
       2016-06-07 05:04:31 +08:00 via iPhone   ❤️ 1
    国内装台机器 2 万到顶了 百 m 托管 1 万到顶了
    一年也就 3 万 加个备份的机器 也就 5 万一年搞定
    备份机器挂内网
    或者装 2 台机器 做同步 sersync 我用的这个

    前端加百度和 360 的 cdn 怕封号使用 cloudxns 的 cnamex 方式 同时解析到 360 和百度
    cdn 流量分摊就百度 100g 。 360 100g
    如果国外用户多 买个 cloudflare 分发国外

    妥妥的高速稳定
    oldcai
        16
    oldcai  
    OP
       2016-06-07 05:22:49 +08:00
    @notgod 不错的方案,加速的钱都省了。。就是数据量还不到那么多,这个方案现在的数据量要 20 年用回其他云的开销。。
    或许等数据至少 100T 了考虑这种方案。
    notgod
        17
    notgod  
       2016-06-07 05:31:11 +08:00 via iPhone
    @oldcai 我都不稀罕说这事 如果你是要求欧美资源
    你这个量 我能给你个 500 人民币一个月的报价解决好
    包括一台服务器 e5 处理器 16g 内存 2x4000g 硬盘 1g 端口 流量不限
    加 cdn
    外加备份 兼容 s3 接口 无限请求 无限存储 价格低到吐血
    oldcai
        18
    oldcai  
    OP
       2016-06-07 05:40:52 +08:00
    @notgod 或许以后也需要欧美资源,到时候联系你😄
    另外,你的牛图和.it 的站都很赞,牛图里面编辑图片的功能惊艳。
    fcicq
        19
    fcicq  
       2016-06-07 06:35:27 +08:00   ❤️ 1
    @ryd994 glacier 取回很慢注意到了没有? 几个小时拿不到数据那是能用来做 web 服务的吗? 冷备份稍等一等还可以接受, 其他用途都不行.
    ryd994
        20
    ryd994  
       2016-06-07 07:09:22 +08:00 via Android
    imxieke
        21
    imxieke  
       2016-06-07 09:11:15 +08:00 via iPhone
    @notgod 楼上价格没说错?
    notgod
        22
    notgod  
       2016-06-07 09:28:17 +08:00
    @imxieke 没错

    现在低端配置选择太多了 还有更便宜的
    这种最大的缺陷是带宽质量和稳定性

    这里的 1Gbps 端口 流量不限是共享流量 pool, 95th 模式的
    比如我租了单台机器 1G 限 100T
    我账户下有 10 台机器 总量就是 1000T 单台机器跑 1000T 流量 而且他 9 台 0 流量

    一般机房默认不会给你这个
    因为我有 IDC 那块的业务 机器比较多
    我手里 99%机房都谈下 这样省很多流量费
    以前我一客户超限 3 天跑了好几百刀流量费用出来......
    如果你机器少 没什么用
    notgod
        23
    notgod  
       2016-06-07 09:31:04 +08:00
    @notgod
    和 Linode 模式一样
    比如我这个才 7 天 跑了 3769G 限制是 2000G 就已经超了 1769G 了
    https://i.niupic.com/images/2016/06/07/sAFnBd.png

    但是不会额外计费
    因为 Pool 还有余量 其他机器未使用的量
    imxieke
        24
    imxieke  
       2016-06-07 09:36:23 +08:00 via iPhone
    @notgod 哦哦哦 楼上哪里人?看你博客经常会待在安徽。
    notgod
        25
    notgod  
       2016-06-07 09:37:07 +08:00   ❤️ 1
    @ryd994 真心不推荐这个 虽然价格有优势
    但是很容易损失惨重

    这个很喜欢锁机器的 遇到过 2 次 后来全部撤了

    有次根本不通知 就锁定机器 一个星期才发现 损失惨重
    说有攻击 就是收费 支付 19 欧元后 什么都没改动
    20 多天后到月底都没问题
    这个问题不是一个人 LET 我发过 2 个帖子讨论 结果很多跟贴的说遇到了


    问题在于这个说攻击 也没给我日志 我只是存了点文件 http 服务都没开
    当数据仓库使用着的

    比如其他机房 DMCA 会通知你 给你 24 小时解决好
    他们直接封端口 在告诉你下

    Online.net 现在口碑很差
    不过他们也不缺客户
    Showfom
        26
    Showfom  
       2016-06-07 09:40:38 +08:00 via iPhone
    @notgod 买之前看清 ToS 不懂就问客服 没有买金牌服务 online 就这样
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1243 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:56 · PVG 01:56 · LAX 09:56 · JFK 12:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.