V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
xiebinbin666
V2EX  ›  Go 编程语言

这两天手撸了一个 minio 前置的缓存节点与图片处理服务器(s3cache)

  •  
  •   xiebinbin666 · 2023-03-01 11:27:11 +08:00 · 1390 次点击
    这是一个创建于 615 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为项目需求需要部署大量缓存节点,找了类似 picfit 、imageproxy 这些服务器,但都不能满足当前的需求。

    项目已开源: s3cache

    https://github.com/xiebinbin/s3cache

    感谢以下项目给到的学习支持:

    https://github.com/thoas/picfit ?https://github.com/willnorris/imageproxy

    设计思路:

    >1.能够缓存其他文件
        >2.能够进行图片基本的转码、裁剪操作
        >3.能够从远程 minio 加载
    

    后续升级规划:

    >1.对本地空间进行自动回收
        >2.支持加载其他远程文件
    
    2 条回复    2023-03-01 13:25:04 +08:00
    gold2022
        1
    gold2022  
       2023-03-01 12:19:24 +08:00
    相对于 picfit 、imageproxy 这个项目的优点是什么,能说一下吗
    xiebinbin666
        2
    xiebinbin666  
    OP
       2023-03-01 13:25:04 +08:00
    @gold2022
    如果单纯的图片服务器用 picfit,imageproxy 是最好的选择
    由于我的业务场景是文件全部都存在海外的 minio,wasabi 这一类型的对象存储上。
    但有问题的是
    1.minio 不能支持对图片裁剪等实时处理.
    2.国内直接访问海外部署的 minio ,wasabi 等是不行的,并且很慢
    3.域名一旦被墙也不能对 minio,wasabi 上的文件进行迁移
    解决方案就是:
    1.部署前置的缓存节点
    2.缓存节点能动态缓存后端 minio 或 wasabi 上的文件
    3.缓存节点能对图片进行转码、裁剪等方便前端调用
    4.配合 ansible 进行自动化的部署缓存节点就能实现随意伸缩、变更域名
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3739 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 10:30 · PVG 18:30 · LAX 02:30 · JFK 05:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.