V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
CatOfMrLu
V2EX  ›  云计算

如何使用 boto3 查看亚马逊 s3 存储上 zip 压缩文件里包含的文件(不下载到本地)?

  •  
  •   CatOfMrLu · 2022-03-25 19:51:22 +08:00 · 2769 次点击
    这是一个创建于 972 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位,有没有可能实现?或者使用其它方式?

    5 条回复    2022-04-01 14:05:08 +08:00
    disk
        1
    disk  
       2022-03-26 00:55:50 +08:00 via iPhone
    做不到,不下载只能获得对象的元信息。zip 的目录结构还不是集中存储,很难分段下载读取。如果想节省费用的话,用 s3 lambda 吧。
    CatOfMrLu
        2
    CatOfMrLu  
    OP
       2022-03-28 19:34:04 +08:00
    @disk 了解,谢谢
    CatOfMrLu
        3
    CatOfMrLu  
    OP
       2022-04-01 10:05:19 +08:00
    @disk 你好,我想通过通配符或正则来查询 s3 上的对象,但是使用 bucket.objects.filiter()方法只能用前缀来指定查找,这样不能达到效果,有没有好的方法来实现更精确的查找?感谢
    disk
        4
    disk  
       2022-04-01 11:16:37 +08:00
    @CatOfMrLu 最简单的方法是使用循环遍历所有对象,for obj in my_bucket.objects.all(),速度一般也挺快的。另外就是 select_object_content(**kwargs),支持上 s3 select 的 sql 语句,但我不确定这好不好使。
    CatOfMrLu
        5
    CatOfMrLu  
    OP
       2022-04-01 14:05:08 +08:00
    @disk 感谢,打开新思路
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5518 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 03:13 · PVG 11:13 · LAX 19:13 · JFK 22:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.