V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
CloudStorage
V2EX  ›  推广

腾讯云对象存储 COS 荣获对象存储领导力奖!

  •  
  •   CloudStorage · 2021-06-21 21:26:09 +08:00 · 903 次点击
    这是一个创建于 1251 天前的主题,其中的信息可能已经有所发展或是发生改变。

    亚太内容分发大会暨 CDN 峰会一直致力于推动 CDN 产业深度融合发展和市场普及,现已成为亚太地区影响力最大的内容分发网络盛会。十年来,在以腾讯云、阿里云、网宿科技等亚太 CDN 产业联盟成员孜孜不辍的努力下,CDN 产业已经成为基础性设施网络,以坚定的基石之姿,支撑起中国成为世界最大的互联网市场。

    随着全球数字化、“一带一路”战略的推进,亚太内容分大会暨 CDN 峰会的影响力正在逐渐向全球延伸,同时也将中国智造 CDN 及产业链推广向全球每一个角落。

    近年来,腾讯云深耕对象存储领域,以技术创新屡次将存储领域推上更高台阶,荣膺亚太内容分发大会对象存储领导力奖。在 6 月 10 日下午举办的 [对象存储论坛] 上,腾讯云存储技术总监王淼发表了题为《对象存储内容分发应用:数据处理实践》的精彩演讲。

    近年来,数据每年以超过 30%-40%的速度爆发式增长,对于企业而言如何低成本高效的利用好数据就成为了挑战。数据湖作为一个以原始数据格式为存储的系统,为数据分析、数据处理、机器学习等提供了极大的便利,而云的扩展性、高性能、支持地域的广泛性、以及云上所提供的丰富的数据处理和分析能力,都使其成为数据湖理想的载体。

    从对象存储数据治理生态全景图中可以看到,除了对象存储标准接口之外,还可以通过消息队列、结构化存储系统、视频流等多种数据源,将数据快速方便地入湖,湖上也提供了丰富的数据处理和分析能力,消除数据孤岛,实现计算存储分离,由于部署及架构等原因,在业务实践中也遇到了不少挑战:主要体现在 IO 性能、目录操作以及存算分离需要的大带宽上,针对这些问题,腾讯云对象存储作为数据湖的底座,提供了多级数据加速服务,以满足不同场景的需要。

    随后,王淼介绍了腾讯云提供的多级加速服务:GooseFS 作为近计算节点的高速缓存,不仅为计算节点提供数据加速,还能将计算节点产生的数据写入缓存,以供二次计算或加速 CDN 的分发;数据加速器是部署在各个 AZ 的高速缓存集群,在 AZ 端为热数据提供加速服务和抗热点数据能力,高速缓存集群采用 SSD 作为数据盘,与计算集群之间通过高带宽网络连接,为数据应用访问 COS 对象存储提供 Tb 级别带宽资源和毫秒级的时延;元数据加速器主要应对文件系统级元数据操作,解决对象存储模拟文件系统的损耗,加速包括 list 、head 的操作以及提供原子性 rename 接口和一些目录操作相关接口。

    对象存储和 CDN 结合服务客户的过程中,也会遇到数据处理、内容安全和容灾架构等方面的挑战,如何更高效可靠地为用户提供服务,王淼分享了腾讯云的经验。

    数据处理·能力建设

    数据处理的底层是各种原子能力,包括图像处理、视频处理、音频处理、内容审核、文档处理等。除了对原子能力做持续的迭代和优化,腾讯云也关注业界前沿技术,保持对前沿技术的敏感性,在合适的时机尽快地应用到云上,服务客户企业。

    数据处理·流程建设

    之前的工作流系统,主要流转于对象存储和数据处理服务的内部,能解决的问题有限,在实际业务的一些场景中,用户可能需要使用到多个云产品,那么就需要在多个产品间进行繁琐的配置,写很多的接口调用代码,既复杂又容易出错;腾讯云 COS 通过预置云函数,利用简单的配置,打通多个云产品,实现业务逻辑快速实现。

    以视频上传为例,一个视频上传之后可以通过数据处理服务,配置精彩封面、图片瘦身等流程化的操作,可以对视频进行高清、标清转码,同时对视频进行审核,出现违规视频可以进一步进行冻结。

    在工作流演进的过程中,对象存储通过对接函数服务,能为客户提供更多可能:比如图片瘦身后,可以通过预热云函数直接将图片预热到 CDN 节点;审核服务如果发现违规文件,可以通过刷新云函数把 CDN 节点上的违规数据清理掉,防止对业务造成损害。函数服务也提供自定义函数的能力,可以对接业务系统,对接其他云服务平台,真正让用户少操作,少写代码,少“踩坑”

    智能化演进·智能分层

    在对接客户的时候经常遇到一种场景:客户希望根据文件的最后访问时间来判断是否沉降,而对象存储提供的数据沉降、生命周期服务都是以数据上传时间为判断标准,无法满足这种场景的需求。基于这一点 COS 研发了智能分层服务,可以根据用户文件的访问频次、大小、格式,为数据提供冷热分离自动化机制,降低用户的使用成本。

    详情请参见 https://mp.weixin.qq.com/s/My4vcs86vVXs85GiC9jZ4A

    zmxnv123
        1
    zmxnv123  
       2021-06-22 08:37:23 +08:00 via iPhone
    真能吹
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2728 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 06:53 · PVG 14:53 · LAX 22:53 · JFK 01:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.