V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
feather12315
V2EX  ›  问与答

AI 技术在音视频与图像压缩技术领域有大规模应用吗?

  •  
  •   feather12315 · 2022-04-05 15:04:35 +08:00 via Android · 1328 次点击
    这是一个创建于 948 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天从差评那里了解了下 DLSS 与 FSR 2.0 ,意识到有损数据都可以使用 AI 来增强展示,音视频、图像是这类情况的典型的应用场景。

    记得 2018 年的时候学术界就有类似的东西了,那么现在这类技术在音视频与图像领域大规模普及了吗?

    13 条回复    2022-04-06 15:37:43 +08:00
    dcty
        1
    dcty  
       2022-04-05 15:52:57 +08:00 via iPhone
    曾经某个版本的 MIUI 用了图像超分辨率
    kokutou
        2
    kokutou  
       2022-04-05 16:09:10 +08:00 via Android
    大规模?没有。
    feather12315
        3
    feather12315  
    OP
       2022-04-05 16:13:27 +08:00 via Android
    @kokutou #2 这是什么原因呢?效果不好吗?
    imn1
        4
    imn1  
       2022-04-05 16:16:56 +08:00
    AI 是时间换空间的思想
    目前在空间成本大幅度降低、时间成本却在“上升”的环境下,这样的技术很难普及发展

    AI 更多用在无法直接从空间提取结果(时间成本远高于 0 )的工作
    c0xt30a
        5
    c0xt30a  
       2022-04-05 17:49:34 +08:00
    @feather12315 算力和功率的不够。
    felixcode
        6
    felixcode  
       2022-04-05 20:00:01 +08:00
    用 SVP 4 Pro 来给视频做插帧,提高帧率。
    ALLROBOT
        7
    ALLROBOT  
       2022-04-05 20:07:57 +08:00 via Android
    如果有 AI 优化有损或无损压缩 Gif 体积的工具,务必推荐一个,我用 FFPMEG+Gifsicle 工具的
    jdhao
        8
    jdhao  
       2022-04-05 20:27:01 +08:00 via Android
    有,短视频应用或者会议应用都可能会用超分增强视频画质
    murmur
        9
    murmur  
       2022-04-06 08:01:34 +08:00
    这东西是跟细节是矛盾的,脑部的细节是细节么,拿来补卡通片还可以,前几天有人想着用 AI 去猜心电图,那不是离谱
    feather12315
        10
    feather12315  
    OP
       2022-04-06 11:33:50 +08:00 via Android
    @murmur #9 我认为这类似有损压缩,有损压缩可行,联想细节也是可行的
    murmur
        11
    murmur  
       2022-04-06 11:34:43 +08:00
    @feather12315 那就是 DLSS 啊
    czfy
        12
    czfy  
       2022-04-06 12:01:20 +08:00
    DLSS 2018 年就随 20 系一同正式发布了,虽然 1.0 版本很垃圾,但确实是发布了
    理论上学界肯定要比这更早

    为什么没有大规模普及?
    因为钱
    训练模型多费钱,估计从差评这种垃圾自媒体是不会了解到的

    你以为老黄投这么大笔钱训练模型做 DLSS 是做慈善?
    他当时做这件事的初衷是通过这个来绑定游戏业界继而绑定玩家,其实就是重复 CUDA 已经验证过的成功路径
    业界通过 DLSS 可以在做游戏的时候更少考虑资源问题,特效做太多了,害怕玩家投诉优化差?上 DLSS !
    玩家想同时兼顾画面、流畅性、成本?开 DLSS !
    DLSS 闭源且只能在 N 卡上用,那么业界和玩家就会进一步被绑在 N 卡生态上

    然而现在老黄卖矿卡卖得这么爽,DLSS 3.0 还会不会有就不清楚了
    Namoe
        13
    Namoe  
       2022-04-06 15:37:43 +08:00
    2018 年刚好是一个很微妙的节点,Google 于 18 年发表了两篇深度学习的有损压缩论文,呈现的效果在客观指标上超越了 BPG ,目前学界的一系列工作都或多或少地继承或参考了这两篇论文。

    但工业界是否有大规模应用呢,据我了解暂时是没有的。个人觉得一个重要原因是尚未有完整的标准化工作。在图像 /视频压缩领域,工业界的标准(及事实标准)对于其应用是非常重要的。如果你使用了某个方法压缩,但是在客户所使用的设备上没有支持其解压缩的话,对于客户而言是完全的负收益。

    国际 /国内的 深度学习图像压缩 标准化工作最近正在推进,可以搜索 JPEG AI 关键词来看下。之所以标准化工作推进缓慢,一个主要原因还是 AI 所用的算法在时间、算力上消耗过大,大家还在探索如何能达到 压缩率-失真度-速度-算力 的好的平衡。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1218 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 18:07 · PVG 02:07 · LAX 10:07 · JFK 13:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.