今天从差评那里了解了下 DLSS 与 FSR 2.0 ,意识到有损数据都可以使用 AI 来增强展示,音视频、图像是这类情况的典型的应用场景。
记得 2018 年的时候学术界就有类似的东西了,那么现在这类技术在音视频与图像领域大规模普及了吗?
1
dcty 2022-04-05 15:52:57 +08:00 via iPhone
曾经某个版本的 MIUI 用了图像超分辨率
|
2
kokutou 2022-04-05 16:09:10 +08:00 via Android
大规模?没有。
|
3
feather12315 OP @kokutou #2 这是什么原因呢?效果不好吗?
|
4
imn1 2022-04-05 16:16:56 +08:00
AI 是时间换空间的思想
目前在空间成本大幅度降低、时间成本却在“上升”的环境下,这样的技术很难普及发展 AI 更多用在无法直接从空间提取结果(时间成本远高于 0 )的工作 |
5
c0xt30a 2022-04-05 17:49:34 +08:00
@feather12315 算力和功率的不够。
|
6
felixcode 2022-04-05 20:00:01 +08:00
用 SVP 4 Pro 来给视频做插帧,提高帧率。
|
7
ALLROBOT 2022-04-05 20:07:57 +08:00 via Android
如果有 AI 优化有损或无损压缩 Gif 体积的工具,务必推荐一个,我用 FFPMEG+Gifsicle 工具的
|
8
jdhao 2022-04-05 20:27:01 +08:00 via Android
有,短视频应用或者会议应用都可能会用超分增强视频画质
|
9
murmur 2022-04-06 08:01:34 +08:00
这东西是跟细节是矛盾的,脑部的细节是细节么,拿来补卡通片还可以,前几天有人想着用 AI 去猜心电图,那不是离谱
|
10
feather12315 OP @murmur #9 我认为这类似有损压缩,有损压缩可行,联想细节也是可行的
|
11
murmur 2022-04-06 11:34:43 +08:00
@feather12315 那就是 DLSS 啊
|
12
czfy 2022-04-06 12:01:20 +08:00
DLSS 2018 年就随 20 系一同正式发布了,虽然 1.0 版本很垃圾,但确实是发布了
理论上学界肯定要比这更早 为什么没有大规模普及? 因为钱 训练模型多费钱,估计从差评这种垃圾自媒体是不会了解到的 你以为老黄投这么大笔钱训练模型做 DLSS 是做慈善? 他当时做这件事的初衷是通过这个来绑定游戏业界继而绑定玩家,其实就是重复 CUDA 已经验证过的成功路径 业界通过 DLSS 可以在做游戏的时候更少考虑资源问题,特效做太多了,害怕玩家投诉优化差?上 DLSS ! 玩家想同时兼顾画面、流畅性、成本?开 DLSS ! DLSS 闭源且只能在 N 卡上用,那么业界和玩家就会进一步被绑在 N 卡生态上 然而现在老黄卖矿卡卖得这么爽,DLSS 3.0 还会不会有就不清楚了 |
13
Namoe 2022-04-06 15:37:43 +08:00
2018 年刚好是一个很微妙的节点,Google 于 18 年发表了两篇深度学习的有损压缩论文,呈现的效果在客观指标上超越了 BPG ,目前学界的一系列工作都或多或少地继承或参考了这两篇论文。
但工业界是否有大规模应用呢,据我了解暂时是没有的。个人觉得一个重要原因是尚未有完整的标准化工作。在图像 /视频压缩领域,工业界的标准(及事实标准)对于其应用是非常重要的。如果你使用了某个方法压缩,但是在客户所使用的设备上没有支持其解压缩的话,对于客户而言是完全的负收益。 国际 /国内的 深度学习图像压缩 标准化工作最近正在推进,可以搜索 JPEG AI 关键词来看下。之所以标准化工作推进缓慢,一个主要原因还是 AI 所用的算法在时间、算力上消耗过大,大家还在探索如何能达到 压缩率-失真度-速度-算力 的好的平衡。 |