bilibili 弹幕蒙版技术

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2395 天前的主题，其中的信息可能已经有所发展或是发生改变。

昨天 bilibili 微博上发布了弹幕蒙版效果图，感觉非常非常炫酷啊，抠图技术和弹幕的完美结合，大家对此有什么看法呢

从技术上来说如何实现的呢

我的猜测：根据视频帧信息动态识别到人物的范围，在弹幕"图层"隐藏人物范围的弹幕

弹幕

弹幕蒙版

bilibili

图层

19 条回复 • 2018-06-04 15:52:44 +08:00

kindjeff

2018-06-01 19:15:22 +08:00

电脑怕是带不动了？

haohaozaici

2018-06-01 19:17:46 +08:00 via Android

@kindjeff 哈哈感觉没这么夸张，精读要求不高

ynyounuo

2018-06-01 19:19:59 +08:00

精度很低啊 - - 看雷军那张

Zzdex

2018-06-01 19:23:37 +08:00 via iPhone

帅啊

Fatenana

2018-06-01 19:27:15 +08:00

类似实现的话 niconico 静画对漫画文字的处理就是这样的，弹幕不会遮住文字，不过这个肯定技术厉害的多

Foolt

2018-06-01 19:31:07 +08:00

对我来说没什么用，我心中早已无码

Phariel

2018-06-01 19:32:36 +08:00 via iPhone

额视觉上不在一个平面总感觉怪怪的。。。

haohaozaici

2018-06-01 19:33:21 +08:00 via Android

@Foolt 哈哈，不过这种蒙版技术会造成一种人物在弹幕上方的假象，更加真实
@Fatenana 有机会我去看看

ETiV

2018-06-01 20:24:10 +08:00

应该是预先用 OpenCV 检测视频内人物骨骼，再填肉，生成矢量数据

浏览器能看到生成 SVG 的 data: 请求

johnyu

2018-06-01 20:43:10 +08:00

像素级的应用。不错不错不错。

dobelee

2018-06-01 22:22:29 +08:00 via Android

什麼意思？人物動來動去的話，字也會跟著動來動去？那還能看到嗎？

KingBillSame

2018-06-01 22:41:41 +08:00 via Android

想到時候了一個場景。看恐怖片的時候，突然一個鬼臉冒出來，本來有彈幕護體的，結果有了蒙版......想想就

haohaozaici

2018-06-02 00:40:45 +08:00 via Android

@dobelee 弹幕在经过人物区域的时候会，经过人物区域的部分会自动隐藏，超出的部分正常显示，可以找到原博看看

@KingBillSame 哈哈这就尴尬了

PerFectTime

2018-06-02 00:50:07 +08:00

@KingBillSame #12 hhh 弹幕护体药丸

Sylv

2018-06-02 03:04:04 +08:00 via iPhone

感觉是预先抠出动态的人的影像，叠加在原视频和弹幕层上，现在只支持宅舞区，这类视频的特点就是背景相对固定变化不大，比较容易自动提取出前景动态的人的影像。

elgae

2018-06-02 08:47:02 +08:00 via Android

开发者解释了:
哇，没想到在推上这么透明的我居然都能被抓出来，诚惶诚恐
那就作为福利集中回答几个上一推出现的两个问题

Q1. 原理是什么？基于机器学习的视频主体区域识别，离线生产，前端渲染，无人工修正，再具体点是机密就不透露了（
Q2. 纸片人也能识别吗？是的但是人外，奇怪画风的就不行了

frozenthrone

2018-06-02 13:37:02 +08:00 via iPhone

哇，裸眼 3D

cocang

2018-06-03 10:11:19 +08:00

就没有和我一样很讨厌看弹幕的吗？

MrFireAwayH

2018-06-04 15:52:44 +08:00

然而这个开发者已经离职了 @flv.js