分享一个我们正在做的产品--快转字幕 https://www.kzzimu.com ,目标是海外市场,先在国内试试水,de 下 bug 。
下面我跟大家分享技术、经验和资源哈。
是基于 Whisper 魔改版,实现音视频转字幕,GPT-4 翻译加润色,识别说话人,字幕智能重排的一站式音视频平台。
V 友们肯定会说,XX 、XXX 和 XXXX 不都有这些东西?
对我们的产品的技术实现感兴趣的话,可以留言,我会分享一些技术细节。比如,我们的说话人识别,用的是 NVIDIA 的 Nemo 。
另外,V 友如果想要在自己的产品上快速实现我们现在的功能,我们也做了 API 可以对接,比如我们支持 2 小时以内,100M 的不分段的音频识别。
1
webjourneyer 328 天前
哇,我们正好也在开始做这块的,希望楼主能分享更多细节
|
2
terryops OP @webjourneyer 多搞搞差异化吧。你想知道哪部分的细节?
|
3
webjourneyer 328 天前
@terryops 目前我们基于 whisper 也搞了一个字幕提取的(主要是参考开源的应用),但我就一直没办法像楼主你那样搞成网站的形式来调用进行调用,你们边播放边把字幕实时搞进去是怎么处理的呀
|
4
Cellinlab 328 天前
加个音色识别吧,这样能吊打市面上 99%字幕识别工具了,给字幕加上角色
|
5
terryops OP @Cellinlab 我们可以识别说话人,区分 1 、2 、3 、4 、5 、6 这样,但是具体这个人是谁,需要音色的向量保存下来,然后人工标注。
目前我们的产品主要定位是视频创作者,用户可以手动标注说话人的名字,目前来看是够用的。 |
6
terryops OP @webjourneyer 这个很简单,是浏览器自带的功能,用那个 WebVTT 的格式,就能挂载字幕了。
|
7
lidedongsn 328 天前
这个特色是转字幕,有没有想过加强剪辑的能力
|
8
lidedongsn 328 天前
还有就是基于识别字幕的文本内容结合当前的大模型能力,生成视频摘要还有智能剪辑
|
9
Cellinlab 328 天前
@terryops 挺好,我觉得你可以和他们谈下合作 https://www.33subs.com/contact
|
10
webjourneyer 328 天前
@terryops 感谢,我研究下
|
12
terryops OP @lidedongsn 谢谢,这块我们研究下能做到什么个程度。
|
13
Andim 328 天前
试了下中文比原生的 Whisper 还是要差点,原生 Whisper 能识别中文 80%
https://www.kzzimu.com/result/94f99bd0e6f59046222957b506ded023 https://gcdnb.pbrd.co/images/wIzlPpehs9tW.png?o=1 只识别出四句 音频是 李千那 的 延禧攻略 |
14
deiphi 328 天前
试了一下,跟 Whisper large v3 出来的字幕一模一样。
|
16
terryops OP @Andim 可能是你的文件有问题,我把你发的链接直接下载视频下来,拖进去转录,能出全部歌词。
[temp-Imagej-U4z-LX.jpg]( https://postimg.cc/JydH3tZR) |
17
terryops OP <a href='https://postimg.cc/JydH3tZR' target='_blank'><img src='https://i.postimg.cc/JydH3tZR/temp-Imagej-U4z-LX.jpg' border='0' alt='temp-Imagej-U4z-LX'/></a>
|
18
Andim 328 天前
@terryops
https://mega.nz/file/64VjFSRY#wHOazbwhbsSj7BJ2LnjTZco0Wx5SUzEdqlEH8Is0_DM 这个音频我用 Whisper 识别是没问题的,不过 Whisper 对中文的错误率还是很高 |
19
terryops OP @Andim 你有没有发现你出现了李宗盛作词作曲这种幻听?然后 3 分 17 秒那句完全就错的。
我们研究了很多这种问题,有很多解决方案,比如然后你那个文件有点问题,我们有个功能,去杂音。 https://imgur.com/a/acOVSYO 勾选之后就能识别了。 https://imgur.com/a/AMVID1N 另外 Whisper 对音质要求很高的,音质差,识别率就差,断句也会差。你那个 8mb 的 wav 文件,码率应该相当低。 但是可以做一些音频处理,移除杂音。 |
20
wswlaz 309 天前
获取视频信息失败,请检查 URL 是否有效
|