有 UE4 大神没，想问个问题。

[jtacm]

现在有这样一个需求，在 UE4 中有一个人脸，想通过程序代码获取人脸信息，然后调用 opencv/pytorch 模型，为此人脸添加滤镜。此滤镜为普通 2D 滤镜，即输入是 2D 图片，输出也是 2D 图片，比如我们手机自拍里常见的美白滤镜，眼镜变大滤镜等。

现在此滤镜已经 ready，使用的是 opencv/pytorch，用 python 编写（当然也可以改为 c++），请问通过怎么样一种方式集成到 UE4 中去？由于滤镜是 2D 滤镜，所以仅要求贴完滤镜后的的人脸只对某一个特定 camera 投影 OK 就行。

想询问下实现思路，感激不尽。 请大神们可以给点建议，即使不是 end to end solution 也行。

其实我们想做的就是，把现成在手机自拍 app 里那种美白、大眼的各种滤镜，应用到 UE4 里的人物上。但是这种滤镜以往都是针对手机自拍 2D 图片的，作用到 UE4 里的 3D 人物上的话，只需要对其正对 camera 的摄像头投影生效就可以。

[hs0000t]

不懂 UE4，感觉可以走 tcp 或者 http，给 py 模型套一层 web 服务器，监听本地高位端口

[jtacm]

@hs0000t 感谢建议。
走 web 服务有些额外开销，特别是近实时的场景，我更想把 opencv/pytorch 更 native 的集成到 UE4 中去贴脸。

[LifStge]

需求有点模糊啊 不都是建模 shader 处理的么 啥应用场景呢 是采集摄像机 然后整合到 ue4 的场景里么 这样的话 跟 UE4 的东西关系也不大啊 不就是影视处理的那套流程么 对摄像机采集的图片直接处理 处理完后 贴进场景 还是说想对 UE4 里渲染的人物做处理呢 不用 shader 的方式的话 不也是将模型渲染到纹理 然后 2d 处理么 处理完后再帖进去

[loveour]

没太懂，如果是 C++，直接写个插件把代码集成进去不就可以了吗？或者直接集成在 UE4 的工程里也可以，但是这样不方便以后用在别的 UE4 项目里面。就是普通的 C++包含头文件调用接口呀，需要什么思路？

[jtacm]

@LifStge 感谢。 我们是想对 UE4 里渲染好的人物做处理，人物已经在 UE4 里弄好，然后想用 opencv/pytorch 加一些效滤镜果上去。这些滤镜效果，是以人脸作为输入，然后输出大眼、美白后的人脸。就和我们在各类手机自拍 app 里的效果差不多，只不过是作用在 UE4 里的人物里，可能和 2D 纹理贴图还不同。请问还有啥思路？

[jtacm]

@loveour 有这类插件的例子吗？其实我们想做的就是，把现成在手机自拍 app 里那种美白、大眼的各种滤镜，应用到 UE4 里的人物上。但是这种滤镜以往都是针对手机自拍 2D 图片的，作用到 UE4 里的 3D 人物上的话，只需要对其正对 camera 的摄像头投影生效就可以。

[YuriX]

听起来滤镜像是 CPU 上的？那么只能从 RenderTarget 读回像素，然后转发到滤镜上了。处理完再传回来，写到纹理里面。弄个 postprocess 画到屏幕上。过程快不了，隔帧弄吧

[jtacm]

@YuriX 滤镜需要过 pytorch 模型，是在 GPU 上跑。
如果在 GPU 上，有什么特别的吗？

[lightjiao]

美颜滤镜这种需求在游戏开发中被称作相机后处理呀（虽然我不会写后处理

[future0906]

1.集成的话，opencv 可能简单点，直接当成一个插件一起编译到 UE4 就行。Pytorch 不确定集成方式，不知道有没有 C++接口。可以看看商城有没现成成的插件，没有的话可能要自己做。

2.生成出来的图片主要看你要怎么用。直接在界面上显示平面图的话，用 slate 就行；如果要放在 3D 场景的话，要看你想怎么放；是作为纹理绑定到模型上还是直接作为一个面片（公告板）放到场景

[paopjian]

opencv 好像自带神经网络了，不考虑把模型改成原生的吗

[root99527]

改成 c++的 inference 库即可，可以考虑使用 tensorrt,mnn,ncnn 等等