尝试 AI 人脸关键点算法实现一下 Android 人脸匿名功能

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Android Studio

这是一个创建于 1622 天前的主题，其中的信息可能已经有所发展或是发生改变。

什么是人脸匿名（ Face Anonymization ）

随着人脸识别技术的普及，人脸数据的隐私问题也得到越来越多关注，针对隐私保护的研究也陆续出现。目前大致有下面几个方向

篡改输入人脸识别系统的图像。
生成式对抗网络(GAN)来匿名某人的照片或视频。
直接模糊人脸识别到的人脸

本文主要讲第 3 点，讲讲怎么使用移动端人脸关键点算法实现人脸匿名功能。这种方法对设备要求低，代码简单易懂，修改后就可直接落地。

下图就是最终想实现的功能
demo1

什么是人脸关键点算法（ Face Landmarks ）

人脸关键点检测是人脸相关算法中的关键一环，它是人脸识别、表情分析、3D 人脸重建，表情驱动 3D 动画等一系列人脸相关问题的前提。

face landmarks

我们将使用 TengineKit 来实现人脸匿名功能

TengineKit

免费移动端实时人脸 212 关键点 SDK 。是一个易于集成的人脸检测和人脸关键点 SDK 。它可以在各种手机上以非常低的延迟运行。
https://github.com/OAID/TengineKit

TengineKit 效果图

demo1

实现

配置 Gradle

Project 中的 build.gradle 添加

    repositories {
        ...
        mavenCentral()
        ...
    }

    allprojects {
        repositories {
            ...
            mavenCentral()
            ...
        }
    }

主 Module 中的 build.gradle 添加

    dependencies {
        ...
        implementation 'com.tengine.android:tenginekit:1.0.3'
        ...
    }

配置 manifests

    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
    <uses-permission android:name="android.permission.INTERNET"/>

    <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/>
    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
    <uses-permission android:name="android.permission.READ_PHONE_STATE"/>

    <uses-permission android:name="android.permission.CAMERA"/>
    <uses-permission android:name="android.permission.FLASHLIGHT" />

    <uses-feature android:name = "android.hardware.camera" android:required="true"/>
    <uses-feature android:name = "android.hardware.camera.autofocus" />

初始化 Android Camera

为 App 创建自定义摄像头界面的步骤如下：

检测和访问 Camera
创建预览 TextureView
构建预览 TextureView 布局
将 Camera 和 TextureView 绑定
启动预览

我们先 new 一个 TextureView.SurfaceTextureListener，在里面完成 camera 的初始配置，当 TextureView 可用的时候，onSurfaceTextureAvailable 中的代码将被调用

   private final TextureView.SurfaceTextureListener surfaceTextureListener = new TextureView.SurfaceTextureListener() {
        @Override
        public void onSurfaceTextureAvailable(final SurfaceTexture texture, final int width, final int height) {
            int index = getCameraId();
            camera = Camera.open(index);

            try {
                Camera.Parameters parameters = camera.getParameters();
                List<String> focusModes = parameters.getSupportedFocusModes();
                if (focusModes != null && focusModes.contains(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE)) {
                    parameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);
                }
                List<Camera.Size> cameraSizes = parameters.getSupportedPreviewSizes();
                Size[] sizes = new Size[cameraSizes.size()];
                int i = 0;
                for (Camera.Size size : cameraSizes) {
                    sizes[i++] = new Size(size.width, size.height);
                }
                Size previewSize = CameraConnectionFragment.chooseOptimalSize(sizes, desiredSize.getWidth(), desiredSize.getHeight());
                parameters.setPreviewSize(previewSize.getWidth(), previewSize.getHeight());
                camera.setDisplayOrientation(90);
                camera.setParameters(parameters);
                camera.setPreviewTexture(texture);
            } catch (IOException exception) {
                camera.release();
            }

            camera.setPreviewCallbackWithBuffer(imageListener);
            Camera.Size s = camera.getParameters().getPreviewSize();
            camera.addCallbackBuffer(new byte[ImageUtils.getYUVByteSize(s.height, s.width)]);

            textureView.setAspectRatio(s.height, s.width);
            camera.startPreview();
        }

        @Override
        public void onSurfaceTextureSizeChanged(final SurfaceTexture texture, final int width, final int height) {
        }

        @Override
        public boolean onSurfaceTextureDestroyed(final SurfaceTexture texture) {
            return true;
        }

        @Override
        public void onSurfaceTextureUpdated(final SurfaceTexture texture) {
        }
    };

此处将 textureView 和 camera 联系起来

    textureView.setSurfaceTextureListener(surfaceTextureListener);

当 camera 启动预览，textureView 得到真实的 size 后。我们得到了 camera 的输出视频流的宽高和预览 textureView，将其保存起来，后续有用到。

    textureView.setRealSizeListener(new AutoFitTextureView.RealSizeListener() {
        @Override
        public void onRealSizeMeasure(int w, int h) {
            if(!isReady){
                isReady = true;
                Camera.Size s = camera.getParameters().getPreviewSize();
                cameraReadyListener.onCameraReady(
                        s.width, s.height,w, h
                );
            }
        }
    });

处理 Camera 传过来的视频流

首先我们先初始化 TengineKit:

选用 camera 处理模式
打开人脸检测和人脸关键点功能
设置视频流格式为 YUV_NV21 （ Android camera 默认格式）
设置输入视频流的宽高，此处为 camera 的预览宽高
设置输出视频流的宽高，此处为 textrureView 的宽高
设置输入视频流来自前置摄像头

    com.tenginekit.Face.init(getBaseContext(),
            AndroidConfig.create()
                    .setCameraMode()
                    .openFunc(AndroidConfig.Func.Detect)
                    .openFunc(AndroidConfig.Func.Landmark)
                    .setInputImageFormat(AndroidConfig.ImageFormat.YUV_NV21)
                    .setInputImageSize(previewWidth, previewHeight)
                    .setOutputImageSize(outputWidth, outputHeight)
    );
    com.tenginekit.Face.Camera.switchCamera(false);

处理数据

得到手机旋转角度，将其设置到 TengineKit
开始检测，当检测到人脸数目大于 0 的时候，调用 faceDetect.landmark2d()，得到人脸关键点链表

    int degree = CameraEngine.getInstance().getCameraOrientation(sensorEventUtil.orientation);

    com.tenginekit.Face.Camera.setRotation(degree - 90, false,
            outputWidth, outputHeight);

    com.tenginekit.Face.FaceDetect faceDetect = Face.detect(data);
    faceLandmarks = null;
    if(faceDetect.getFaceCount() > 0){
        faceLandmarks = faceDetect.landmark2d();
    }

高斯模糊和绘制

这里使用 Android 的 bitmap 来实现功能，这种做法比较粗糙，性能差，但是简单易懂，如果读者有兴趣可以使用 OpenGLES 来实现此功能。

将从摄像头中得到的 yuv 数据通过 TengineKit 的图片帮助函数转化为 Bitmap
通过人脸关键点的外接框，裁剪 bitmap 得到人脸的 bitmap 数组
将得到的人脸 bitmap 进行高斯模糊

    if(testBitmap != null){
        testBitmap.recycle();
    }
    testBitmap = Face.Image.convertCameraYUVData(
            data,
            previewWidth, previewHeight,
            outputWidth, outputHeight,
            - 90,
            true);


    for(Bitmap bitmap : testFaceBitmaps){
        bitmap.recycle();
    }
    testFaceBitmaps.clear();
    if(testBitmap != null && faceDetect.getFaceCount() > 0){
        if(faceLandmarks != null){
            for (int i = 0; i < faceLandmarks.size(); i++) {
                    Bitmap face = BitmapUtils.getDstArea(testBitmap, faceLandmarks.get(i).getBoundingBox());
                    face = BitmapUtils.blurByGauss(face, 50);
                    testFaceBitmaps.add(face);
            }
        }
    }

    runInBackground(new Runnable() {
        @Override
        public void run() {
            trackingOverlay.postInvalidate();
        }
    });

trackingOverlay 为定制的 view，将 canvas 暴露出来用于画 bitmap

    trackingOverlay.addCallback(new OverlayView.DrawCallback() {
        @Override
        public void drawCallback(final Canvas canvas) {
            if(testBitmap != null){
                canvas.drawBitmap(testBitmap, 0,0, circlePaint);
            }
            if(faceLandmarks != null){
                for (int i = 0; i < faceLandmarks.size(); i++) {
                    Rect r = faceLandmarks.get(i).getBoundingBox();
                    canvas.drawRect(r, circlePaint);
                    canvas.drawBitmap(testFaceBitmaps.get(i), r.left, r.top, circlePaint);
                }
            }
        }
    });