AI 换脸

栏目: 编程工具 · 发布时间: 3个月前

来源: mp.weixin.qq.com

本文转载自:https://mp.weixin.qq.com/s?__biz=Mzg2ODAyNTgyMQ==&mid=2247483886&idx=1&sn=b3327df65933d83e977b24562a86c08d&chksm=ceb3d55cf9c45c4a51bdd46215ead0399664884dffaa848680a4e249c43f6b6183f524597a0e&xtrack=1&scene=90&subscene=93&sessionid=1554339603&clicktime=15543,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有。

AI 换脸

事先说明,该篇文章中的代码是我无意中发现的,这里仅做一个分享,文末会给出参考文章,不喜勿喷。

完整源码和预训练模型可在公众号:「01二进制」后台回复:「AI换脸」获取

前言

作为一个经常逛b站的肥宅,前段时间无意中看到了一个名为"换脸哥"做的换脸视频,让杨幂“穿越”到了1994年版的《射雕英雄传》里,“代替”了朱茵,“出演”了黄蓉这个角色。视频如下(b站视频已经被删了,只能转载知乎的视频了,原地址是[杨幂“换脸”,AI换脸究竟有多可怕 - 科技富能量的文章 - 知乎]( https://zhuanlan.zhihu.com/p/57863071)):

看完我便虎躯一震,这也太厉害了吧,这种技术一旦流行起来,ab不用去片场就能拍戏了啊,真的是躺着赚钱啊。这要是运用到H片上,岂不是:sweat_smile::sweat_smile::sweat_smile:

AI 换脸

言归正传,作为一个coder,在看到这个视频之后我就很想知道这究竟是怎么做出来的,在查阅了一些资料后,我才发现最悲伤的事情莫过于,好不容易把源码找到了,数据集下载好了,结果显卡带不起来…

Tips:这里给出我之前找到的两个有关视频换脸的仓库,有兴趣的自己去了解下:

  • deepfakes_faceswap:https://github.com/joshua-wu/deepfakes_faceswap

  • FaceIt:https://github.com/goberoi/faceit

既然条件不允许,那我们只能降低成本,既然视频里的脸不好换,那就退而求其次,换一下图片里面的脸,果然在我的苦苦寻觅后,我找到了一个低配版的 Python 换脸大法:

《Switching Eds: Face swapping with Python, dlib, and OpenCV》(https://matthewearl.github.io/2015/07/28/switching-eds-with-python/)

以下内容均参考上述所标注的文章,在这感谢原作者。

接下来我将会介绍如何通过一段简短的 Python 脚本(200行左右)将一张图片中面部特征自动替换为另外一张图片中的面部特征。

具体过程分为四个步骤:

  • 检测面部标志;

  • 旋转、缩放和平移图 2 以适应图 1;

  • 调整图 2 的白平衡以匹配图 1;

  • 将图 2 的特征融合到图 1 中;

实验环境

  • MacOS 10.14.3

  • Python 3.7

  • PyCharm

  • 用到的库有:

  • numpy

  • dlib

  • opencv-python

工具说明

numpy大家应该都很熟悉了,这里我简单介绍下dlib和opencv。

dlib

官网介绍其为:A toolkit for making real world machine learning and data analysis applications,简单来说他就是一个开源的机器学习库,包含了很多机器学习的算法。同时对外提供了C++和Python的接口。使用dlib可以大大简化开发,比如人脸识别,特征点检测之类的工作都可以很轻松实现。同时也有很多基于dlib开发的应用和开源库,比如face_recogintion库(据说识别率高达93%,有兴趣的可以查阅相关资料)。python下的安装也很简单,执行 pip install dlib 即可。

opencv

OpenCV是Intel®开源计算机视觉库。它由一系列 C 函数和少量 C++ 类构成,实现了图像处理和计算机视觉方面的很多通用算法。是计算机视觉领域非常重要的一个开源库。官网地址:https://opencv.org/

开始换脸

提取面部特征

既然要换脸,我们肯定要先在图片中找到人脸,dlib中有一个函数 get_frontal_face_detector() 实现了面部特征提取,核心算法来自于 Vahid Kazemi 和 Josephine Sullivan 的论文《One Millisecond Face Alignment with an Ensemble of Regression Tree》,我也没有读过这篇论文就不解释了。提取面部特征的代码如下:

get_landmarks() 函数接受一个图片,经过处理后以 numpy 数组的形式进行处理,并返回一个 68x2 的元素矩阵。矩阵的每一行与输入图像中特定特征点的 x,y 坐标相对应。

特征提取器(predictor)需要一个大概的边界框作为算法的输入。这将由传统的面部检测器(detector)提供。该面部检测器会返回一个矩形列表,其中每一个矩形与图像中的一张人脸相对应。

生成 predictor 需要预先训练好的模型。该模型可在微信公众号「01二进制」后台回复"AI换脸"获得。

人脸对齐

有了上述方法,我们就可以提取出图片中的人脸了,但是两张照片中的人脸方向肯定都是不一致的(毕竟你不能保证每张都是证件照啊),就像下面这两张图:

AI 换脸

这两个人脸的方向明显不一致啊,所以我们还需要对人脸进行对齐。我们现在已经获取到每张图片中人脸矩形的坐标了,剩下的就是弄明白如何旋转、平移和缩放第一个向量的所有点,使其尽可能匹配第二个向量中的点就可以了。这里运用到了一个名为 普氏分析法(Ordinary Procrustes Analysis) 的方法解决这个问题的,数学能力有限,数学依据参考注释中的链接,这里就直接放出代码吧:

之后我们再把对齐的结果利用 OpenCV 的 cv2.warpAffine 函数,将第二个图片映射到第一个图片上:

校正图片颜色

两张图片由于不同的 肤色光线 造成了覆盖区域边缘的不连续。所以我们需要修正它:

图片融合

用一个蒙版(mask)来选择图 2 和图 1 应被最终显示的部分:

AI 换脸

值为 1 (白色)的地方为图 2 应显示的区域,值为 0 (黑色)的地方为图 1 应显示的区域。值在 0 和 1 之间的地方为图 1 图 2 的混合区域。

这是生成上述内容的代码:

GetFaceMask() 函数定义是:为一张图像和一个标志矩阵生成一个蒙版。蒙版会画出两个白色的凸多边形:一个是眼睛周围的区域,一个是鼻子和嘴部周围的区域。之后,蒙版的边缘区域向外羽化 11 个像素,这可以帮助消除剩下的不连续部分。

参考

本文参考了下述文章:

  1. 《Switching Eds: Face swapping with Python, dlib, and OpenCV》

  2. 《萌新如何用Python实现人脸替换?》

完整源码和预训练模型可在公众号:「01二进制」后台回复:「AI换脸」获取

最后

至此,一个低配版的AI换脸就完成了,结果就如开头那样。此次实验虽然已有换脸的雏形,但是精度还远远不够,而且这种换脸如果用到视频中肯定是不堪入目的,毕竟做得好的已经是下面这样了:

AI 换脸

方法教给大家了,图片素材大家可以自己找,玩一玩,要是能转发到朋友圈让更多人看到就更好了!

下篇更新"美国校队蔡徐坤"打篮球视频的txt版,这里先放个预览的GIF图:

AI 换脸

喜欢的小伙伴可以长按下方二维码关注哦~。:point_down:

AI 换脸


以上所述就是小编给大家介绍的《AI 换脸》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

为你推荐:

相关软件推荐:

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

大转换

大转换

尼古拉斯·卡尔 / 闫鲜宁、张付国 / 中信 / 2016-2 / 49

1、我们这个时代最清醒的思考者之一尼古拉斯·卡尔继《浅薄》《玻璃笼子》之后又一重磅力作。 2、在这部跨越历史、经济和技术领域的著作中,作者从廉价的电力运营方式对社会变革的深刻影响延伸到互联网对我们生活的这个世界的重构性影响。 3、《快公司》《金融时报》《华尔街日报》联袂推荐 简介 早在2003年,尼古拉斯·卡尔先生发表在《哈佛商业评论》上的一篇文章——IT Doesn't ......一起来看看 《大转换》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具