如何进行AI换脸,AI换脸从 "0" 到 “1” 详细教程 ——从配置环境开始
前言:
本人吃计算机这口饭的,说实话AI换脸很火的时候自己却没碰,挺吃亏的,最近时间比较充裕,整理了一下AI换脸的一个简单的流程,从 "0" 到"1" 开始吧
1.环境
win10
64位
NVDRTX 3060
2.打开GPU图形设置
win10设置打开搜索——图形设置
点击开启
3.环境配置
本AI换脸采用的GAN(计算机生成对抗网络),其中比较优秀的开源工具有 DeepFace (本文采用)
**** Hidden Message *****
4.安装工具环境
下载完成以后即为如此一个应用程序,直接双击打开
选择好了路径,直接extract即可,之后好像没啥了,如果有啥一路点确认即可
5.识别项目结构
我们要做的事情很简单,从一个001.mp4里面提取面部,再把提取出来的脸替换到002.mp4里面去,我们把001.MP4取名为源视频,002.MP4取名为目标视频
---DeepFaceLab_NVIDIA_RTX3000_series
--------_internal
--------workspace #工作路径
----------------data_dst #目标视频图片存储路径——后面会讲到
----------------data_src #源视频图片存储路径——后面会讲到
----------------model #模型保存——后面会讲到
----------------data_dst.mp4 #如上文002.MP4
----------------data_src.mp4 #如上文001.MP4
--------(.*).bat
6.所做事情大概是干什么
从源视频抽帧——把视频一帧一帧换成图片
从抽出来的图片里面提取出面部信息
从目标视频抽帧——把视频一帧一帧换成图片
从目标视频抽出来的帧提取面部信息
利用算法进行训练比如GAN(计算机生成对抗网络等等)
训练完成以后生成面部图片
生成出来的面部进行替换,生成N张图片
把图片合起来,即为生成的视频
还是很空洞,没关系实操一遍就好很简单!
6.2) extract images from video data_src.bat
强调一下是从2)开始的,大家不用去运行第一个,后面会讲!
运行bat脚本——2) extract images from video data_src.bat
Enter FPS (?:help):
这是让你输入FPS,好像是帧数,如果记不起来可以像我一样,啥都不输入,直接留白,然后回车就会有默认值 0
Output image format (png /jpg ?:help) :
这个是抽帧,看你抽成png 还是 jpg ,你可以输入,但也可以像我一样,留白,啥都不输入,回车也会有默认值png
所以事情处理完成以后就会出现Done的字样,这个时候再点击关闭就好了
进入文件夹worksho-->data_src 会有很多图像,对!没有错,就是抽出来的人脸
6.3) extract images from video data_dst FULL FPS.bat
运行脚本——3) extract images from video data_dst FULL FPS.bat
Output image format ( png/jpg ?:help ) :
这个很简单,直接输入刚才选择的类型即可,如果你完全按照我的操作来的,这里直接留白输入回车即可
同样出现了done的字样即为完成
进入文件夹worksho-->data_dst 也会有很多图像
6.4) data_src faceset extract.bat
运行脚本——4) data_src faceset extract.bat
Choose one or several GPU idxs (separated by comma).
: CPU
: NVIDIA GeForce RTX 3060 Laptop GPU
Which GPU indexes to choose? :
默认留白,输入回车即可
Face type ( f/wf/head ?:help ) :
默认留白,输入回车即可
Max number of faces from image ( ?:help ) :
默认留白,输入回车即可
Image size ( 256-2048 ?:help ) :
默认留白,输入回车即可
Jpeg quality ( 1-100 ?:help ) :
默认留白,输入回车即可
Write debug images to aligned_debug? ( y/n ) :
默认留白,输入回车即可
655和654是人脸图片数量
6.5) data_dst faceset extract.bat
运行脚本——5) data_dst faceset extract.bat
Choose one or several GPU idxs (separated by comma).
: CPU
: NVIDIA GeForce RTX 3060 Laptop GPU
Which GPU indexes to choose? :
默认留白,输入回车即可
Face type ( f/wf/head ?:help ) :
默认留白,输入回车即可
Image size ( 256-2048 ?:help ) :
默认留白,输入回车即可
Jpeg quality ( 1-100 ?:help ) :
默认留白,输入回车即可
出现done就完成了
和上一步非常相似,但是如果你进入到
workspace\data_dst\aligned_debug看图片就会看到一些比较新鲜的图片——很明显把人脸突出强调了对吧
6.6) train Quick96.bat
运行脚本——6) train Quick96.bat
deepface采用了不少的训练模式,这种就是相对来说不那么吃配置,见效稍微快一点的
Running trainer.
No saved models found. Enter a name of a new model :
这里取个名字,建议取个简单的,主要是自己用来区分,我取名为 yuer 回车输入了
Running trainer.
No saved models found. Enter a name of a new model : yuer
yuer
Model first run.
Choose one or several GPU idxs (separated by comma).
: CPU
: NVIDIA GeForce RTX 3060 Laptop GPU
Which GPU indexes to choose? :
默认留白,输入回车即可
当它运行到一定程度以后
会出现一个新的小窗口,这窗口就是在不停的利用GAN进行训练
这里就是生成图片的预览啦,点击这个窗口,按P可以刷新
上面有介绍,但是我也看不懂了看了个大概
s:保存生成的预览图片
p:刷新生成的预览图片
enter:退出模型训练
训练了大概三分钟,这个效果还是相对来说不错的
这个时候可以按enter 退出了
退出以后cmd窗口也会出现done
6.7) merge Quick96.bat
运行脚本——7) merge Quick96.bat
这次看脚本名字就知道,生成 快速96 ,很明显这次是要生成点图片了。就是将训练的图片换过去,生成新图片
Running merger.
Choose one of saved models, or enter a name to create a new model.
: rename
: delete
: yuer - latest
:
这里可能你出现的不是yuer,因为名字是自定义的,但是latest告诉你的是上一次的训练模型,也就是quick96
可以直接回车,也可以输入0,因为0是默认值
Running merger.
Choose one of saved models, or enter a name to create a new model.
: rename
: delete
: yuer - latest
:
0
Loading yuer_Quick96 model...
Choose one or several GPU idxs (separated by comma).
: CPU
: NVIDIA GeForce RTX 3060 Laptop GPU
Which GPU indexes to choose? :
默认留白,输入回车即可
Running merger.
Choose one of saved models, or enter a name to create a new model.
: rename
: delete
: yuer - latest
:
0
Loading yuer_Quick96 model...
Choose one or several GPU idxs (separated by comma).
: CPU
: NVIDIA GeForce RTX 3060 Laptop GPU
Which GPU indexes to choose? :
0
Initializing models: 100%|###############################################################| 4/4
====================== Model Summary ======================
== ==
== Model name: yuer_Quick96 ==
== ==
== Current iteration: 734 ==
== ==
==-------------------- Model Options --------------------==
== ==
== batch_size: 4 ==
== ==
==--------------------- Running On ----------------------==
== ==
== Device index: 0 ==
== Name: NVIDIA GeForce RTX 3060 Laptop GPU ==
== VRAM: 3.41GB ==
== ==
===========================================================
Use interactive merger? ( y/n ) :
切记,这里输入 n,虽然输入y也可以,但是我不会
Use interactive merger? ( y/n ) : n
Choose mode:
(0) original
(1) overlay
(2) hist-match
(3) seamless
(4) seamless-hist-match
(5) raw-rgb
(6) raw-predict
:
默认留白,输入回车即可
Choose mask mode:
(0) full
(1) dst
(2) learned-prd
(3) learned-dst
(4) learned-prd*learned-dst
(5) learned-prd+learned-dst
(6) XSeg-prd
(7) XSeg-dst
(8) XSeg-prd*XSeg-dst
(9) learned-prd*learned-dst*XSeg-prd*XSeg-dst
:
默认留白,输入回车即可
Choose erode mask modifier ( -400..400 ) :
默认留白,输入回车即可
Choose blur mask modifier ( 0..400 ) :
默认留白,输入回车即可
Choose motion blur power ( 0..100 ) :
默认留白,输入回车即可
Choose output face scale modifier ( -50..50 ) :
默认留白,输入回车即可
Color transfer to predicted face ( rct/lct/mkl/mkl-m/idt/idt-m/sot-m/mix-m ) :
默认留白,输入回车即可
Choose sharpen mode:
(0) None
(1) box
(2) gaussian
( ?:help ) :
默认留白,输入回车即可
Choose super resolution power ( 0..100 ?:help ) :
默认留白,输入回车即可
Choose image degrade by denoise power ( 0..500 ) :
默认留白,输入回车即可
Choose image degrade by bicubic rescale power ( 0..100 ) :
默认留白,输入回车即可
Degrade color power of final image ( 0..100 ) :
默认留白,输入回车即可
Number of workers? ( 1-16 ?:help ) :
默认留白,输入回车即可
6.8) merged to mp4.bat
运行脚本——8) merged to mp4.bat
最后一步生成视频,把刚才的图片合并成视频
Bitrate of output file in MB/s :
默认留白,输入回车即可
出现done以后
7.查看生成的视频
workspace文件夹下的result.MP4就是生成的视频文件
因为我是为了写博客,所以训练的时间不够长生成出来的视频效果不太好,大家训练的时候,训练个三五天,生成出来的视频杠杠好!
8.一些细节
1) clear workspace.bat——该脚本是用来清理掉之前已经建立的模型,和 workspace 文件夹下面的 data_src 和 data_dst文件夹的所有内容的
如果你在6.7)卡着很久都不动
Use interactive merger? ( y/n ) :
这里你不输入n,输入y
Number of workers? ( 1-16 ?:help ) :
留白回车
等到程序输出完以下信息后
会出现这个窗口
按一下Tab,会出现以下预览,这个时候,再Tab回去关闭窗口,cmd控制台窗口也关,再重新运行6.7)脚本,输入n就好了
1111111111111111
6666666667676767
页:
[1]