0
【新智元简介】4月1日，张国荣“复活”。借助人工智能特效技术，网民们改变了张国荣的面孔，并演唱了两首经典歌曲。纪念哥哥的6分钟“复活”视频。
很高兴再次见到你。
3353年4月1日，也是张国荣逝世纪念日。在哥哥张国荣离开后的第16年的今天，有网友用AI“复活”了张国荣，并演唱了经典歌曲《千千阙歌》和《玻璃之情》。
视频中，艾“复活”的哥哥正在录音棚里录制一首歌。视频一开始，唱歌的表情和动作与张国荣颇为相似。网友们大呼“太像了”“泪”“哭”“想你了，哥哥”没费多大劲。
张国荣是这样一个传奇，他的青春是无与伦比的。虽然他去世16年了，但每年的4月1日，人们一直在努力保留他的每一面。今年是艾。
艾的《复活的》6分钟的视频长达6分钟。“张国荣”穿了两套衣服，分别唱了两首歌。这些场景也让网友觉得他好像从来没有离开过。
在录制第二首歌的时候，出现了特别有趣的一幕：哥哥居然在直播！
新智元了解到，“复活”张国荣视频的作者是来自哔哩哔哩的Up主QuantumLiu(知乎中的“天晴”)，目前在国内视效公司Studio51做技术员。
根据upmaster的描述，张国荣的视频使用了自研的AI变脸技术，其清晰度和还原度领先于业内使用Deepfakes的其他效果。张国荣视频的分辨率也达到了1080P。
QuantumLiu告诉新智元，变脸视频里的男生，长相和张国荣很不一样，“他是北方人”，但歌曲是《北方人》原声，不是张国荣用的，也没有经过处理。
这段6分钟的视频，从拍摄、录制、剪辑，前后用了一个多星期。累计原始素材20分钟左右，真正计算换脸时间只有8小时左右。
“我们使用了变分自动编码器，借鉴了deepfakes的思想，但解决了高质量数据、鲁棒性、训练速度、分布式训练等诸多问题，并结合公司特效业务经验，优化了合成环节，让放回视频的人脸融合更加自然。与其他使用开源程序的发烧友相比，我们是一个要商业化的系统，高达1080p的分辨率是其他人无法企及的。”
QuantumLiu表示，下一步，公司将利用高清及其业务在影视行业的优势，进军影视级高清变脸，开发开放的变脸平台，让所有人都能玩视频、变脸。
把朱茵换成杨幂，低分辨率，易操作。其实AI变脸并不是一个很新的技术。前段时间有报道说朱茵换了杨幂，海王换了徐锦江。
103010年，朱茵改为杨幂。
王边徐锦江
这些技术的背后是2017年底Deepfakes软件的成果。当时，Reddit用户Deepfakes用AV女优交换了《射雕英雄传》的女主角盖尔加朵、艾玛沃特森、斯嘉丽等众多女星的脸，拍出了货真价实的爱情动作片。
但QuantumLiu认为，现在的网络作品都是用一个基础的fakeapp软件制作的，纯粹是娱乐性的，所以只能找那些分辨率非常低的片段来替换(比如朱茵换杨幂)。
中国的银幕也发生了翻天覆地的变化。2017年的科幻喜剧《神奇女侠》，当时由于演员的原因，片方不得不临时换了个角度，大鹏把杜汶泽的镜头全部换掉，进行了“特效变脸”操作。
不过这种变脸是用手一帧一帧的修改画面。花了将近六个月的时间，影片中的镜头才全部换完。价格方面，可以说是“一秒一千”。
AI变脸和后期变脸有本质区别。后者还需要各种建模和逐帧修改，而前者只需要在操作上为机器学习提供足够的素材即可。
另外，目前以fakeApp为代表的应用存在分辨率低、效果不稳定、渲染时间长的问题。QuantumLiu介绍，利用AI和特效技术解决连续针断点重新整合的问题。一拍自适应，机器自主学习光感和画面匹配度。每一次训练环节都会自动重叠磁带，成功率、效果、渲染速度都有很大提升，动态视频的切换也更加完美匹配。目前已经实现了高分辨率光感匹配和叠加渲染的突破。一整部片子的更换可以在几个小时内完成，而且计算机学习的速度越来越快，时间周期还在缩短，质量也在不断提高。
Deepfakes技术详解QuantumLiu将于近期发布张国荣“复活”视频的具体实现方法。在他发布之前，我们先了解一下Deepfakes的技术含量。
Deepfakes使用生成式对抗网络(GAN)，其中两个机器学习模型进行竞争。一个ML模型在数据集上训练，然后创建一个假的视频，而另一个模型试图检测假的。伪造者制造假视频，直到另一个ML模型无法检测到伪造。训练数据集越大，造假者就越容易制作出可信的deepfake视频。
上图显示了一个图像(在本例中是一张脸)被输入到一个编码器中。结果是同一张脸的低维表示，有时被称为潜在脸。根据网络架构的不同，潜伏脸可能看起来根本不像人脸。当通过解码器时，潜脸被重建。自动编码器是有损耗的，因此重建的人脸不太可能具有原始的细节层次。
程序员可以完全控制网络的形状：有多少层，每层有多少节点，以及它们是如何连接的。网络的真实知识存储在连接节点的边缘。每一面都有重量，找到自我。
动编码器能够像描述的那样工作的正确权重集是一个耗时的过程。训练神经网络意味着优化其权重以达到特定的目标。在传统的自动编码器的情况下，网络的性能取决于它如何根据其潜在空间的表示重建原始图像。
训练Deepfakes需要注意的是，如果我们单独训练两个自动编码器，它们将互不兼容。latent faces基于每个网络在其训练过程中认为有意义的特定特征。但是如果将两个自动编码器分别在不同的人脸上训练，它们的潜在空间将代表不同的特征。
使人脸交换技术成为可能的是找到一种方法来强制将两个潜在的人脸在相同的特征上编码。Deepfakes通过让两个网络共享相同的编码器，然后使用两个不同的解码器来解决这个问题。
在训练阶段，这两个网络需要分开处理。解码器A仅用A的人脸来训练；解码器B只用B的人脸来训练，但是所有的latent face都是由同一个编码器产生的。这意味着编码器本身必须识别两个人脸中的共同特征。因为所有的人脸都具有相似的结构，所以编码器学习“人脸”本身的概念是合理的。
生成Deepfakes当训练过程完成后，我们可以将A生成的一个latent face传递给解码器B。如下图所示，解码器B将尝试从与A相关的信息中重构B。
如果网络已经很好地概括了人脸的构成，那么潜在空间将表示面部表情和方向。这意味着可以为B生成与A的表情和方向相同的人脸。
请看下面的动图。左边，UI艺术家Anisa Sanusi的脸被从一个视频中提取并对齐。右边，一个训练好的神经网络正在重建游戏设计师Henry Hoffman的脸，以匹配Anisa的表情。
显然，Deepfakes背后的技术并不受人脸的限制。例如，它可以用来把苹果变成猕猴桃。
重要的是，训练中使用的两个主体要有尽可能多的相似之处。这是为了确保共享编码器能够泛化易于传输的有意义的特性。虽然这项技术对人脸和水果都有效，但不太可能将人脸变成水果。
若是你的记忆中也有哥哥的身影，那就分享这篇文章，让更多的人看到哥哥的视频吧！
视频地址：「链接」
