视频换脸新境界:CMU不仅吃人类变脸,还能让花草、天气变脸 | ECCV 2018

原标题:视频换脸新境界:CMU不仅吃人类变脸,还会让花草、天气变脸 | ECCV
2018

近来某 Reddit 用户用“神奇女侠” 盖尔·加朵(Gal Gadot)
的面目,P到了成人视频上,效果一定不错,而且他使用的是现阶段火爆的机械上技能。

圆栗子 发自 凹非寺

即同一术的关键在于,替换的脸要和原视频上的体面表情同步。大致原理是经算法识别出人脸的特定组织——不仅仅是眼睛、鼻子、嘴巴的位置,也席卷颧骨、下巴、脸颊的样子,然后照这些特征点做替换。目前立即等同艺并无高达以假乱真的境地。

图片 1

图片 2荒谬:P得看无闹破绽,右:破绽明显

管同段子看到频里的脸部动作,移植到其它一样段视频的支柱脸孔。

实在类似之面部替换技术,早就被广大采用在大片里了。例如半兽丁、咕噜、阿凡达,它们都因此了动作捕捉(Motion
Capture)技术。动作捕捉技术时用来电影工业,游戏产业,比如:

大家可能早就习惯如此这般的操作了。

图片 3《加勒比海盗》中之戴维·琼斯(Davy
Jones)图片来自:gamedev.stackexchange.com

图片 4

图片 5小岛秀夫的《死亡搁浅》,什么时候卖啊?(打岔)图片源于:dualshockers.com

即便目标主角并无是全人类,大概也总算不上优秀。眼睛鼻子嘴,至少零件齐全

图片 6扮演深井冰,哦不,史矛革的卷福
图片来源于:businessinsider.com.au

那,怎样的动迁才可活动有此规模,让这星球上的万物,都发生时机领取视频改造的惠?

严加说,这无异于技属于动作捕捉技术的一个小类,叫面部捕捉(face
capture)。那些脸上的黄点,是表情变化着的首要点,就比如脸的“关节”一样,计算机只需要这些信就可知合成表情。而在脸部识别术中,它给号称面部追踪(face
tracking)。

图片 7

图片 8人脸的接触是“关节”,连上丝成为骨骼.图片来源:petapixel.com

按在若想只要之音频开花:中老年神包利器

大部商作品只是用这种技能制造奇幻生物,然而工业光魔公司(Industrial
Light & Magic)更进一步,在银幕上复活了曾故演员。

自卡耐基梅隆大学的团伙,开发了活动变身技能,不论是花花草草,还是万千气象,都能自要转换。

图片 9左:合成的(Synthetic)彼得·库欣扮演的威尔霍夫·塔金,右:演员盖·亨利
图片来源于:nytimes.com

图片 10

恐怖片演员彼得·库欣逝世于1994年。2016年于影片《星球大战外传:侠盗一如泣如诉》中,技术人员将他拉扯进现代之巨幕。这号“现代”演员的骨子里是另外一各演员盖·亨利,技术人员捕捉了盖·亨利的神气,然后合成了数字版的彼得·库欣。虽然简单号艺人的脸挺相似的,但是技术人员仍旧要处理过剩细节问题,比如彼得·库欣发“啊”这个文章的时刻是勿动达成嘴唇的。

说道,也换得急切了

就无异技引发了成百上千争论不休,一些人数表示不克承受。虽然影视获得了画像授权,仍旧有一对伦理问题待回答,我们当当荧幕上复活故去的艺人也?

或是是怀超越大前辈Cycle-GAN(来自朱俊彦集团)
的表示,团队叫自己的GAN起了单要命环保之名,叫Recycle-GAN

纵深上,另排蹊径

动作捕捉技术之关键在于识别人的神气,特别是脸蛋那些根本的位点。而深上技能吗能够满足当下无异于求,一些钻集体还演示了伪造美国前方部小布什,奥巴马,现任总理特朗普,以及俄国统普金的视频。

图片 11Face2Face
算法演示,上面的食指资表情信息,下面的人数供脸的音 图片来自:QUARTZ

深度上技能同那些专门的影片工业技能相比,得到的结果使粗糙很多,更易辨认出,然而她呢要有利于多。谷歌、微软、亚马逊这些非常店之软件技术和平台都是公开之,深度上技术飞速发展,很多论文都于研究者之间共享,而且家用级别之显卡就能够处理深度上算法,不肯定要是为此到讲话计算和越级计算机等技巧。

但是眼看尚不曾结束,面部捕捉技术已能手机上就此了,比如 iPhone X 的 Animoji
技术。能够用于识别面部表情的艺就是会用于充表情。

图片 12苹果的
Animoji 图片来源于:businessinsider.com

图片 13苹果官方的演示
图片来源:medium.com

一部分艺爱好者也着用马上同一技术移植到安卓手机上,我建议谨慎运用这些app。另外也指望手机的软硬件厂商更加在意信息的安,我们以得到便利的又,手机啊蕴藏了重复多的私密信息,手机以及电脑系统本身的安全性为值得花更多之劲去尊重,而休是不管起只补丁然后以吃补丁失效。

哼吧,已经会伪造视频了,但声音还是往不了借的?吧?

并无是,Adobe 公司当2016年示范了 Voco
技术,他能吃您简简单不过输入文字虽会以假乱真人之声音。到目前为止这项技艺都未曾见到商业化的蛛丝马迹,技术演示过程遭到Adobe表示,他们见面在技术上做类似水印的物,帮助人甄假冒之声。

刚巧,加拿大底AI创业公司 Lyrebird
在2017年4月份声称,只要来1分钟的范本,他们不怕可知模仿起你的声。这听起来比
Adobe 的艺还要夸张,因为 Adobe 声称她需20分钟之样书。

探望此间,可能而曾懵了。所以。。。怎么处置?

实际上以特效技术伪造视频很已经来矣,Zach King
就是各种翘楚。有些仅仅是玩,有些东西却是别有用心。总之,决不盲目相信网上看到的视频

图片 14居家只是游戏一下啊
图片来源于:pinterest.com

后,随意放在网上的照片、视频、声音、文字还要认真去比,因为她会让人为此来充数我们好。我们虽然不是权贵富豪,但为经不起损失。

自身思念既有人发现及假冒视频的加害,开始举行就类识别了,很快创业企业虽见面如雨后春笋般冒出。本文作者将由技术与影响力有限面跟这个业务的拓。

当时员选手,入选了ECCV 2018

Recycle之志,时间知道

Recycle-GAN,是一只管监督上的AI。

不成对的老二维图像数据,来训练视频还定向(Video Retargeting)
并无便于:

同一是,如果没成对数据,那以视频变身的优化上,给的限制即不够,容易产生不好局部极小值
(Bad Local Minima) 而影响生成效果。

仲是,只依靠二维图像的空间信息,要读视频的风格尽管不行不方便。

图片 15

若开,我虽开放

对当时简单个问题,CMU团队提出的方法,是动岁月信息(Temporal
Information) 来施加更多的限量,赖局部极小值的场景会减。

另外,时间、空间信息的选配食用,也能够叫AI更好地法到视频的风格特征

图片 16

光阴信息:进度长长的支撑不停歇了 (误)

要的凡,视频里的时光信息唾手可得,无需找。

下一场,看一下Recycle-GAN,是怎么样在星星段子视频的图像中,建立映射的。

图片 17

老三各类选手相比一下

Pix2Pix凡出成对数据的;CycleGAN靠的是循环一致性 (Cycle Consistency)
;RecycleGAN用之是见到频流的光阴信息

往往的,比CycleGAN的经过还要艰辛。好像终于感受及,Recycle-GAN这个名字是发生道理的。

对抗损失(Adversarial Loss) ,朱俊彦集团的巡回损失(Cycle Loss)
累损失(Recurrent Loss)
,以及CMU团队团结造之“复”循环损失(Recycle Loss)
都为此上,才是无往不胜的损失函数

效果如何?

似乎只有同CycleGAN比一场,才知道时刻信息好不好用。

第一局,先来探换脸的功能:

图片 18

RecycleGAN用奥巴马生成的川川,除了嘴唇,脸的角度为当就变动。而当中的CycleGAN,只来口的动作比较显然。

第二局,你呈现了蒲公英开花的样子吗:

图片 19

当RecycleGAN的蒲公英,学着菊花的动作,变成茂密的团子,CycleGAN还以渐渐地绽开。

瞩目,团队是先行将简单种植消费,从初起及了凋谢的时间调整成一致。

除了,再看云卷云舒 (片头也应运而生过) :

图片 20

本是悠闲地运动。

跟喷气一般的说,学习了之后,就收获了急性的节拍。

图片 21

这样一来,改变天气虽非麻烦了。团队说打录像之资本,可以用这么的主意降低下。

代码也尽快来了

图片 22

CMU的科学家们说,大家很快就可以看到代码了。

而是当那么之前,我们尚是发出广大资源可以欣赏。

团队当品种主页里,提供了丰富的变化效果:

https://www.cs.cmu.edu/~aayushb/Recycle-GAN/

舆论请到此处考察:

https://www.cs.cmu.edu/~aayushb/Recycle-GAN/recycle\_gan.pdf

最后吐个槽

原先是日落:

图片 23

关押了黎明事先的视频,就接着变了日出:

图片 24

然,日落变日出这样的操作,直接倒放不好么?

—归来搜狐,查看更多

责任编辑:

发表评论

电子邮件地址不会被公开。 必填项已用*标注