年尾将至，从各类盘点榜单看来，2019也是收成颇丰的一年，人工智能、疫苗、气候危机等是本年几大热词。“Altmetric百篇论文榜单”日前发布，该榜单包括了本年热议度高、评论规模广的100篇研讨，本文旨在介绍榜单中最受注重的一种AI视频组成体系，一起也是榜单中的Top 1，从发布指数来看其Altmetric指数达13557。
蒙娜丽莎，或许只在人头攒动的卢浮宫曾与她远远对望，相视一笑，抑或是在网上看一睹其“奥秘”笑脸，转发了几个恶搞表情包。可曾想过，奥秘的蒙娜丽莎从传世名作中“复生”，并动起来了？这样的场景只在电影中见过，《哈利·波特》中格兰芬多休息室的胖夫人画像照进了实际。这项引起广泛注重的研讨便要从“会动”的蒙娜丽莎说起。
开口说话的蒙娜丽莎、焦虑的蒙娜丽莎，好像没那么高冷了丨Egor Zakharov, Aliaksandra Shysheya
这是实在头部说话神经模型的少样本对立学习，没有3D建模，仅以一张静态图画就能练习制作出视频的技能，令人称奇。
本年5月，三星（Samsung）AI实验室以及俄罗斯斯科尔科沃立异中心（Skolkovo Innovation Center）的研讨人员发篇题为 “Few-Shot Adversarial Learning of Realistic Neural Talking Head Models” 的论文，概述了这种技能。该技能依据卷积神经网络（CNN），模型经过取得一个输入图画，然后可以模拟输出视频中方针方针的运动状况，也便是咱们在上图所看到的。该研讨5月预印宣布，6月正式被计算机视觉范畴尖端会议CVPR 2019录入。
其实此类主意和技能在此之前也不少见，已经有不少研讨人员从事该类研讨。2018年，华盛顿大学研讨人员共享了他们创立的“真假奥巴马”——ObamaNet，该技能运用神经网络分析了数百万帧的视频，来确认奥巴马的面部表情怎么改变。以及加州大学伯克利分校（University of California, Berkeley）研讨团队运用YouTube视频练习AI，从而生成可以做后空翻等杂技动作的模型。大大小小研讨不在少数，可为何独独这篇论文能招引外界注重呢？
该研讨的特别之处便在于，其AI体系不需求经过很多数据集的练习进程，它只需看一次需求输出方针方针动作的静态图片就可以运转。研讨人员将这种学习办法称为few-shot learning。在few-shot learning的基础上，研讨人员选用元学习对VoxCeleb2（包括许多名人头像的数据库）数据集进行元练习（meta learning）。经过元练习，AI则学习到了怎样快速生成图画的才能，而不是详细生成某一特定类别图画的才能。
图丨Pixabay
接着，研讨人员运用对立学习（adversarial learning），创立了对立神经网络，可以像“仿制粘贴”的进程那样，将静态图中的面部信息“仿制”到动图或视频中。它们别离是：
（1）嵌入式网络：可以将输入的静态图画中人像的眼耳口鼻等概括信息，转换为相关向量从而传给生成神经网络；
（2）生成神经网络：经过仿制人像的面部标志（landmark），终究组成人在动态视频中的面部表情；
（3）区分神经网络：别离搜集生成神经网络组成的面部图画、landmark和实在的动态视频的面部表情信息，经过对立的办法提高生成神经网络的生成才能以及本身的区分才能。
形象来说，生成神经网络是“造假方”，区分神经网络则是“打假方”，而嵌入式网络则像“爪牙”。一旦前两者才能到达平衡，依据对立学习的AI模型的才能也就过关了。
3种神经网络的“对立”示意图丨参考资料[1]
经过上述对立学习的进程，加之元学习的办法，终究的AI模型可以在视频数据集上经过学习小量的样本，到达较强的学习才能，并可以使用此学习才能快速找到处理其他同类问题的办法。因而，终究的AI模型可以灵敏的依据静态图片生成林林总总灵动的图画，并将这些图片装帧从而生成动态图画。
除了蒙娜丽莎之外，这项研讨中，还有不少名人的静态头像也被研讨人员用来进行相关研讨。有穿越时空，与你进行科学对话的爱因斯坦。
图丨Egor Zakharov, Aliaksandra Shysheya
还有风情万千的玛丽莲·梦露重现魅力与光荣。
图丨Egor Zakharov, Aliaksandra Shysheya
从研讨和技能层面来看，这是AI视频组成体系的一次打破开展。从社会性视点来看，相同引发不少热议，有人担忧若是依据可观的转换率，视频通话是否因而会被造假？以假乱真会不会到达新高度？还有人表明未来流量艺人会否因而仅靠一张张美图便闯练影视圈？也有人在担忧人脸付出的安全性。更有脑洞大开着期望凭借此技能，与从前的中外智者进行平行时空的对话……
技能的更新迭代旨在便当造福人类，若是技能反而成为部分人的担负，并影响了社会秩序，那么技能合规有必要被注重。Deepfake技能引发了广泛谈论，让人“又爱又恨”，或许最近国家网信办出台的新规则，对AI技能换脸进行了清晰束缚，比如这样的行动或许可以大大削减部分人的担忧吧。
参考资料（可上下滑动检查）
[1] Few-Shot Adversarial Learning of Realistic Neural Talking Head Models Retrieved Dec 18, 2019 from https://arxiv.org/pdf/1905.08233v1.pdf
[2] Mona Lisa guest on TV? Researchers work out talking heads from photos, art Retrieved Dec 18, 2019 from https://techxplore.com/news/2019-05-mona-lisa-guest-tv-photos.html
[3] Samsung deepfake AI could fabricate a video of you from a single profile pic Retrieved Dec 18, 2019 from https:///news/samsung-ai-deepfake-can-fabricate-a-video-of-you-from-a-single-photo-mona-lisa-cheapfake-dumbfake/
[4] http:///a/315959168_129720
本文经授权转载自药明康德AI（ID：Smart-AI），如需二次转载请联络原作者
