火爆的「变身漫画」，抖音特效团队是如何打造的？
来源：字节范儿
原标题：「变身漫画」3天千万投稿，抖音特效团队如何打造爆款？
最近，抖音特效又出了新爆款。只需手轻轻一挥，用户就能秒变高萌漫画人物，从发型到衣着，每个细节精准转换。几乎一夜之间，抖音满屏二次元化。
在这个世界，你能抓到被全网催交舞蹈作业的宁静，
也能看到充满清新气质的PDD，
从路人到顶流明星，人均get一双水汪汪的大眼睛。除了，“连特效都拯救不了”的李荣浩——
一夜亿万曝光，道具上线3天获得了1000w+的视频投稿，贡献大量相关热门话题。
全网都爱的变身漫画特效是如何诞生的？背后又有哪些行业领先的“黑科技”？
字节君与抖音特效的幕后团队一起聊了聊，持续打造爆款特效的秘密。
爆款不是偶然
“作为行业首发的人脸实时动态漫画效果，我们早就觉得「变身漫画」会火。”来自影像团队，有多款抖音爆款特效项目经历的大彭说，近年来，真人照片处理、拼贴成某种绘制风格常玩常新，关键就是要给用户带来惊喜和共鸣。
2014年，脸萌凭借卡通五官、服饰匹配，登顶App Store
2018年，字节跳动专门成立影像团队，支持抖音火山轻颜等全系产品的打磨，其中包括长期探索真人风格化玩法，力图持续打造击中用户的特效。
在大彭看来，团队不设边界的灵感创意机制，让爆款的出现绝非偶然。“无论什么岗位，都不会只站在自己的视角积累爆款思路的弹药。每天影像团队都会抽一个小时搜集灵感，每周定期与其它合作的设计&研发团队开脑暴会，观察学习行业趋势和时下流行的时尚元素，了解最新技术进展。”
艺术遇上技术，很快碰撞出了新的火花。
2019年，轻颜出了本可爱风的手绘日历，项目同学发现，许多人都想把自己的照片一键变成类似画风。
此时研发同学在脑爆会提起，打破次元壁、让真实人脸变漫画的关键技术GAN (生成式对抗网络，Generative Adversarial Networks )刚实现，但还不足以精确地把真人变成人类绘画水平，让真人实时变成动画片，行业里更是没见过。
要不干脆出一款特效，让真人可以秒变漫画脸？
想法一出，立马激发了不同岗位同学的兴奋点。2019年9月，从影像团队的效果和产品同学，到协作支持的研发、设计，一个跨北上深及北美四地的专项小组迅速拉了起来。做实时漫画特效，定位就是爆款。
既“像”又“美”，千人千面漫画脸
“别看变身只要一秒，从创意提出到技术落地，背后我们琢磨了好久。” 参与漫画特效打造的产品同学玉辰说。
“教AI画画”，做出大家喜欢、技术上又可实现的设计风格很难，做到实时可预览级别更难。
刚开始，研发同学对能否做到“实时”没多大把握：“毕竟如此高质量且千人千面的实时效果，在学界和工业界都未有过先例，技术上还有众多难点需要突破。”
项目组商量决定，暂缓“实时”计划，先打磨极致图片效果。“我们定义了精致美和极致像两大特点。既要全面保留用户特征、像本人，又要生成出漫画独有的艺术美感。”玉辰说。
为了找到更能引起用户共鸣的绘画风格，从日漫、国漫到韩漫，团队几乎将主流的漫画和番剧看了个遍。
灵感收集时的参考风格
经过效果同学广泛的风格设计、调研和修改，团队终于锁定了一款高萌可爱的漫画脸。“我们的设计师都是公司主美级别的，经验丰富。”
早期（上）与终版（下）风格对比
引入算法后，团队进入了更加追求细致的打磨期。
“有一两个月吧，我们就是在不停训练新模型，每次可能跑出几百个普通人看不出啥差别的模型，然后让设计去挑最优效果。”研发同学感慨，如此高效和规模化的模型训练，背后得亏了公司强大算力基础的支持。“最多的时候，要用几百张显卡跑。”
大家调侃说，经此一役，团队各个练就了火眼，同学们的效果敏感度和审美都有了很大提升。
大彭印象深刻，有次选好一款很萌的模型准备放体验版，研发同学第二天做好后，有个效果同学盯着新版本看来看去，总觉得哪里变不好看了。“一问才发现研发放错了模型，眼睛稍小了几个百分点。”
图片版效果达标后，团队决定小试牛刀，阶段性在抖音、TikTok的影集模块上线「漫画奥义」道具，在中国、日本、巴西、印尼等多国取得了不错的反响。
全球首次实现手机端实时动态漫画处理
“实时”再次成为了摆在团队面前的关键挑战。
此前，变漫画功能基本都基于人脸表情跟踪，学界和工业界都没有千人千面的实时漫画生成方法。这次抖音推出的漫画特效是在视频中实时实现，该技术可谓全球首发。
“我们都明白，一旦实现，这将是一大爆款子弹。”
走入漫画的“贵妃”李玉刚
第一个吃螃蟹不容易。参与特效研发的陈西回忆，最开始的模型版本惨不忍睹，尝试了好多次都不行，大家甚至对实时漫画的可行性产生了怀疑。然而即使在最艰难的时候，团队也希望再试一次。
在陈西所在的研发团队，拥有计算机视觉、计算机图形学和数值分析等多元背景的技术人才，每个人都有自己的专长和经验。“我们又扒了一遍所有可能相关领域的已有研究和文献，有同学提出可以尝试各种轻量化模型的嫁接混合，效果确实得到改善，大量实验后终于选出了现在的主干模型。”
看起来是放手一博的革新，其实背后是公司跨团队、跨领域共同协作才能水到渠成的结果。
实时漫画的处理对手机性能要求极高，计算非常复杂；此外，抖音用户众多，机型性能差距大，需要专门研发复杂、定制化的模型下发策略。
公司全平台的技术成果和资源帮了大忙。拿漫画特效启用的字节跳动自研的推理引擎ByteNN来说，端侧性能和功耗均处于业界领先水平，保证了实时漫画能够稳定支持抖音海量的用户群体。
用户需求多广，玩法脑洞就有多大
如何让用户真正玩起来？特效项目组的同学没少费脑洞。
在变身漫画推出前，团队已成功参与打造并引爆了宝宝特效、变身情侣等诸多抖音特效，在道具结合定制化音乐bgm的创意玩法上颇有经验。
变身情侣特效
拍摄简单、配乐有趣的宝宝特效
“脑暴小组”里，集结了来自北上深+北美4地、脑洞大、产出过无数爆款的产品、设计、交互工程、运营和市场同学。最终，在为期20天产出的100+方案内，大家选取了6个道具创意，承接不同年龄、层级和喜好的用户需求。
适合全民、低门槛拍摄的“变漫画”玩法：
二次元新奇玩法：
“结合抖音用户喜好、历年爆款道具特征和3轮nps调研结果，我们最终把「变身漫画」当作了‘漫画系列’的主推道具。”产品团队玉辰说。
在玩法开发的过程中，“手控滑杆”是首次使用的新交互形式。然而，在初期版本中，80%的用户都无法“拖动滑杆”变身，交互尝试屡次碰壁。
但产品和交互工程同学仍然坚持在这个方向做最极致的道具效果。“因为我们走进商场、地铁、小区采访了近百名用户的体验感受，发现一旦能滑动成功，他们明显更惊喜，玩性大增。”
点击视频，看广大网友的多样化玩法
随着漫画特效在抖音大火，产品同学联动剪映、轻颜等多款产品上线了同款变漫画图片功能，进一步推热二次元狂潮。
“特效发酵的过程中，我们发现大家喜欢把婚纱照、全家福等合影变成漫画，而实时动态方面我们还没有实现多人同时需求，这意味着还有很多可挖掘的空间，而随着技术的探索和积累，以后肯定还可以玩出更多花样。”
大家很有信心，下一个爆款特效，正在路上。
转载请在文章开头和结尾显眼处标注：作者、出处和链接。不按规范转载侵权必究。
未经授权严禁转载，授权事宜请联系作者本人，侵权必究。
本文禁止转载，侵权必究。
授权事宜请至数英微信公众号(ID: digitaling) 后台授权，侵权必究。
评论
评论
推荐评论
全部评论（5条）