直播预告：PBRMAX标准与超写实AI数字人

原创赞收藏评论

举报 2021-06-18

扫描,分享朋友圈

6.18只能剁手买买买？NO！

今年6.18 Renderbus瑞云渲染邀您一起看直播，学技术，抽大奖！

本次直播，我们邀来南京万生华态EcoPlants CEO彭程，为大家分享PBRMAX标准与超写实AI数字人中的相关内容。直播中还会为Renderbus瑞云渲染影视动画用户的年中充值抽奖活动开奖！英伟达Quadro RTX4000、坚果J7S投影仪、Bose SoundLink Revolve+ 蓝牙音响和华为手表GT2等多重豪礼将花落谁家，诚邀您一起见证幸运时刻！
01嘉宾介绍

彭程是南京万生华态科技有限公司的创始人兼CEO，连续创业者，中国科技艺术新生代领军人物。

他曾就读于纽约视觉艺术学院，罗德岛设计学院，萨凡纳艺术学院以及哥德堡大学。精通工业、影视、特效及传媒等跨行业的创新整合。致力于打造全球最大的影视PBR数字资产库，及影视工业化流程软件解决方案。

万生华态EcoPlants（简称：万生华态）目前是国内唯一一家能够批量生产高精度3D扫描模型和PBR材质的科技公司，为影视娱乐、教育、工业设计、游戏、数字文旅等行业提供最前沿的一站式软硬件解决方案，其中包含3D数字资产与PBR材质库、软件协同平台、数字人虚拟拍摄流程、实时渲染云等，将为无数创作者带来革命性的创作体验。

02全球首位“数字宇航员”

《飞向月球Ⅱ》在视觉呈现上进行全面的飞跃式升级，万生华态先进的技术手段是深化中央广播电视总台“5G+4K/8K+AI”战略格局的基础支撑。为了还原出极为逼真的月球探索历程，万生华态依托原创混合现实（IMR) 超高清电视制作平台，通过对央视主持人张腾岳进行测量摄影，完成人物数字资产采集；并且利用AI深度学习、美术加工以及现场实时驱动等一系列技术流程，实现全球首次将AI超写实“数字航天员”应用在4K科学纪录片中。

《飞向月球Ⅱ》“数字宇航员”精彩瞬间

想要实现数字人高质量逼真的效果和自然流畅的互动，沟通成本与时间成本高昂，需要长期的配合。而在《飞向月球Ⅱ》的制作过程中，万生华态打通了超写实数字人前中后期制作的全流程，并通过自研面捕头盔与AI算法，极大地提升了高保真人脸与面部微表情的捕捉与制作效率，在短时间内实现了对标游戏CG级别的数字人制作，真正做到全流程自主可控。《飞向月球Ⅱ》制作仅花费1个多月时间，实现了CG级别的数字人效果，高质量、快速地应用在国家级纪录片中。

AI数字航天员，原型为央视主持人张腾岳

这一切的实现离不开万生华态在“数字宇航员”制作中的4大数字人制作技术要点：

1. 自主研发动捕头盔硬件Ecap：头盔硬件对面部肌肉运动进行实时和高精度跟踪与重建，准确还原出逼真细腻的面部表情，实现影视级别的面部动作捕捉；

2. 自主研发的面部捕捉算法：深度学习驱动的实时人脸识别、三维重建算法，实时皱纹贴图解算，全面捕捉各类面部表情动作，瞳孔运动、皮肤运动、皮肤反射捕捉、细微皱纹...不放过任何一个细节；

细腻的皮肤纹理眼神捕捉

3. 实时面部动作与表情渲染：基于PBR的实时光线追踪渲染，针对人脸特殊优化的着色器和渲染pipeline，采用OCIO的色彩管理系统，充分保证色彩的真实性、准确性，应用NVIDIA A6000，实现实时4K HDR渲染；

单帧渲染

4. 应用适合东方人的FACS系统：高度写实、微表情丰富的混合变形（Blendshape），方便适配实时面捕算法的绑定逻辑；

利用Blendshape对表情动画进行处理

03瑞云专访

瑞云渲染：万生华态团队是如何结缘《飞向月球Ⅱ》？

彭程：因为和英伟达、央视一起讨论出关于数字人技术以及虚拟拍摄对于广电产业的影响，航天产业硬科技配合着新的虚拟拍摄技术组合是一个很好的多维度技术宣传，就试着将公司各个技术部整合在这个项目里做一些尝试和应用，希望利用数字技术做一个项目能代表未来的方向，这就是当时我们的初衷。

瑞云渲染：这个项目的制作花了多长时间，可以简单介绍一下团队制作《飞向月球Ⅱ》的pipeline吗？

彭程：制作前期准备花了一些时间，整体拍摄到制作前后1个半月，因为涉及不同的场别使用不同的渲染方式，近景和远景渲染配置不一样，也需要满足导演实时构图取景的实时预演虚拟拍摄需求，同时要兼顾后期的4K HDR的标准。

‍

所以pipeline都想好了1-2套备选方案，实时动捕后，也要能够快速迭代人工修改的可能，也要跑通一些AI的算法。所以AI和手工标定以及艺术处理有交流和融合，也是在项目中根据进度去决策最终的pipeline，由于UE4版本也在迭代中，所以要考虑软硬件驱动的适配，每一次迭代AI或者场景都会跑一次测试。

央视团队有节目组和制作组，万生华态有技术和艺术制作两个部，大家一起开发，测试，跑通流程，再优化。团队合作中有未知的跨行情况，在跑流程过程中互相了解定位，掌握配合是关键。因为《飞向月球》的制作周期很紧，审片流程严格，所以流程的稳定是团队协作的最高优先级。

瑞云渲染：《飞向月球Ⅱ》制作过程中需要与传统的电视节目导演和后期剪辑人员合作，请问你们在合作中是如何确保高效地沟通与制作的？

彭程：合作主要发生在项目预演，导演，后期制作三个环节。在实际拍摄正片之前，确认方案的时候有较多互动，互动中请主持人参与模拟，体验的过程很关键，配合技术人员给电视台人员的沟通和讲解，让他们大概了解到自己的流程和工作执掌的定位。在拍摄后，根据艺术工程和技术要求的标准，确保稳定优先级，不跨越流程提需求，即可保证产出和有效沟通。

瑞云渲染：《飞向月球Ⅱ》创新性地采用了“超写实数字人物”作为主持人，堪称全球首位 AI“数字航天员”，团队采用了哪些核心技术来实现人物从表情细节到动作都如此栩栩如生的？

彭程：首先采集主持人面部的微表情，并对多个姿态进行扫描，配合后期以及引擎的调参，以好的数据和处理为基础为接下来的动画制作打下最好的基础。期间高速面捕摄像机的算法捕捉，实时对应到绑定的转化工程逻辑，以及基于实时数据可微调的后期权限，这个组合让微表情可控，在正片呈现中更稳定。这次是我们第一个AI处理全流程的尝试，在后期的数字人中，我们会定向优化很多细节。

瑞云渲染：和传统制作相比，制作《飞向月球Ⅱ》的太空场景涉及数据和资产量很大，团队是如何解决以构建一个如此真实的太空场景的呢？

彭程：本次项目使用了最新的英伟达A6000显卡，项目开拍的当天才从美国消毒完寄送到手上，保证了最大RAM，同时也做了LOD的优化，有一些贴图不需要全套PBR使用，减少一些总体内存空间。

在虚拟拍摄的过程中，不同于传统的特效到制片再到创意设计师的流程，从创意到导演再到后期一定是连在一起的。因此虚拟拍摄中的所有步骤都是可视化且可复制的，它相当于一个“数据”，这种快速地拍摄跟数字营销很匹配，导演的效率会变得非常高。另外，虚拟制片和传统绿幕的区别在于，LED屏把数字资产以光照的形式打到人物身上，减去了很多后期的流程，同时导演可以实时看到画面的效果，可以和后期在实时过程中就形成共识。这样很多创意的部分，可以形成模块化和区块化，并且还能二次使用，结合AI运用在各种想象和场景中快速地多次部署，这种灵活度在传统视频拍摄流程中是不具备的。这种技术可以帮助广播电视行业快速制作达到影视级别的3D作品，降低成本、提升效率，并且方便二次创作大量的衍生作品，如电影、互动式小游戏，未来的VR/AR等等，实现不同媒介之间的有机联动，更好的赋能广播电视行业的创作能力，带来新的商业模式。

《曼达洛人2》中使用的LED屏虚拟拍摄

瑞云渲染：现在不论国内国外，数字人的研究和应用都是非常热门的话题，请问您认为数字人的开发中最重要的技术难点在哪？您认为目前数字人IP的开发和应用最成功的案例有哪些？数字人IP的开发和应用如何做到更真实，更容易与用户产生情感连接，让观众更乐于接受，更买账？

彭程：数字人技术难点主要在面部表情的动画捕捉，目前市面上的解决方案不能很好的满足需求，所以我们自己研发了基于红外和TOF的面捕头盔，加上自研的面部捕捉、跟踪和校准算法、实时皱纹贴图解算、适配绑定逻辑的实时映射算法、符合东方人骨骼的FACS系统等等，确保采集数据的处理结果和三维重建的准确。

丰富细腻的面部表情

目前比较成功的有时尚界的Lil Miquela和Imma，从人物的仿真度、持续内容更新的高频率、时尚IP联名的火爆程度都证明了她们的成功。个人比较喜欢的是英雄联盟的人物Seraphine，因为在人物推出前期对Seraphine的日常生活和成长过程进行了详细的运营，很接地气也很有血有肉，不是一个单纯的游戏角色，推出后也跟K/DA女团有很完美的结合，期待K/DA的发展。

Lil Miquela & Imma

Seraphine

K/DA

很多商品的价值取决于共识，共识又取决于基础的柔性需求和潜意识的品牌价值需求，因此很多公司在做品牌传播的时候，会找明星代言。可以说，明星的本质就像数字人一样，制片人、经纪人给他一套设备、一个方向，然后他按照“剧本”去做表演形成“人设”，只是呈现的载体不同。在5G到来时，线上线下综合在一起的时候，所有公司都会打造一个虚拟的品牌形象，它可能就是数字人，因为数字人更容易与用户形成情感连接、有天然的亲和力。就像每个公司都会有自己的企业文化，所以各种企业都会通过数字人的方式去打造自己的周边产品，再通过有效运营，数字人会很快地融入到数字营销市场，其传播属性也具有非常高的跨界性和可编辑性。为什么现在国内大部分的数字人都没有做出比较好的效果，或者并没有形成很可观的广告收益？看一下美国、日本等地比较成功的案例，你会发现不管是明星还是动画影视，能支撑 IP成功的原因之一就是，在数字营销设计这个数字人的时候，它是完整的、有血有肉的，从性格到逻辑再到和品牌的互动是足够真实可信的。而目前国内缺失的是导演与策划对数字人的塑造理解，因此导致大众对很多电影里的IP形象无法形成深刻的印象。一个好的数字人IP需要鲜明的特征、完整的背景，符合所代表企业、产品的形象设计与价值观，和长期坚持的运营，不会比捧红一个明星简单。等技术带来的新鲜感和红利消失，最后比拼的依然是运营能力。

如果想了解