AI视频从0到1，我们也是用上新生产工具了

数英评分

收藏评论

举报 2024-09

扫描,分享朋友圈

“我们会认为每一次的探索都是有意义的，即使团队对于产出结果没有十分满意，但是大部分人都还没有开始。这是我们从0到1的尝试。”

作为新一代文生视频人工智能产品，快手可灵带着“用AI讲好一段故事”的初衷在奥运之前出现在我们面前。尽管AI技术在内容创作上展现出了巨大的潜力，但我们也意识到，由于AI的种种弊端，尤其在内容生成上具有随机性，我们对AI可能产出的内容并不能有十足的把控。在这样的挑战下，我们接手项目后一直在思考，如何在AI的不确定性中找到确定性，讲好一个故事？到底该讲谁的故事？怎么讲这个故事？在奥运这个节点上有什么故事是值得打动人心的？AI的介入，让许多原本难以具象化的想象变得触手可及，但在这一过程中，我们不禁要问：在AI的帮助下，谁的想法能够被有效传达，而谁的想法又可能在这一过程中被边缘化？

边缘化，这个词让我们联想到了一群特殊的人。

“我多希望，全世界看到我的足球世界有多绚烂”

尽管数量庞大，在大众的印象中，盲人往往被刻画成一个个行动受限，需要大量帮助的弱势群体。但奥运会场上，有这样一群人，他们在黑暗中，在寂静的注视以及一声声“叮叮叮……喂喂喂……”中驰骋赛场，他们是盲人足球运动员。中国盲人足球队屡创佳绩，曾在2008年北京、2012年伦敦和2016年里约的残奥会上分别夺得银牌、第五名和第四名，并七度荣获亚运会冠军。但在快手和可灵AI将其带入大众视野之前，这支队伍在网上鲜为人知，盲人足球也未受到广泛关注。他们脑海中的球场是什么样的？我们不想居高临下的重复所谓“弱者”的文本，我们希望通过可灵AI的技术，向社会传达出我们认为，不仅盲足精神值得传播，也让受众明白：不被大众“看见”的盲人群体，也值得被更多人看见。

不确定与随机性，AI视频原来是这样出生的

故事向的运动类AI短片，需要的是丰富的AI视频以及实拍电影创作经验。在这个时候，视频导演吕迪、美术指导陈哲和YETI走进了我们的视野。简单明快的沟通过后，三个主力，六台电脑，项目就这样展开了。

在脚本沟通确定之后，吕导迅速动手，剪辑出了一个示意性的demo来展示视频的初步风格。demo风格得到客户肯定后，导演左右开弓，埋头刻画分镜的同时，立即开始对可灵进行图片的投喂训练，以准备后续的视频内容生成。在分镜定稿的过程中，吕导已经利用可灵建立了一套完整的人物和场景模型库，为视频的最终制作打下了坚实的基础。

接下来就我们进入了最繁琐的视频素材生成阶段。

首先是场景静帧制作。与传统实拍不同的，想要AI工具产出一段既定内容的动态视频，需要先搭建片段首位静帧，再通过图片投喂及指令动作训练ai产出设想好的内容。这一步是整个AI视频制作中最为繁琐的一环。从大体到场景构建，到人物面孔，再到细节处理——比如想在某处加一个球框，或者想要路面减去一个垃圾桶，都要几十次指令下达后生成的几百张图片库中才能千挑万选出来的一张静帧图片。

问题接二连三，该怎么解决？

图片产出后，新的问题一个接一个来了：如何保证首位帧中间的画面稳定？到底该怎么连贯的完成前后镜头的动作衔接？以及最重要的：视频主角的面孔如何保持最大可能的一致？而凌驾在这三个问题之上，有一个几乎没有可能解决的问题：时间不够。

第一个问题是最好解决的，主要靠重复。通过不断的下达指令、回收素材、修改指令、明确细节，在“只要场景及运动视角比较固定”的情况下都能达到理想效果。

但剩下两个问题怎么解决呢？

技术上的具体操作我们无法透露太多，但在和导演的交流中我们接受到了这样的信息：

按照传统实拍的思路，要捕捉一场紧张刺激的足球比赛，创造出极具冲击力的视觉效果，通常需要运用大胆的镜头运动和无缝的镜头切换，这样才能将情绪和节奏推向高潮。然而，当我们尝试用AI技术来复现这一过程时，面临的挑战在于保持镜头之间的流畅衔接，由于时间的紧迫性和现有AI技术的局限性，在这次视频制作上我们并没有死抠动作细节，短时间无法做到的改动，我们就简化动作路径或使用后期剪辑手法（升格、碎片化剪辑等），由繁化简交代故事情节，呈现好整体故事内容。

幸好，前期搭建的人物形象足够立体，这让人脸对齐的工作相对轻松一些。当然，人物库的复用完成度，比如人物复刻到某一场景里，可能识别了60%、80%，整体有波动，但经过指令调整后多次输出，基本能达到人脸95%的统一。

实拍也能转AI？

在这部影片的制作过程中，我们广泛采用了多种技术手段，其中转绘技术的应用也是AI视频制作中不可或缺的一环。我们的目标是通过实拍的镜头来展示AI技术的多样性、丰富性和稳定性。为此，我们专门设计了一些实拍画面，这些画面在前期拍摄时就已精心策划，以便在后期通过AI进行风格化的转绘处理。

在实拍过程中，我们主要关注两个核心元素：镜头的运动和人物的动作捕捉。这些元素是AI转绘能够准确理解和再现的关键，它们对于保持画面的连贯性和动态效果至关重要。尽管如此，转绘过程中仍可能丢失一些细节，例如电线杆或篮球框等较小的物体可能无法被AI系统完全捕捉。但即便如此，AI转绘技术在捕捉和再现主要视觉元素方面仍然表现出色。

实拍转绘的环节相对轻松，它允许我们以一种创新的方式展现AI技术的能力。通过这种方式，呈现了AI技术在视觉艺术中的丰富性和稳定性，也能够向观众展示AI如何与人类的创意和实拍技术无缝结合。

会想的人先享受世界

随着最后一帧画面的转绘完成，我们也终于将这些导演和美术指导紧盯着电脑屏幕经过无数个日夜的努力精选的素材编织成了一个连贯的盲人足球故事。虽然在这个过程中，我们对最终交付的内容仍有些许遗憾，有些细节可能未能达到我们最初的预期。但正是这些不完美，成为了我们成长和进步的宝贵财富。我们坚信，每一次的探索和尝试都是通往成功的必经之路。即使成果并不总是如我们所愿，但重要的是，我们勇敢地迈出了第一步。

“我们会认为每一次的探索都是有意义的，即使团队对于产出结果没有十分满意，但是大部分人都还没有开始。这是我们从0到1的尝试。”这句话不仅是对我们项目的真实写照，也是对我们团队精神的最好诠释。我们从无到有，从概念到现实，一步一个脚印地将梦想变为可能。这个项目对我们来说，不仅仅是一个作品的完成，更是一次团队协作和技术探索的胜利。

我们的故事，是关于盲人足球运动员的故事，是关于那些在黑暗中依然勇敢追逐光明的故事。他们的精神，他们的坚持，他们的激情，通过我们的镜头，通过快手可灵的技术，被赋予了新的生命。我们不仅仅是在讲述一个故事，我们是在传递一种力量，一种让世界变得更加包容、更加多元的力量。

我们的探索，也不仅是技术的探索，更是人文的探索。我们希望通过这个项目，能够激发更多人对于AI技术潜力的认识，同时也能够鼓励更多人去关注和理解那些在日常生活中可能被忽视的群体。我们的项目，不仅是技术的展示，更是人文关怀的体现。

我们相信，会想的人先享受世界。我们的项目，不仅是对AI技术的一次探索，更是对人类精神的一次致敬。我们期待在未来，能够继续这样的探索，让科技的光芒照亮每一个角落，让每一个故事都有机会被看见。

创作企业名单

全案代理：HOK

制作公司：基本操作

——

创作人员名单

业务合伙人：王郁竹

资深客户经理：王壮，刘威威

资深美指：段恒恺

文案：苑蓉