盘古媒体大模型进阶，数字内容继续“造梦”大众
文 | 智能相对论
作者 | 陈泊丞
这是春晚舞台西安分会场《山河诗长安》的一幕：“李白”现世，带领观众齐颂《将进酒》，将中国人骨子里的豪情与浪漫演绎得淋漓尽致。
这又是浙江义乌商品市场里的另一幕：只会说几个英文单词的女老板秒变外语达人，无缝切换36国语言流畅介绍自家商品，疯狂带货。
这一幕幕不可思议的画面，成就了今天中国文化、商业的频频出圈。而一切的背后，都有着相同的支持：AI技术赋能数字内容生产和应用。
近年来，随着AI大模型技术的持续升级与赋能，数字内容生产与应用的趋势愈发强烈，现实场景与数字内容不断融合，悄然改变着整个内容创作行业的格局，甚至进一步推动了相关产业和商业的新变革。
技术创新重塑数字内容生产与应用新范式
数字人“李白”的精彩演绎、义乌女老板的AI带货——这些热门事件的背后，是技术创新突破所带来的结果。AI大模型的成熟应用，让越来越多不同形式的数字内容得以爆发，并广泛进入大众视野。
在6月21日举办的华为开发者大会（HDC 2024）上，华为云盘古大模型迎来5.0版本升级，其中盘古媒体大模型在语音生成、视频生成以及AI翻译上的技术创新就重塑了数字内容生产和应用的新范式。
对比过去的技术能力，新的技术所带来的效果是非常显著的。
一、语音生成进阶：只需三言两语，沉浸式、真实感的语音易如反掌
过去的语音生成依赖传统的声音克隆模型，由于模型比较小，精度低等原因，往往在实际操作上就要复杂得多。比如，在数据收集阶段，对目标人物的语音数据就要尽可能的多样化，包括不同的语速、语调、音量以及不同语境下的语音，需用到几百句话的录音。
然后到了预处理阶段，需要对收集到的语音数据进行清洗，通过人工标注等形式去除噪声、静音片段和其他不需要的部分。进而还要进行语音分割，将连续的语音信号切割成较小的语音片段（如音素或单词）。最后提取音频特征，再用于后续的声音建模。
以上，还只是数据收集和预处理，尚未进入真正的语音生成阶段。但其中的工作量和操作复杂度就已经很大了，对语音生成的效率和质量都是一个非常大的影响和挑战。
时至今日，随着技术的创新，基于更先进的模型，比如盘古媒体大模型的语音生成能力，这一问题得到了很好的解决。只需要几句话、几秒钟的声音，AI即可学习到个性化的音色、语调、表达韵律，从而获得高质量的个性化语音。同时，还支持喜怒哀乐等拟人情感语音，闲聊、新闻、直播等10多种语气风格，让生成的语音更真实、更有情感色彩，能沉浸式地应用到不同场景中。
比如，在视频译制中，AI将能做到配音演员的专业程度——通过盘古媒体大模型提供的视频翻译能力，AI可以把视频翻译为目标语言，并保留原始角色的音色、情感、语气。华为云也在积极联合伙伴逻辑智能，打造高感情语音克隆以及14国小语种配音，共同构建高感情超拟人多模态音频应用能力等。同时，再结合盘古媒体大模型的口型驱动模型，还可以实现音唇同步，尤其是在侧面、多人对话、物体遮挡以及人物移动等场景，也能做到很好的口型匹配。
二、视频生成跨越：只需几十张图，可控的、一致的视频唾手可得
传统的视频生成技术在资源需求、数据集、时序一致性、物理定律遵守、效率与质量平衡、可控性、逼真度和连贯性以及应用限制等方面都存在一定的局限性。如今，基于盘古媒体大模型，只需要训练几十张特定美学风格的图片，如吉卜利、二次元等风格，再输入实拍视频即可快速生成该风格的动漫视频。
除了按需时长生成稳定的动漫视频，再通过ID一致性模型，还能对生成画面中的关键角色进行一致性处理，确保视频中角色样貌特征在前一帧和后一帧中所呈现的效果始终一致，在侧脸、运动轨迹下的视觉效果合理一致，由此增强AI视频生成的可控性、一致性，让视频内容更合理、真实。
此外，业内对视频生成的真实度、复杂度也在聚焦增强。比如，OpenAI的Sora正在试图模拟复杂的摄像机运镜，同时准确地保持角色和视觉风格一致，让AI创作的数字内容更加趋于现实创作。英伟达更是发布了一系列技术套件如ACE（NVIDIA Avatar Cloud Engine）、NeMo™以及RTX™等，去增强数字内容的真实感，让数字人物的互动、对话更加复杂、逼真。
三、AI翻译强化：准确性>93%，实时的、跨语言沟通指日可待
过去的机器翻译系统往往是基于统计模型或规则模型构建的，因此翻译结果大多无法与原文一致，显得生硬、不自然，并不具备应用到不同场景的条件。现如今，华为云通过AI实现多语种实时传译，准确性>93%，可应用于实时通话、云会议等需要实时翻译场景。
同时，基于盘古媒体大模型的语音复刻、AI文字翻译以及TTS技术，便可以实现语音的同声传译，成功实现跨语言母语沟通体验。甚至还可以结合数字人技术，让数字人来模拟用户说话，结合口型模型技术做到口型与声音精准匹配，让AI翻译、数字人与语音生成高度结合用于线上开会、跨国贸易交流等场景中。
技术的“瓶颈”在收缩？
技术的创新和突破带来了数字内容生产和应用的爆发，但另一方面随着生产和应用的进程加速，相应的技术瓶颈也在出现，并不断收缩、聚焦。目前，AI大模型在数字内容生产和应用上的问题主要呈现在三个层面。
其一，能源与计算效率瓶颈。当前，大模型训练的算力当量还在进一步增大，从GPT-3到GPT-4算力当量增长了68倍。随着训练的token数、模型参数增加，大模型训练所需的计算量也需要随之增加。
更重要的是，其背后的成本投入是难以为继的。根据计算，训练一个5000亿参数规模的Dense模型，基础算力设施投入约10亿美金，无故障运行21个月，电费约5.3亿元——这远远超出了企业的承受范围。
但是，如果想要规模化地生产高质量的数字内容，大模型的精进又是必要的路径。在这个阶段，业内开始寻求更高效、更优的算力解决方案。像华为云昇腾AI云服务就在致力于提供方便、好用的算力服务，在算力层面不断革新计算能力和计算效率，提供从云化算力、模型开发、模型托管到生态的全栈服务。
其二，算法架构的优化挑战。随着大模型参数的增加，想要实现更好的计算结果和输出更优的答案，那么其处理的时长就会不断延长的。但是，这在实际应用中是一个困扰数字内容生产和应用的显著问题，非常不利于数字内容的规模化、商业化发展。
由此，业内也开始在算法架构上进行优化，调整计算逻辑、处理方法来实现更优效果。其中，以稀疏激活机制为代表的MoE模型就是目前AI行业的一个焦点，类似于“术业有专攻”的理念，稀疏激活机制通过对数据任务进行拆解，分门别类，再分配给特定的“专家”（Experts）进行处理，最终综合加权输出——不仅实现了计算效率优化，也让输出结果更加全面、强大。
其三，安全与伦理问题。大模型内部运行机制复杂，生产出来的内容欠缺可解释性和可控性，又易受对抗样本攻击，存在监管难题和安全漏洞。对此，在数字内容生产和应用中，相关的安全和伦理问题随着行业的广泛发展而日趋突显。
因此，在数字内容行业高速发展的阶段，尽管企业能吃上数字内容的红利，但也需要鉴别模型的安全性、可靠性，避免因模型的安全和伦理问题而引发负面舆论影响。在这样的挑战下，华为云盘古大模型也随即作出升级，在数据治理、安全合规等方面达到了较高标准。
以技术“造梦”，数字内容未来可期
新范式的明确带来更明确的技术方向，对于整个数字内容行业而言，这意味着未来的发展已经有了基础的雏形，前景仍是乐观的。但是，不可忽视的是，技术的瓶颈客观存在，且更加突出，摆在行业面前的依旧是一条较为严峻的发展之路。
尽管抛开技术瓶颈不谈，在具体的实践中，数字内容的生产和应用也不简单，往往都需要面对很多在技术之外的具像化问题，只有基于问题去一步步解决才能最终完成落地。
华为云团队在进行纪录片译制时就发现，项目实际开展起来会遇到各种各样的问题，比如环境声音太杂太乱，AI无法准确识别人声保证音译的完整度，或是随着场景的切换，人物的状态、口型都呈现出不同的样子，需要AI精准地匹配等等。
如果这些问题不一一解决，AI译制的效果就打了个大大的折扣。对此，华为云团队通过精准分析问题，采用不同的技术去解决各类细微问题，比如通过分离模型技术让环境声和人声分开，通过口型模型技术让声音与口型精准匹配等。
技术或许一直都有，但是如何用恰恰才是项目落地的关键。换句话说，在今天数字内容行业高速发展、技术创新加速迭代的阶段，只有实践了才能真正推动行业的发展。这是一个比拼项目的阶段，谁家的项目经验越丰富，越能知道相关的技术应该如何应用才能发挥出应有的效果。
目前，中影集团与华为云合作，将媒体大模型应用到影视工业，共同打造影视译制大模型，通过AI将视频译制成不同语言，并保留原始角色的音色、情感、语气，还能支持口型匹配，为影片译制提供全新的AI制作方式。
今天，数字内容迎来迸发，越来越多精彩内容面世的另一面恰恰是厂商们不断运用技术、验证技术、完善技术的过程。未来的项目之路任重而道远，同时也是行业走向成熟的必经之路。静待技术在创新中、实践中持续升级、完善，未来便更快能看到一个数字内容精彩纷呈，如同梦境一般的世界。
*本文图片均来源于网络
此内容为【智能相对论】原创，
仅代表个人观点，未经授权，任何人不得以任何方式使用，包括转载、摘编、复制或建立镜像。
部分图片来自网络，且未核实版权归属，不作为商业用途，如有侵犯，请作者与我们联系。
•AI产业新媒体;
•澎湃新闻科技榜单月度top5;
•文章长期“霸占”钛媒体热门文章排行榜TOP10;
•著有《人工智能 十万个为什么》
•【重点关注领域】智能家电（含白电、黑电、智能手机、无人机等AIoT设备）、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。
转载请在文章开头和结尾显眼处标注：作者、出处和链接。不按规范转载侵权必究。
未经授权严禁转载，授权事宜请联系作者本人，侵权必究。
本文禁止转载，侵权必究。
授权事宜请至数英微信公众号(ID: digitaling) 后台授权，侵权必究。
评论
评论
推荐评论
暂无评论哦，快来评论一下吧！
全部评论（0条）