AIGC：新AI时代，推动数字人进化的引擎
摘要：CV、NLP、大模型...AI技术的加持下，让数字人内外在更加生动真实。在未来的发展中，数字人的应用场景越来越广泛，并将发挥出重要的作用，让美好照进生活。
本文分享自华为云社区《AIGC：新AI时代，推动数字人进化的引擎》，作者：华为云社区精选。
现在我们在手机视频里经常看到，几百平方米的空旷房间内没有工作人员，屏幕上的“美女主播”正在全自动直播带货；在某餐饮短视频账号中，一名主播正情绪饱满地介绍产品，此时，“他”连续直播已经超过24小时…
原来，他们都是AI数字大军，即数字人。
在今年电商行业的销售模式中，有超过50%的企业尝试新的营销手段——数字人直播带货。在直播期间，“家人们”、“上链接”、“321”等直播“黑话”他们张口就来。不仅如此，各个领域的大佬数字人出现在大众视野。不难发现，数字人分身、虚拟主播正在成为“潮流”的Style。
然而，基于越来越多的数字人进行直播的趋势，网络都在疯传：真人主播要失业了，AI要取代三亿人的工作等新闻。借此，华为开发者大会2023社区直播活动邀请到了硅基智能AI数字人事业部全国城市生态总监大成老师和华为云AI技术研发专家王朝老师，一起聊聊“AIGC浪潮下的数字人进化论”。
AIGC正在改变市场与行业
被问到“数字人主播是否会取代真人主播”时，大成老师给出了肯定的回答，他从三个方面进行的解释：
• 数字人主播可以降低整体行业的门槛，规避对主播颜值和过往履历的要求，并且可以直接生成各种风格的数字人，提高直播间的颜值和风格多样性。
• 数字人主播可以快速上手，不需要培训和熟悉产品，也能做到24小时不间断的工作，提高直播效率。
• 数字人主播不需要考虑留存和分配的问题，不会出现被竞争对手或主播带走的情况，保障企业的投资和利益。
他还补充到，数字人主播现在在外形上基本可以做到以假乱真，不过在交互层面还是处于弱交互阶段，在比较丰富的互动上和情感表达上还有提升的空间。不过，目前的技术已经足以在各种场景下得到应用和落地，已经有很多企业在使用数字人主播，如电商、教育、文旅、银行金融等，数字人赋能千行百业的时代已经到来了。
“现在AI技术更新迭代的速度非常快，数字人也在不断进化升级。对于我们而言，拥抱AI，躬身入局是最正确的选择。”大成老师谈到。
数字人，要内外兼修
从技术层面来看，数字人主要两种模式：真人驱动型和计算驱动型。前者成本较高，用于影视创作、虚拟偶像等大型活动；后者成本更低，更常见。
针对计算驱动型数字人，制作流程为：制作模型→表演捕捉→模型驱动→模型渲染及后处理。在加入了AI技术之后，模型的制作可以由一段视频去做三维重建，表演捕捉则由一系列的驱动模型去代替。“这相当于是数字人的外在。”王朝说道。
除了外在，内在也很重要。为了让数字人像人一样开口说话，需要使用TTS技术（Text-to-speech，语音合成技术）将文本转换为语音，这是第一步。要让声音听起来毫无违和感，就需要使用声音转换技术，将原说话人的声音转换为目标说话人，同时保留原说话人的风格特色。做到这一步，一个基础的数字人就构建出来了。
要让数字人更加智能，可以使用NLP和CV技术，其中NLP用于支撑内在技术，CV用于支撑外在技术。王朝表示，现在的数字人互动性较弱，但GPT等大模型的出现可以弥补这一缺陷，以及diffusion model的生成能力可以用于数字人的模型制作和后期渲染，可以增加背景的多样性，使效果更有趣。
技术加持下，如何降低创造和内容成本
如果说，虚拟数字人成为连接元宇宙的身份入口。那么大模型掀起的热潮，生成式AI技术的爆发，则是虚拟数字人的“生动力”。生成式AI正在支撑虚拟数字人的回答变得更具多样性且拟人化，驱动数字人更好地表达情绪。
生成式AI是近年来发展迅速的领域，其中Diffusion model是一种重要的生成模型。王朝讲到，Diffusion model可以看做是一个去噪的过程，通过不断去除噪声图像中的噪声，逐渐生成我们想要的图片。这个过程是通过训练一个噪声预测器来实现，通过使用加过噪声的图片和第几次加噪声这两个参数去预测噪声本身。训练后的模型可以用来自定义生成图像，通过输入文本描述或其他控制信号来改变生成图像的样式和内容。
王朝表示，Diffusion model的优势包括生成能力强、可控性强、容易训练等。由于整个生成过程需要不断去噪，所以生成速度较慢。为了解决这个问题，许多diffusion模型并不在原始空间做去噪，而是选择一个低分辨率的空间进行生成，这也导致了许多绘画模型都采用了相同的结构。
“一般来说我们自己的生成需求，多数情况直接用基础模型是无法解决的。模型应用的关键是怎么样去自定义我们的模型，或者说怎么样去提升模型的可控性。” 王朝讲到，在应用方面，可以使用DreamBooth、lora和controlnet等方法来提高模型的可控性，这些方法可以帮助我们自定义生成图像，通过输入文本描述或其他控制信号来改变生成图像的样式和内容，从而满足我们的个性化需求。
数字人应用，让美好更近一点
“朋友们，我是谢晋，上影厂的一名电影导演，今年100岁了，此刻我竟然以人工智能数字人的方式来到SHO未来·海上论坛。”在上海电影节期间，出现了一个令人惊奇的影像——已故导演谢晋通过数字人的形式跨越时空和在场的电影人见面，让在座的观众惊叹。
大成老师表示，谢晋导演数字人是通过硅基数字人和炎帝大模型的技术，根据谢晋导演生前的一些素材，进行训练复合而成的。这就是数字永生。
不仅在影视行业，数字人在各行各业都有应用，比如银行金融、知识付费、房地产、文旅和政策宣导等领域。在银行金融领域，数字人可以被用来提供一对一的理财服务，让普通用户也能享受到VIP的服务；在知识付费领域，数字人可以被用来录制短视频，节省时间并提高效率；在房地产和文旅领域，数字人可以被用来进行虚拟游览，让用户无需亲自到场就能体验到景区的风光。
此外，数字人在老年陪护领域也有应用。有些家庭因为工作或生活的原因，无法全天候照顾到老人或孩子。此时，数字人可以用来进行陪护，提供全方位的服务，如聊天、做饭、打扫卫生等。这样可以让家庭成员更加放心，同时也能让老人和孩子感受到更多的关爱和陪伴。
不难发现，数字人技术的应用范围非常广泛，可以在各个领域都发挥出重要的作用。随着技术的不断进步，数字人也将越来越逼真，应用场景也将越来越广泛。
华为云携手硅基智能，一起征途元宇宙的星辰大海
硅基智能推出的诸多数字人，这背后的内核是“DUIX 数字人智能交互平台”。它是集成了ASR、TTS、虚拟人、NLP、BOT等技术，旨在满足未来虚拟数字经济多服务场景的虚拟化服务需求。而且，DUIX交互平台与华为云平台基础能力结合，提升数字人视频生产、多模态交互能力，为客户打造银行元宇宙、虚拟主播、虚拟培训老师等创新解决方案。
截止到现在，硅基智能与华为云开展了多维度的合作。2021年8月，硅基智能成为华为云的用户，并将整体业务迁移到华为云。随后将产上架华为云云商店，通过鲲鹏认证和产品的严选认证，得到华云全球生态部、华为江苏代表处、南京人工智能创新中心等部门的大力支持。在同年的10月份，产品还完成了自营认证，并启动了数字人的严选上架。到2022年4月份，硅基智能的数字人产品已经完成联营联运的认证，同时智能语音产品也通过了电信运营商cmp认证，并启动了佛山电信试点。
为了更好地落地数字内容等相关产品和技术，在2022年9月，华为全国首个数字创意产业方向的创新中心——华为（龙岗）数字创意产业创新中心正式签约，创新中心将以数据虚拟化引擎服务、云媒体服务、云桌面和数字内容产线MetaStudio等创新技术加速场景商业落地，助推数字创意产业集群融合发展，实现生态共生共赢，完成数字创意产业集群融合发展，助推龙岗数创走廊建设。
作为华为云客户，硅基智能得到了华为云专家团队的有力技术支持，进行了云资源规划和诊断，优化了云资源调度。同时，硅基智能也积极推荐华为云服务，帮助伙伴加速了解华为云生态，提供经验分享。双方还在解决方案维度进行了联合创新，在金融、政府、广电等多个行业联合营销，为行业客户提供有竞争力的创新方案。