- A+
随着AI技术在多领域的广泛应用,数字人已经不再只存在于科幻电影中。实际上,数字人的应用前景非常广阔,将在媒体传播、元宇宙、虚拟社交、个人形象塑造等领域大放异彩,在国内更有广泛的用途。其中,HeyGen推出的数字人2.0版本标志着该技术发展的重要里程碑。它实现了用户自定义语音和动作的数字化,开启了数字人应用的新篇章。
关于HeyGen应该很多朋友都已经听说过了,这是目前最好的一个数字人制作工具,能够很好的根据一张图片生成嘴型逼真的讲话视频。但以往的版本只能根据图片生成嘴部动作的视频,也只能选择网站提供的各种声音,无法实现你的真正数字分身。而最近HeyGen进一步改进了他们的模型,推出了数字人2.0版本,可以快速训练生成你自己的视频、声音模型,训练完后就可以随时使用你自己的模型,实现即时配音+口型同步。不仅能够将你的内容语音克隆和配音为更多语言,而且还能够实现口型同步,这将改变游戏规则!生成各类逼真的视频,包含你自己的声音,实现真正的数字人分身。
网址:www.HeyGen.com
目前新的2.0版本已经推送到早期用户账户中,如果你已经收到升级通知。在网站左侧的Avatar中,会发现最新的Instant Avatar:即时头像,这就是最新的2.0模型训练入口。
按照网站提示非常容易就能完成整个训练过程,下面简单介绍一下整个训练流程,需要提醒的是每个免费用户只能创建一个数字人分身。不过不要担心训练流程不熟悉浪费掉这个名额,因为这个你自己的分身是可以重复修改的,也就是你可以先快速走一遍流程,快速训练完一个分身,了解一下实际效果。然后你可以再返回慢慢修改训练过程,逐步优化你的数字人分身。
所谓的训练过程就是按照提示录制一段你说话的视频,整个训练流程分为五步。
第一步、数字人产品介绍:
第二步、训练详细说明
你可以选择视频介绍,也可以选择文字介绍。
建议选择文字介绍,可以仔细看到详细的录制要求:
更好的录制质量可以生成更和你贴近的数字人模型。
以下是一些简单要求:
-
录制至少 2 分钟的镜头
-
使用专业或移动相机
-
采光好,环境安静
-
直视相机
-
每个句子之间停顿,并且嘴闭住。
-
使用通用手势并将双手放在胸部下方
要避免的事情
-
拼接或剪切您的素材
-
不间断地讲话
-
录制过程中移动位置
-
背景噪音
-
脸上有阴影或曝光过度
-
转移视线或环顾四周
-
手势位于胸部上方
-
使用方向或指向手势
第三步、上传或录制你的视频
你需要录制 30 秒的视频。为了获得更好的质量,官方建议通过手机或专业相机上传 2 分钟录制好的镜头。如果是通过电脑摄像头录制,需要你朗读任意一段文字内容,官方提供了一些内容范例:
录制结束会提示你检查录制的视频是否满足下面要求,并勾选下面的所有选项:
第四步、录制免责声明
由于数字人分身涉及到了你的生物数据,这一步需要你授权Heygen使用你的数字分身的相关数据进行训练,按照提示朗读一段授权声明即可。
第五步、上传视频
最后一步就是将录制好的视频上传到网站,网站会根据你的视频影像、声音训练生成你自己的数字人分身。整个训练过程很快,大约几分钟或十分钟后你就会收到生成完毕的邮件通知。
在你的头像列表中会新增一个你自己的角色模型,这就是你的数字人分身了。随后点击这个角色,你就可以像以往一样使用这个角色创建各种视频,这部分内容网上有很多教程,在这里就不做详细介绍了。
根据我的快速测试结果来看,使用你的数字分身创建的各种视频,动作姿势完美无瑕,完全具备使用价值,基本看不出什么瑕疵。而录制的声音内容90%无懈可击,完全和你的声音匹配,只有在中英文混杂时,会有部分声调比较奇怪,还有在一些英文翻译过来的中文词汇,朗读起来有些怪。但这些缺点又有很大比例是因为我没有严格按照官方建议,认真准备录制视频,没有做到前面推荐的那些注意事项。
下面给大家看一个国外用户训练完后生成的中文发音视频:
虽然一些中文发音仍然带有外国口音,但这样的普通话比我们之前遇到的大多数外国人讲得都更流利、更自然、更接近中文用户。
前面已经提到每个免费用户只能训练一个数字分身,但训练完的这个角色是可以重新修改、重新训练的,所以你也可以快速完成整个流程后,再返回按照网站要求认真训练一遍,相信质量会有非常大的提升。
综上所述,HeyGen数字人2.0版本实现了语音和视频的高度拟真模拟,使每个用户都可以获得独一无二的数字分身。这不仅满足了用户的个性化需求,还将在虚拟演员、虚拟主播等领域产生革命性影响。随着元宇宙时代的来临,自定义数字人角色必将成为用户展示个性、进行虚拟社交的重要方式。可以预见,数字人技术还蕴含着巨大的商业应用价值,其应用场景具有无限的想象空间。HeyGen的数字人2.0正引领这一行业开启新的潮流与契机。期待随着技术的进一步成熟,数字人产业最终效仿电影动画,成为体现人类创造力的重要形式。
想更快掌握最新AI技术的应用,欢迎加入我的公众号专栏《AIGC从入门到精通专栏》,及时获取最新技术和教程。
如果你还没接触过AI视频,想快速入门学习AI视频技术,可以看一下《AI视频生成从入门到精通(录播课)》
公众号精选内容
基础入门 | 建筑室内 | 模型训练 | ChatGPT
StableDiffusion | Midjourney | 进阶专栏
2023.8 | 2023.7 | 2023.6 | 2023.5
2023.4 | 2023.3 | 2023.2 | 2022
☞三连击支持 点赞 + 在看 + 分享👇
本篇文章来源于微信公众号: 今说新语 喜欢可以搜索关注!