AI视频创作工具——Heygen初体验及避坑指南

  • A+
所属分类:heygen ai百科

      最近这段时间在抖音还有B站霉霉说中文和郭德纲用英语说相声的视频火了。由此带红了一个AIGC网站——Heygen。HeyGen是一款AI视频创作工具,可以便捷地生成“虚拟化身(数字人)”视频,它来自于深圳的诗云科技。

一、官网:

https://www.heygen.com/

二、注册步骤:

1.登录网址:https://www.heygen.com

2.点击:【try heygen for free】 (免费试用)按钮,进入网站主界面; 

3.注册和登录:在弹出的新页面点击 【Sign Up with Email】,输入一个邮箱地址,获取激活代码注册。过程很简洁,不需要过多的信息。qq邮箱和微软邮箱都可以【因为某些网友的不道德行为,官方禁止了临时邮箱注册】; 

AI视频创作工具——Heygen初体验及避坑指南

4.主界面功能:进入网站,显示Home(主页)内容,左侧是导航菜单栏,右侧则提供了选择创建视频的快捷按钮(通过模板或角色创建),以及角色列表。当用户点击右上角的【Create Video】按钮时,将进入创建视频的界面。点击【Video Translate】,则可以进行视频翻译,创建霉霉说中文那样的视频了。

5.免费用户:只有1个积分,只能创建1分钟的视频。可以通过有效邀请活跃用户获取积分,一个月最多只能获取10个积分。

AI视频创作工具——Heygen初体验及避坑指南

三、技术分析:

      Heygen其实是在开源方案的基础上整合出来的(不过开源方案没有这么直接便捷的一键效果)。
      体而言,根据推特博主@Gorden_Sun的总结:

文本翻译用的是GPT

语音转文字用的是whisper

声音克隆+生成新音频用的是so-vits-svc

最后的口型匹配用的是GeneFace++

四、体验:

  (一)Create Video】比较简单,就不赘述了。声音自然,口型匹配完美。

缺点:

1.只能免费制作1分钟时长的视频(1分钟可以是多个视频的时长之和);

2.视频编辑时,只能使用平台提供素材,不支持自己上传。

3.平台的视频编辑有限,若要复杂编辑,需要下载后到视频编辑软件中二次创作;

4.预览时角色口型是不动的,生成视频后才能看到最终效果。

5.免费版的会有水印,可将视频导入视频编辑软件中进行编辑。

(二)Video Translate】这个是我体验的重头戏,也是广大网友热捧的一个功能。

操作要点:

文件支持3种类型:mp4、quicktime和webm;

件大小最高支持1GB,时长不低于30s,不高于5分钟;【免费用户不超过1分钟】

分辨率则需介于360x360到4096x4096之间。


为保证效果,HeyGen对视频内容本身也有两点要求:

1.尽量无背景音乐或噪音;

2.尽量避免多人。
      上传以后,就可以选择你要翻译的语言了。目前支持输出包含中英文等在内的15种语言(输入语言支持18种)。

下面是网友制作的效果较好的视频:

AI 先获取了「霉霉」说的英文内容翻译成中文,再模拟「霉霉」的音色,接着替换掉「霉霉」的口型,最后合成一个以假乱真的视频,实现了让「霉霉」说中文的效果。AI 霉霉的视频创作者是 Gorden Sun,据他说,生成 AI 霉霉的视频仅用了 40 秒。

浪浪浪的海,公众号:APPSO霉霉说地道中文的视频火了,背后这个 AI 工具强大到可怕

      这个则是我尝试创作的视频:【第一个乔丹的翻译成中文,真的不够写意,太机器了,放弃;和大家分享的这段是大话西游的,有一个小bug】

------------------------------------------------------------------------

下面就是避坑指南了:

       做这个视频从上传排队到做成下载,我经历了42个小时。周三下午三点上传的时候,我排在了38832名;第二天上午九点的时候,我看到自己前进了3000名。这期间制作框一直提示我只要成为付费会员就可以插队,不过费用非常贵。在我感觉要花费一个月时间耐心等待的时候,今天早上九点我收到了一封邮件,提示我视频做好了。

AI视频创作工具——Heygen初体验及避坑指南

AI视频创作工具——Heygen初体验及避坑指南

-END-

AI视频创作工具——Heygen初体验及避坑指南

AI视频创作工具——Heygen初体验及避坑指南

AI视频创作工具——Heygen初体验及避坑指南


本篇文章来源于微信公众号: 杭州文创数字科技研究院 喜欢可以搜索关注!

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: