“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge)

  • A+
所属分类:heygen ai百科
丰色 发自 凹非寺
量子位|公众号QbitAI

能让霉霉中文开口跪、郭德纲用英语说相声的那个AI——

有开源平替了!

这是用它让罗翔进行英文普法的效果,张三李四“要素齐全”:

以及英文讲人生哲理“你的内心有没有幽暗的成分”(cr: line xiongjie lin)

相比起来,虽然和原产品(也就是HeyGen)有一点差距,但是网友的评价是:

也还可以。

主要有了它,咱们在本地就能无限玩视频翻译,直接好处那可就是每月立省350(手动狗头)

毕竟,HeyGen再厉害,也只有2分钟免费时长。

“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge) HeyGen收费情况

具体瞧瞧。

HeyGen开源平替来了

这个视频翻译平替名叫MyHeyGen,来自b站UP主:@ai浮世绘

“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge)

他的首页里还有很多效果展示,比如这个新鲜出炉的“这英”

除了英文,MyHeyGen还支持转法语、日语等共计16种语言。

视频翻译的三个流程:音频翻译、翻译校正和视频唇纹合成,它全部一个流程解决。

如果你想亲手试试,步骤也不复杂。

大概流程是先环境准备:

需要分别去Huggface申请个token、去百度翻译申请个AppKey,并下载权重和checkpoints文件。

然后就可以git clone安装了。

开始测试之前,记得将你要翻译的视频下载保存到本地。

然后在执行命令中提供其保存路径+想要翻译成的语言代码(比如’en’代表英语)+翻译好的视频保存路径就可以坐等了。

命令的完整格式如下:

python translate.py 原视频文件路径 目标语言代码 -o 保存路径

有网友实测成功

“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge)

不过,还是必须得满足16G显存才ok,以及windows用户可能需要自己再解决一下兼容问题(up主该视频底下有人提供了方法)

如果这些都不行,可以再等等colab实现,up主表示在测试中了。

效果方面,可以发现MyHeyGen音色复刻得很是到位,用了最新的语音克隆开源技术XTTS v2

“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge)

投喂给AI一个明星的采访视频,它就能克隆其中的声音讲不同的话。

这是推特博主@Gorden Sun用霉霉的声音测试的一个效果:

至于MyHeyGen的缺点,大家看完表示也明显。

比如有人反映口形有一些不同步,有人则吐槽遇上面部大幅活动就容易“抽风”(如本段开头的“这英”)等等。

但整体玩一玩还是ok的。

One More Thing

仔细一翻,HeyGen的开源替代品还真不少。

有俄罗斯程序员也在业余时间做了一个:HeyGenClone

“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge)

用的是谷歌翻译,可以支持上百种目标语言,但只支持原语言为英文的视频。

由于只给了一个很短的俄语效果展示,不是很好评鉴,这里就不放视频了~

参考链接:
[1]
https://twitter.com/dotey/status/1722543725459452211
[2]https://twitter.com/gorden_sun/status/1722439866112463163

《2023年度十大前沿科技报告》案例征集

量子位智库《2023年度十大前沿科技报告》,启动案例征集。诚邀顶级研究机构、一流投资大咖、前沿科技创新公司,参与共创,分享案例。

扫描图片二维码参与前沿科技案例征集。了解更多细节可联系报告负责人:郑钰瑶(微信:CarolineZheng_,请备注企业+姓名)。

“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge)


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

本篇文章来源于微信公众号: 量子位 喜欢可以搜索关注!

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: