推荐一个开源视频翻译工具-MyHeyGen

  • A+
所属分类:heygen ai百科


前一段时间,HeyGen刷爆了人们的眼球,使用HeyGen人们可以轻松地将一段视频的语音进行翻译,从一种语言翻译成另一种语言,除了文字和语音的流畅之外,还可以保持原说话人的音色和口型,爆火的视频片段“郭德纲说英语相声”就是出自HeyGen之手。

虽然HeyGen使用很方便,但是毕竟是商业化产品,很难对它进行改造或者嵌入自己的产品,今天介绍的开源项目-MyHeyGen,就是这样一款平替工具。

MyHeyGen是一个开源项目,项目地址在这里:https://github.com/AIFSH/MyHeyGen

可以看到,MyHeyGen参考了HeyGenClone和re-talking项目,但是HeyGenClone的效果明显不太好,而MyHeyGen做了一些改进,虽然距离HeyGen还有差距,但也基本可以用了。

MyHeiGen提供了一个工具,一条命令就可以执行视频翻译的三个流程:音频翻译、翻译校正和视频唇合成。除了英文,MyHeyGen还支持法语、日语等共计16种语言。

其中文字翻译部分使用的是百度翻译。不确定在短视频场景下效果怎么样,毕竟短视频中上下文信息很少,如果说一些生僻词汇或者俚语,普通机器翻译可能就差强人意了,据说使用ChatGPT进行翻译效果会更好一些。

命令的完整格式如下:

python translate.py 原视频文件路径 目标语言代码 -o 保存路径


作者在B站上放了一些做好的视频,下面是其中一个,大的问题不多,小毛病不少,例如语速控制,TTS效果,唇形在个别情况虚化等,这也难免了,开源项目大都有这样的问题,如果要改进效果,换用openai的ASR和TTS会好一些。



本篇文章来源于微信公众号: 饮马河科技 喜欢可以搜索关注!

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: