- A+
前一段时间,HeyGen刷爆了人们的眼球,使用HeyGen人们可以轻松地将一段视频中的语音进行翻译,从一种语言翻译成另一种语言,除了文字和语音的流畅之外,还可以保持原说话人的音色和口型,爆火的视频片段“郭德纲说英语相声”就是出自HeyGen之手。
虽然HeyGen使用很方便,但是毕竟是商业化产品,很难对它进行改造或者嵌入自己的产品,今天介绍的开源项目-MyHeyGen,就是这样一款平替工具。
MyHeyGen是一个开源项目,项目地址在这里:https://github.com/AIFSH/MyHeyGen
可以看到,MyHeyGen参考了HeyGenClone和re-talking项目,但是HeyGenClone的效果明显不太好,而MyHeyGen做了一些改进,虽然距离HeyGen还有差距,但也基本可以用了。
MyHeiGen提供了一个工具,一条命令就可以执行视频翻译的三个流程:音频翻译、翻译校正和视频唇形合成。除了英文,MyHeyGen还支持转法语、日语等共计16种语言。
其中文字翻译部分使用的是百度翻译。不确定在短视频场景下效果怎么样,毕竟短视频中上下文信息很少,如果说一些生僻词汇或者俚语,普通机器翻译可能就差强人意了,据说使用ChatGPT进行翻译效果会更好一些。
命令的完整格式如下:
python translate.py 原视频文件路径 目标语言代码 -o 保存路径
作者在B站上放了一些做好的视频,下面是其中一个,大的问题不多,小毛病不少,例如语速控制,TTS效果,唇形在个别情况虚化等,这也难免了,开源项目大都有这样的问题,如果要改进效果,换用openai的ASR和TTS会好一些。
本篇文章来源于微信公众号: 饮马河科技 喜欢可以搜索关注!