- A+
“ 最近我去了很多地方，比如意大利，法国和日本。 ”
土生土长的美国歌手霉霉，说着一口流利的中文。
如果不是 AI ，世超可能这辈子都看不到这样的画面。
最近，几个由网友创作的 “ 没有译制片腔调的翻译 ” 视频在网络上刷屏，还有什么蔡明用英语说脱口秀、马斯克日语采访、特朗普用中文演讲。。。
这些视频的人脸、声音，甚至口型都对得上，是本人看了视频都会愣住的程度。
而通过视频的水印，我们发现这些神奇的视频，都出自一个叫做 HeyGen 的数字人生成网站。
视频翻译，便是他们最后更新的新功能，不仅能翻译语言，还能模仿人物的语调、声线和口型。
说实话，看了大伙儿的成品之后，世超也是心痒痒。
可没想到刚进官网想白嫖一下试用，就被 3 万多的排队大军给吓到了。
所以我们决定忍痛掏 30 美刀，看看这个视频翻译到底是怎么个事儿。
话不多说，咱们直接上干货。
不同于被放在了官网最显眼的位置的数字人相关功能，视频翻译功能需要点击 “Lab” 后，才能看到这个 “Video Translate” 。
操作步骤很简单，把视频拖到紫色的方框里，选好最终想要生成的语言，点击翻译。
原视频的语言，可以是英语、普通话、西班牙语、日语、意大利语等 18 种语言，而输出也有英语 - 美国口音、英语 - 您的口音、普通话等 15 种选择。
这些事情做完你只需要等待就可以了，下面会显示正在翻译的进度和已经翻译好的视频。
不过，上传的视频还是有点讲究的。
除了视频大小不能超过 1G 外，在上传说明里还有四个注意事项：
•尽量避免背景音乐和噪音，因为它们会降低输出音频的质量。
•尽量避免多人。
•分辨率必须介于 360x360 和 4096x4096 之间。
•持续时间必须在 30 秒到 5 分钟之间。
我就因为吃了没有仔细阅读上传说明的亏，白白浪费了不少时间。
就比如这个《 亮剑 》名场面，本来想看李云龙是怎么操着一口流利的英语，把那句 “Second Battalion Commander! Where's your fucking Italian cannon? Pull me here! ” 给喊出去。
结果生成出来的视频，就跟一团浆糊似的。
虽然隐隐约约能听出二营长和意大利炮，但因为背景音实在是太吵了，总体是个失败的翻译作品。
在吸取教训以后，我又上传了一段 1992 年比尔盖茨介绍微软时的视频。
“ 你好，我是比尔盖茨，微软公司的董事长... ”
大伙儿可以看看，人和声音都是比尔盖茨没错吧，口型也对得上，而且毫无 ps 痕迹。
这字正腔圆的普通话，比尔盖茨来了都得直呼好家伙。
如果营销号想转发类似的视频的话，世超在这儿可以提供一个标题思路好吧：《 震惊！比尔盖茨的祖籍竟然在中国 》。
接着，我们又翻译了一个马保国马老师的视频。
HeyGen 嘎嘎一顿输出，马老师直接从中国人变成大佐。
一口板正的日语再加上马老师的脸，不认识马保国老师的人可能真就以为是原视频，这说不清道不明的适配感让世超觉着，这味儿终于对了。
而除了马老师外，我们又找了两位互联网土味顶流， giao 哥和奥利给大叔。
没听过 giao 哥讲韩语的友友们，有福了。
略微煽情的 bgm 再配上自带氛围感的韩语，韩剧味儿也太冲了。
有不信的差友可以把屏幕遮住再听一遍，特别是翻译过后， giao 哥的声音好像自带韩剧男主光环。
家人们谁懂啊，看哭了。。。
而奥利给大叔那边，换上日语之后也是相当对味儿。
本来奥利给大叔之前就被不少人误会是日本人，这下可能更说不清了。。。
这又是 giao 哥，又是奥利给大叔、马保国，说一句土味顶流出国团建名场面，应该没人反对吧？
可没等我高兴两分钟， HeyGen 马上就翻车了。。。
昆汀这个 “nb” 名场面，大伙儿应该不陌生吧？
因为是多人视频，在上传之前我们猜想过可能会有一些穿帮镜头，结果出来后，在视频的前半部分除了昆汀的脸变形以外，其他的也还凑合。
最大的问题是，到 “nb” 的时候， AI 没翻译出来。
也就是说， AI 理解不了 “nb” 是啥意思，
要是放在大语言模型的测试上，连 “nb” 都不懂，世超真的会怀疑这个 AI 的聪明程度。
不过，这次的小插曲也让我们意识到， HeyGen 或许并没有想象中的那么强大。
后面的几次测试中，像嘴巴变形穿帮、语义理解不到位的问题经常会出现，特别是翻译内容的质量上， HeyGen 的表现的确算不上惊艳。
还有完颜慧德老师的 “ 安分守己 ” 名场面，试过之后也翻车了。。。
但不管怎么说，人家毕竟还是个 beta 测试版，现阶段 HeyGen 呈现出来的效果，我暂时还没在其他家的 AI 产品上见到过。
根据推特一位博主（ Gorden _ Sun ）的说法，要完成像 HeyGen 视频翻译这样的功能，市面上也有可替代的开源方案。
比如语音转文字的 whisper 、翻译文字的 GPT 、声音克隆 + 生成音频的 so-vits-svc 还有生成符合音频嘴型视频的 GeneFace++ 。
相比之下， HeyGen 虽没有公开具体的技术，但它胜在提供了一套完整的解决方案。
要知道，我们曾经为了克隆 B 站世超的声音，光是训练，就花了一个多晚上。
而 HeyGen 的出现把门槛一再压低，半小时就能给你一个声音、人脸、口型全都对得上的视频。
最后，我们还用 HeyGen 把差评君 8 周年的视频翻译成了英文版。
这么一看，感觉以后差评君的视频出海都不愁翻译了 ~
总而言之，如果严格按照上传说明执行， HeyGen 现阶段还是挺能打的。甚至有网友担心 HeyGen 的出现，会直接影响到配音演员的饭碗。
不过，相比担心失业，我们反而更关心这种技术如果被用来骗人会怎么样？
熟悉的脸，熟悉的声音，完全陌生的话语。
盲猜一波，光是文章里放出来的几个视频，就能骗到不少人。
就比如上边儿比尔盖茨说中文的视频，你发到网上再配文 “1992 年的比尔盖茨已经学会了说中文 ” 。
一些不经常在网上冲浪的人看了之后，不加验证地进行传播，谣言不就这么起来了。
现在大伙儿图个乐当然无伤大雅，但谁也不敢打包票如果哪天这些视频被恶意篡改之后，会造成什么样的后果。
所以世超对于 HeyGen 这种视频翻译的技术，还是持观望的态度。
新技术带来的，究竟是生产力的解放，还是潘多拉魔盒，就交给未来去评判吧。
撰文：西西 编辑：江江&面线 封面：萱萱
图片、资料来源：
HeyGen 官网、 YouTube 、抖音、 X （ 推特 ）、B站
本篇文章来源于微信公众号: 差评 喜欢可以搜索关注!
