起猛了,看见giao哥变韩剧男主角了。

  • A+
所属分类:heygen ai百科



 “ 最近我去了很多地方,比如意大利,法国和日本。 ” 


起猛了,看见giao哥变韩剧男主角了。土生土长的美国歌手霉霉,说着一口流利的中文。


如果不是 AI ,世超可能这辈子都看不到这样的画面。


最近,几个由网友创作的 “ 没有译制片腔调的翻译 ” 视频在网络上刷屏,还有什么蔡明用英语说脱口秀、马斯克日语采访、特朗普用中文演讲。。。


这些视频的人脸、声音,甚至口型都对得上,是本人看了视频都会愣住的程度。


起猛了,看见giao哥变韩剧男主角了。而通过视频的水印,我们发现这些神奇的视频,都出自一个叫做 HeyGen 的数字人生成网站。

起猛了,看见giao哥变韩剧男主角了。


视频翻译,便是他们最后更新的新功能,不仅能翻译语言,还能模仿人物的语调、声线和口型。


说实话,看了大伙儿的成品之后,世超也是心痒痒。


可没想到刚进官网想白嫖一下试用,就被 3 万多的排队大军给吓到了。


起猛了,看见giao哥变韩剧男主角了。所以我们决定忍痛掏 30 美刀,看看这个视频翻译到底是怎么个事儿。

起猛了,看见giao哥变韩剧男主角了。


话不多说,咱们直接上干货。


起猛了,看见giao哥变韩剧男主角了。不同于被放在了官网最显眼的位置的数字人相关功能,视频翻译功能需要点击 “Lab” 后,才能看到这个 “Video Translate” 。

起猛了,看见giao哥变韩剧男主角了。


操作步骤很简单,把视频拖到紫色的方框里,选好最终想要生成的语言,点击翻译。

起猛了,看见giao哥变韩剧男主角了。


原视频的语言,可以是英语、普通话、西班牙语、日语、意大利语等 18 种语言,而输出也有英语 - 美国口音、英语 - 您的口音、普通话等 15 种选择。


起猛了,看见giao哥变韩剧男主角了。这些事情做完你只需要等待就可以了,下面会显示正在翻译的进度和已经翻译好的视频。

起猛了,看见giao哥变韩剧男主角了。


不过,上传的视频还是有点讲究的。


起猛了,看见giao哥变韩剧男主角了。除了视频大小不能超过 1G 外,在上传说明里还有四个注意事项:


•尽量避免背景音乐和噪音,因为它们会降低输出音频的质量。

•尽量避免多人。

•分辨率必须介于 360x360 和 4096x4096 之间。

•持续时间必须在 30 秒到 5 分钟之间。

起猛了,看见giao哥变韩剧男主角了。


我就因为吃了没有仔细阅读上传说明的亏,白白浪费了不少时间。


就比如这个《 亮剑 》名场面,本来想看李云龙是怎么操着一口流利的英语,把那句 “Second Battalion Commander! Where's your fucking Italian cannon? Pull me here! ” 给喊出去。


起猛了,看见giao哥变韩剧男主角了。结果生成出来的视频,就跟一团浆糊似的。


虽然隐隐约约能听出二营长和意大利炮,但因为背景音实在是太吵了,总体是个失败的翻译作品。


起猛了,看见giao哥变韩剧男主角了。在吸取教训以后,我又上传了一段 1992 年比尔盖茨介绍微软时的视频。


 “ 你好,我是比尔盖茨,微软公司的董事长... ” 


大伙儿可以看看,人和声音都是比尔盖茨没错吧,口型也对得上,而且毫无 ps 痕迹。


起猛了,看见giao哥变韩剧男主角了。这字正腔圆的普通话,比尔盖茨来了都得直呼好家伙。


如果营销号想转发类似的视频的话,世超在这儿可以提供一个标题思路好吧:《 震惊!比尔盖茨的祖籍竟然在中国 》。


接着,我们又翻译了一个马保国马老师的视频。


HeyGen 嘎嘎一顿输出,马老师直接从中国人变成大佐。


一口板正的日语再加上马老师的脸,不认识马保国老师的人可能真就以为是原视频,这说不清道不明的适配感让世超觉着,这味儿终于对了。


起猛了,看见giao哥变韩剧男主角了。而除了马老师外,我们又找了两位互联网土味顶流, giao 哥和奥利给大叔。


没听过 giao 哥讲韩语的友友们,有福了。


略微煽情的 bgm 再配上自带氛围感的韩语,韩剧味儿也太冲了。


有不信的差友可以把屏幕遮住再听一遍,特别是翻译过后, giao 哥的声音好像自带韩剧男主光环。


起猛了,看见giao哥变韩剧男主角了。家人们谁懂啊,看哭了。。。


而奥利给大叔那边,换上日语之后也是相当对味儿。


本来奥利给大叔之前就被不少人误会是日本人,这下可能更说不清了。。。


这又是 giao 哥,又是奥利给大叔、马保国,说一句土味顶流出国团建名场面,应该没人反对吧?


起猛了,看见giao哥变韩剧男主角了。可没等我高兴两分钟, HeyGen 马上就翻车了。。。


昆汀这个 “nb” 名场面,大伙儿应该不陌生吧?


因为是多人视频,在上传之前我们猜想过可能会有一些穿帮镜头,结果出来后,在视频的前半部分除了昆汀的脸变形以外,其他的也还凑合。


最大的问题是,到 “nb” 的时候, AI 没翻译出来。


也就是说, AI 理解不了 “nb” 是啥意思,


要是放在大语言模型的测试上,连 “nb” 都不懂,世超真的会怀疑这个 AI 的聪明程度。


起猛了,看见giao哥变韩剧男主角了。不过,这次的小插曲也让我们意识到, HeyGen 或许并没有想象中的那么强大。


后面的几次测试中,像嘴巴变形穿帮、语义理解不到位的问题经常会出现,特别是翻译内容的质量上, HeyGen 的表现的确算不上惊艳。


还有完颜慧德老师的 “ 安分守己 ” 名场面,试过之后也翻车了。。。


但不管怎么说,人家毕竟还是个 beta 测试版,现阶段 HeyGen 呈现出来的效果,我暂时还没在其他家的 AI 产品上见到过。


起猛了,看见giao哥变韩剧男主角了。根据推特一位博主( Gorden _ Sun )的说法,要完成像 HeyGen 视频翻译这样的功能,市面上也有可替代的开源方案。


比如语音转文字的 whisper 、翻译文字的 GPT 、声音克隆 + 生成音频的 so-vits-svc 还有生成符合音频嘴型视频的 GeneFace++ 。


相比之下, HeyGen 虽没有公开具体的技术,但它胜在提供了一套完整的解决方案。


要知道,我们曾经为了克隆 B 站世超的声音,光是训练,就花了一个多晚上。


而 HeyGen 的出现把门槛一再压低,半小时就能给你一个声音、人脸、口型全都对得上的视频。


起猛了,看见giao哥变韩剧男主角了。最后,我们还用 HeyGen 把差评君 8 周年的视频翻译成了英文版。


这么一看,感觉以后差评君的视频出海都不愁翻译了 ~ 


总而言之,如果严格按照上传说明执行, HeyGen 现阶段还是挺能打的。甚至有网友担心 HeyGen 的出现,会直接影响到配音演员的饭碗。


不过,相比担心失业,我们反而更关心这种技术如果被用来骗人会怎么样?


熟悉的脸,熟悉的声音,完全陌生的话语。


起猛了,看见giao哥变韩剧男主角了。盲猜一波,光是文章里放出来的几个视频,就能骗到不少人。


就比如上边儿比尔盖茨说中文的视频,你发到网上再配文 “1992 年的比尔盖茨已经学会了说中文 ” 。

起猛了,看见giao哥变韩剧男主角了。


一些不经常在网上冲浪的人看了之后,不加验证地进行传播,谣言不就这么起来了。


现在大伙儿图个乐当然无伤大雅,但谁也不敢打包票如果哪天这些视频被恶意篡改之后,会造成什么样的后果。


起猛了,看见giao哥变韩剧男主角了。所以世超对于 HeyGen 这种视频翻译的技术,还是持观望的态度。


新技术带来的,究竟是生产力的解放,还是潘多拉魔盒,就交给未来去评判吧。


撰文:西西   编辑:江江&面线   封面:萱萱


图片、资料来源

HeyGen 官网、 YouTube 、抖音、 X ( 推特 )、B站


本篇文章来源于微信公众号: 差评 喜欢可以搜索关注!

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: