一天时间完成3D数字人的克隆和交互

  • A+
所属分类:heygen ai百科

想着给自己的老家平遥古城整一个漂亮的3D数字人出来介绍古城的情景,就花了点时间用一天时间完成整个过程。

整个过程基本都是借用AI完成。

  1.   用GPTs中的Midjourney 咒语大师写一段生成美女头像的提示词的文案

    https://chat.openai.com/g/g-ayWu1l595-midjourneyzhou-yu-da-shi

    我的问题:

    我需要一张主播形象,穿着正装的,背景是纯色的,不要其它道具的,主播形象是现代中国美女,年龄20岁左右,全身照片,头发不要挡脸。

    咒语大师生成的提示词:


2. 稍微修改上面的提示词复制到Midjourny,生成下面的图像

一天时间完成3D数字人的克隆和交互

3. 选择第一张图片,然后利用前面文章提到的方法分别生成它的侧视图和背面图。这里我为了加快速度,这一步也可以略过,如果需要更准确的头部,建议还是慢慢生成一下。

一天时间完成3D数字人的克隆和交互

4. 打开Blender,利用FaceBuilder插件生成真人头部。具体过程前面文章也有详细讲过,这里也不再细说。这一步重点是对贴图的二次优化,非常花时间。

一天时间完成3D数字人的克隆和交互

一天时间完成3D数字人的克隆和交互

5.  在Blender中,找一个之前的身体和发型部分合起来。

一天时间完成3D数字人的克隆和交互

6. 利用插件FaceIt做脸部52个形态键,这一步最好分离眼睛、牙齿和嘴巴,嘴巴记得要从中间分开。

一天时间完成3D数字人的克隆和交互

7. 开始做骨骼绑定。为了后续的动作,个人比较推荐用CC4做骨骼绑定,当然可以选择mixamo.com或者ARP插件,都非常好用的。绑定后还得继续导入Blender中,把CC4中的FBX动画跟人物匹配后导出为FBX格式。人物模型导出为GLB格式。

一天时间完成3D数字人的克隆和交互

8. 把模型和动画放入之前做好的代码中,网上下载了一个古城的图片,放入https://magnific.ai/中进行高清处理,作为整个场景的背景图。

一天时间完成3D数字人的克隆和交互

加入数字人:

一天时间完成3D数字人的克隆和交互

一天时间完成3D数字人的克隆和交互

9. 加入语音交互,接入大模型正常聊天。所有图片、人物动作都有AI生成或修改。

一天时间完成3D数字人的克隆和交互


这样就完成了整个3D数字人的克隆和交互。整个过程只花了一天的时间。这样就完成了年前的计划之一。

其中很多步骤我这里简单略过,等有时间了说不定会出教程。

目前代码全面支持VUE3+Threejs 和React+ Threejs+ Drei两个版本,已经完全满足数字人克隆、IP形象定制、自定义知识库、声音克隆、实时语音聊天等常用AI功能。

接下来会把这个跟我的元宇宙项目整合在一起,预计下周完成。

一天时间完成3D数字人的克隆和交互

项目可以长期合作,欢迎来聊。

一天时间完成3D数字人的克隆和交互扫码加入星球后可添加作者微信

一天时间完成3D数字人的克隆和交互


关于作者


做一只爬的最久的乌龟,保持学习保持好奇,即使慢一点,遇到一点困难,只要最后能到达终点,又有什么关系呢。
毕竟人生没有白走的路,每一步都算数。



发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: