一天时间完成3D数字人的克隆和交互

想着给自己的老家平遥古城整一个漂亮的3D数字人出来介绍古城的情景，就花了点时间用一天时间完成整个过程。

整个过程基本都是借用AI完成。

1.   用GPTs中的Midjourney 咒语大师写一段生成美女头像的提示词的文案
   

   https://chat.openai.com/g/g-ayWu1l595-midjourneyzhou-yu-da-shi

   我的问题：

   我需要一张主播形象，穿着正装的，背景是纯色的，不要其它道具的，主播形象是现代中国美女，年龄20岁左右，全身照片，头发不要挡脸。

   咒语大师生成的提示词：

2. 稍微修改上面的提示词复制到Midjourny，生成下面的图像

3. 选择第一张图片，然后利用前面文章提到的方法分别生成它的侧视图和背面图。这里我为了加快速度，这一步也可以略过，如果需要更准确的头部，建议还是慢慢生成一下。

4. 打开Blender，利用FaceBuilder插件生成真人头部。具体过程前面文章也有详细讲过，这里也不再细说。这一步重点是对贴图的二次优化，非常花时间。

5.  在Blender中，找一个之前的身体和发型部分合起来。

6. 利用插件FaceIt做脸部52个形态键，这一步最好分离眼睛、牙齿和嘴巴，嘴巴记得要从中间分开。

7. 开始做骨骼绑定。为了后续的动作，个人比较推荐用CC4做骨骼绑定，当然可以选择mixamo.com或者ARP插件，都非常好用的。绑定后还得继续导入Blender中，把CC4中的FBX动画跟人物匹配后导出为FBX格式。人物模型导出为GLB格式。

8. 把模型和动画放入之前做好的代码中，网上下载了一个古城的图片，放入https://magnific.ai/中进行高清处理，作为整个场景的背景图。

加入数字人：

9. 加入语音交互，接入大模型正常聊天。所有图片、人物动作都有AI生成或修改。

这样就完成了整个3D数字人的克隆和交互。整个过程只花了一天的时间。这样就完成了年前的计划之一。

其中很多步骤我这里简单略过，等有时间了说不定会出教程。

目前代码全面支持VUE3+Threejs 和React+ Threejs+ Drei两个版本，已经完全满足数字人克隆、IP形象定制、自定义知识库、声音克隆、实时语音聊天等常用AI功能。

接下来会把这个跟我的元宇宙项目整合在一起，预计下周完成。

项目可以长期合作，欢迎来聊。

扫码加入星球后可添加作者微信

关于作者