- A+
想着给自己的老家平遥古城整一个漂亮的3D数字人出来介绍古城的情景,就花了点时间用一天时间完成整个过程。
整个过程基本都是借用AI完成。
-
用GPTs中的Midjourney 咒语大师写一段生成美女头像的提示词的文案
https://chat.openai.com/g/g-ayWu1l595-midjourneyzhou-yu-da-shi
我的问题:
我需要一张主播形象,穿着正装的,背景是纯色的,不要其它道具的,主播形象是现代中国美女,年龄20岁左右,全身照片,头发不要挡脸。
咒语大师生成的提示词:
2. 稍微修改上面的提示词复制到Midjourny,生成下面的图像
3. 选择第一张图片,然后利用前面文章提到的方法分别生成它的侧视图和背面图。这里我为了加快速度,这一步也可以略过,如果需要更准确的头部,建议还是慢慢生成一下。
4. 打开Blender,利用FaceBuilder插件生成真人头部。具体过程前面文章也有详细讲过,这里也不再细说。这一步重点是对贴图的二次优化,非常花时间。
5. 在Blender中,找一个之前的身体和发型部分合起来。
6. 利用插件FaceIt做脸部52个形态键,这一步最好分离眼睛、牙齿和嘴巴,嘴巴记得要从中间分开。
7. 开始做骨骼绑定。为了后续的动作,个人比较推荐用CC4做骨骼绑定,当然可以选择mixamo.com或者ARP插件,都非常好用的。绑定后还得继续导入Blender中,把CC4中的FBX动画跟人物匹配后导出为FBX格式。人物模型导出为GLB格式。
8. 把模型和动画放入之前做好的代码中,网上下载了一个古城的图片,放入https://magnific.ai/中进行高清处理,作为整个场景的背景图。
加入数字人:
9. 加入语音交互,接入大模型正常聊天。所有图片、人物动作都有AI生成或修改。
这样就完成了整个3D数字人的克隆和交互。整个过程只花了一天的时间。这样就完成了年前的计划之一。
其中很多步骤我这里简单略过,等有时间了说不定会出教程。
目前代码全面支持VUE3+Threejs 和React+ Threejs+ Drei两个版本,已经完全满足数字人克隆、IP形象定制、自定义知识库、声音克隆、实时语音聊天等常用AI功能。
接下来会把这个跟我的元宇宙项目整合在一起,预计下周完成。
项目可以长期合作,欢迎来聊。
扫码加入星球后可添加作者微信
关于作者