- A+
在元宇宙打造一个属于自己的“数字人”
配图:超写实数字人张大胜
未来降临 数字人元年
元宇宙毫无疑问是这二年最热的词汇,到底什么是元宇宙?新事物出现初期总是有不同的声音,每个人都从自身的领域角度给其定义,因此流派众多,呼声比较高的有数字平行世界、虚拟世界等,有些甚至弄的玄乎其玄、云里雾里。
直到WEB3.0的提出,元宇宙立刻清晰明了,我理解的元宇宙非常简单:3D的互联网世界。
这个3D互联网世界元宇宙可好玩了,相信大家都看过《头号玩家》,未来真实的元宇宙会比这个更丰富、更重要,很多人的工作和学习都会在元宇宙进行。几乎人人都会进入元宇宙,就像现在人人都有一部手机、一个微信一样,手机是硬件,微信是你在数字世界的代理角色。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-ccc64142d38d50a0a220d48576646325.png)
《三体》从物理维度描述过宇宙可能存在多维生命体,众所周知我们的世界是三维的,一维、二维也可能有生命,比我们更高的四维、五维同样也会有生命。
我们现在的微信等社交工具实际上就是在二维的数字世界,3D电影同样也是二维的伪三维,视频是由一张张照片组成的,以每秒24-150帧的连续展示产生时间流动让我们感受动态发生。
你无法进入到你看到的电影里,就像你无法进入课本的插图里一样。
通过CG(Computer Graphic计算机图形学)技术创造出来与人类形象接近的元宇宙数字人有二种:虚拟数字人、代理数字人。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-193c1a45467ce23915d2c7eb122bf9c0.png)
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-4a25490143d25c2e7ef9f8c91cf682df.png)
怎样分清这二者之间的区别?
虚拟数字人的身份是虚构的,它在现实世界中根本不存在。
代理数字人指在物理世界有真实身份的数字世界映射数字人,你也可以理解为分身,你的微信号就是你在数字世界的代理,你的微信名称和头像代表着你,你发表的一言一行都代表着真实世界你的所感所想。
张大胜就是一位代理数字人,作为首位数字人设计老师;他的物理本体早在2016年起就在双一流大学教授CG艺术设计、互动多媒体等相关课程;
带领不同团队创作过许多数字艺术作品,获得过Golden Lion Award、iF、reddot等数十项国内外大奖。
这一次创新的使用元宇宙分身数字人教大家轻轻松松学会设计数字人,听起来很科幻。
虚拟数字人产业链分为基础层、平台层、应用层,提供软硬件支撑的叫基础层;供制作及开发提技术的叫平台层;为应用领域提供解决方案的就是应用层,设计属于应用层。
根据不同的基本功能和应用场景,虚拟数字人可以分为服务类型和身份类型。
服务类型的虚拟数字人可以提供服务并具有可以代替真实人执行任务的功能,例如虚拟主播、虚拟讲解员、虚拟陪伴等。
身份类型例如虚拟IP、虚拟偶像,她们在现实世界中没有匹配的真实人物,其外观特征、基本人体参数、各种偏好、背景信息等都是根据人设定位杜撰出来的,虽然以人为的方式运行,但实际幕后人员与虚拟IP本身没有等号般的联系。
目前国内主要集中在这个方向发展,像柳夜熙、阿喜Angie、AYAYI、翎_Ling等。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-55f80bc262326db16cc6ab75fd0f5f87.png)
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-d1f2ff860f8529a27c412d47b2f642ef.png)
随着WEB3.0、元宇宙的运用落地,不仅仅耐克、LV等国际品牌建立了自己的元宇宙商店售卖NFT;
国内各大品牌也都都开始打造自己品牌的专属虚拟数字人,周冬雨、迪丽热巴等明星们也纷纷推出自己的数字人分身,将演艺事业由物理世界延展到数字世界,一场浩浩荡荡的数字人大进化浪潮正扑面而来。
2023年将会迎来第一个高速发展阶段,种种数据表明可能会出现数字人元年的迹象。对作为未来量级最大的元宇宙世界代理数字人的研究和运用才刚萌芽,目前国内专项研究这个领域的专家屈指可数。
![](/wp-content/uploads/2024/02/wxsync-2024-02-b40a234b96a93dba0247f0343914b2fe.jpeg)
点击图片 99元即可学习制作一个以自己为模型的数字人
第一次做自己的上帝感觉怎样?
欢迎来到人类数字生存的新形态元宇宙世界,在元宇宙人人都需要一个代理数字人,这个人可以长得像你,也可以长得像你理想中的自己。
在物理世界你的相貌受之于父母的DNA,你无法选择只有接受,无论你是有神论还是无神论者这都是你的命。
但在元宇宙世界,人类第一次感受到自己做主自己长什么样子,可以把所有想要都叠加到自己的数字人身上都可以,你可以像天使一样真的长出翅膀,也可以像魔鬼一样长个尾巴……只要你高兴就可以随心所欲。
正如佛家所言“凡所有相,皆是虚妄。若见诸相非相,则见如来。”之我像非我意境。
WEB3.0的到来标志着人类在数字世界中的活动从二维进化到三维,在三维数字世界元宇宙的社交场面你会看到有2D的数字人、有3D的数字人、也有介于二者之间的2.5D数字人。
我们以新的数字身份进入到数字场景中,通过社交互动产生新的社会关系,这将诞生出新的数字文明。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-d1f2ff860f8529a27c412d47b2f642ef.png)
三招轻松学会数字人
第一招 扫出相识度100%数字人模型
既然是3D,就需要有一个三维的数字模型。建立三维模型方法有二种:使用三维建模技术制作生成,传统的如使用MAYA、ZBrush等,要求设计者具备一定的三维软件技术,没有一年以上的专业训练根本达不到随心制作的水平。
扫描建模技术这二年发展迅速,主要有静态扫描建模和动态光场重建。
静态扫描建模大家很好理解,也是3D扫描基础版技术,动态光场三维重建技术就高阶了,不仅具有高视觉保真度,还可一次性获取动态的人物模型数据,也就是建模动捕一体完成。
静态扫描建模技术可分为结构光3D扫描技术、激光3D扫描技术、照片合成建模技术(相机阵列扫描)、TOF飞行时间3D扫描建模技术。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-1d4295131688b7387472abdeef8a1f01.png)
随着智能手机的性能不断升级,伴随出现了一系列轻量级的3D扫描软件,如Polycam、3dscannera,这些软件不需要昂贵的设备,安装在具有摄像头的智能手机上即可实现媲美几十万乃至上百万的3D扫描仪。
结构光通过投影,将有纹理的光线投射在物体表面,然后通过摄像头捕捉纹理的畸变来计算物体xyz轴信息,来推算整个物体的表面结构。
激光扫描的原理是通过点状激光投射到物体表面,然后通过两个摄像头捕捉到光线返回时间来推算物体表面到两个镜头的距离,然后推算物体表面xyz信息,来推算物体表面结构。
相机阵列扫描大家在电影里看得比较多,国内游戏、电影、传媒等大部分也是这种技术,虽然目前可实现毫秒级高速拍照扫描,就是费银子,动不动上百台相机确实……
![](/wp-content/uploads/2024/02/wxsync-2024-02-b40a234b96a93dba0247f0343914b2fe.jpeg)
点击图片 99元即可学习制作一个以自己为模型的数字人
第二招 模型瞬间激活变身超写实数字人
即使没有订阅课程,单看过课程预告片的小伙伴都被吓一跳,真实到每个毛孔都清晰,每根头发都自然飘动。当亲眼目睹一个数字的你从模型突然“活过来”是怎样的感觉?惊艳到没有?
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-37a8f17ab77d0f7f4aa06811c30223e4.png)
皮肤和光感的真实性是超写实数字人最重要的事情。当通过不同的设备建立模型、记录下动作数据之后,还需通过渲染引擎,对皮肤、毛发、衣物等细节进行还原。
基于物理的渲染技术PBR(PhysicallyBased Rendering)的进步以及重光照等新型渲染技术的出现使数字人皮肤纹理变得已经非常真实。
我们现实世界很多技术的进步都是基于战争而催化发展的,从引擎性能上来说,游戏领域的渲染引擎渲染效果最好,没想到数字世界和物理世界在这个方面如此一致。
常见的几款 3D 引擎有Unreal Engine, CryEngine, Unity 3D,在这里我推介真实性和实时性均有大幅提升的Unreal 和 Unity 渲染引擎。
Unreal Engine 5 采用了全新的光照模型,它可以更好地捕捉和呈现光线的散射和反射,从而使场景更加逼真。全新的材质系统它可以使材质更加逼真,并具有更强的可编辑性。
本人认为最强的是它的物理引擎,不仅可以使物体的运动更加逼真,同时也支持多种物理运动。因此称UE为数字世界的造物神也不为过。
虽然超级厉害,但在性能、可用性和易用性方面优于其它软件,显著简化数字人开发过程和增强逼真效果。
![](/wp-content/uploads/2024/02/wxsync-2024-02-b40a234b96a93dba0247f0343914b2fe.jpeg)
点击图片 99元即可学习制作一个以自己为模型的数字人
设计数字人的同时,如何设计一个IP所需要的服装服饰等资源也是同样重要的。
在每一个鲜活的数字人IP形象塑造过程中,都需要有丰富的服饰资产加入,特别是女性角色。
良胜数字的数字服装设计部在服装设计大师祁刚的指导下创意旺盛,早已突破羽绒质感和机械、游戏服饰的概念,不仅可以制作丝绸等高难度的材质,款式上更是原创时尚;
数字服装解算能力更是首屈一指,使得配合在数字人物运动更加逼真,率先运用参数化设计、动力学设置使得每一块面料都具备质量、重力、柔软度、密度等物理属性,承接广州时装周、上海时装周等大秀。
这么综合能搞得吗?不用担心,虽然是零基础版本,张大胜同样也是必要的也都给到大家,在课程详细教学了给数字人化妆、做头发、选衣服等脸以外的技巧。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-cb857aa86bd7d79ccfe14bfd8f890c10.png)
超写实数字人的IP设计
第三招 虚实合体 言行合一视频实时动捕
有了模仿真实的皮肤、发型、服装之后,真实感的一言一行就成为最后的大招了。
数字人作为我们的代理身份参与数字世界的社交,就需要和我们一样拥有喜怒哀乐,以及丰富的情感表达。
因此通过对表情的捕捉,让数字角色能够做出像真人的基本动作,是做一个超写实数字人最核心的技术。
因其真实性强,动作流畅等原因成为3D 数字人动作生成的主要方式。
动作捕捉系统根据实现原理的不同,可以分成光学动作捕捉、惯性动作捕捉、Track 设备+IK 算法的动作捕捉、以人工智能为主的动作捕捉方案。
现阶段,光学式和惯性式动作捕捉占据主导地位,需要高昂的专业设备,光学动捕棚基本都在百万+。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-40c533d96deb27f6dccf8508a2d75a2b.png)
配图:表情捕捉
动作捕捉迁移、AI智能合成是目前二大主流方式,底层逻辑类似均建立在输出音频与输出视觉信息的关联映射,主要有下面三种驱动方式:
1)视频算法训练:通过2-5分钟的视频和语音分析采集语音和嘴型数据进行A I模型训练,然后得到一个输入任意文本均可驱动嘴型的模型。去年抖音非常火的AI虚拟人为这个类型。
2)语音自动识别:对语音进行标注,绑定数据与动作,使得数字人对特定词语或语境做出相应动作。以英伟达黑科技Audio2Face为代表。
3)动捕设备采集:阿凡达采用的技术,在模型上建骨骼绑定,脸部建立52个以上表情点,真人穿戴动捕设备,动捕设备与真人肢体动作相绑定,实时传递到数字人身上,并保存动捕数据,数据不仅可以用在原模型上,也可以套入其它类似的数字人身上,高手也可通过调整修复技术可以用在非类似数字人。
个人前几年就比较倾向于基于手机或电脑摄像头的计算机视觉动作捕捉,理由是一项技术要普及必须具备三个特点:价格低、易得到、容易用。从2023年发展态势来看这项技术俨然成为聚焦热点。
在《张大胜超写实数字人实训课》零基础版里我们教大家利用手机就能做的脸部实时同步动捕技术,
并可以此为每个数字角色定制专属的表情,使她们模仿表演者的表情过程中,呈现出来独一无二的真实表情,这一切简单易学不仅实用,而且表情丰富和你一模一样。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-8eae0e6c638bfe55bf80ccea24575aa1.png)
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-f5812f51a731634e4809dcdfb60dd929.png)
在进阶版课程里我们教大家如何做骨骼绑定和设52个表情,有了这些骨骼绑定和表情设置点,你可以简化到调节按钮就能生成丰富的表情,还可以实现《阿凡达》级别的电影级动捕链接。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-d12197e4a694ac0401f7ea7770b919fc.png)
配图:实时捕捉真人表情
元宇宙人人都有自己的代理数字人
当我们流程化的掌握了不同技术的数字人创作技术后,我们又进一步思考,如何能够低成本设计出虚拟人?让人人都可参与元宇宙之中。
通过与英伟达、浙江大学实验技术团队长达一年的合作中,我们开发了依托图形图像算法优势来进行AI叠加,我们打造出一套简单版“数字人+”实训方案,不仅让人人都可以拥有自己的数字人,甚至还可以把它做成IP。
![在元宇宙打造一个“数字人”自己](/wp-content/uploads/2024/02/wxsync-2024-02-d1f2ff860f8529a27c412d47b2f642ef.png)
配图:代理数字人
我们都知道构成「元宇宙」的基石是数据,设计师的任务是将通过数据可视化的技术,将「元宇宙」从抽象的概念呈现为不仅视觉感官真实乃至触觉可感知的场景。
物理世界中的物理对象、对象之间的相互关系,都在这个数字化世界的空间里被一一映射,你可以理解为数字平行宇宙。
以数字为原料缔造的数字IP(Digital Intellectual Property)数字人作为元宇宙中重要的一个环节,正在成为新时代下具有长期生命力和商业价值的内容载体。
数字身份、数字人是元宇宙世界中链接一切的起点,我们的代理数字人形象被创造,如真实的人类被用户熟知、被朋友熟知、被同事熟知,他们拥有一切真实的社交行为。设计师们在其中不断探索着数字形象与人类行为的映射关系,为数字身份提供多样的表达方式。
你,想知道如何去拥有一个你真正可以随性定义的自己了吗?
点击图片 99元即可学习制作一个以自己为模型的数字人