数字栩生通过索尼空间现实显示屏实现裸眼3D数字人人机交互
合作伙伴简介
作为领先的智能数字人解决方案服务商,数字栩生凭借自研的光场重建核心技术和数字人AI小脑技术,可为用户提供业内顶尖的数字人底层技术支持。
面临的挑战
- 人物不够立体:传统的2D显示方式,现有数字人的呈现相对扁平
- 无法裸眼观看:观众需要借助特殊的眼镜或其他VR外设才能看到立体3D的数字人效果
- 临场感不够强:2D展示空间感有限,画面景深不足,缺乏场景感
- 互动上有局限:被动的等待人下达指令,并作出单一的响应,无法进一步与人交互
解决方案
数字栩生交互型裸眼3D数字人解决方案,利用索尼空间现实显示屏,虚拟与现实的碰撞,软件与硬件的结合,让数字人栩栩如生的同时赋予数字人新的生机,让人机交互变得更简单,可广泛应用于教育、医疗、娱乐、汽车、航空等领域。
成果
- 超写实人物:相较于普通显示屏,索尼空间现实显示屏三维空间感更强,具备4k高分辨率、结合实时渲染算法,能够更加清晰的展示虚拟数字人的皮肤纹理,表情神态、服装材质等细节,使数字人更加逼真。
- 裸眼效果好:索尼的空间现实显示屏的微型光学透镜,可将图像分为左右眼,使观看者无需佩戴特殊的眼镜或其他VR外设,在裸眼状态下即可看到立体3D效果的数字人。
- 超强氛围感:索尼空间现实显示屏非常适合舞台,设备兼具空间感和场景感,结合超写实、智能化的数字人,给用户带来新奇视觉体验的同时,也能通过一系列的人机交互方式,活跃现场氛围。
- 交互更自然:索尼的高速视觉传感器可毫秒级捕获眼球的运动,当观看者移动头部时,图像将同步转换方向。再结合数字栩生的AI小脑技术,用户可与数字人进行对话,形成一种全新的交互方式,极大提高用户体验。
“索尼空间现实显示屏赋予数字人新的生命,它能生动细腻的展现数字人的一颦一笑,让真实跃然纸上,让陪伴唾手可得。”
--北京理工大学光电学院研究员、博士生导师、数字栩生联合创始人兼CTO翁冬冬
真实就在眼前
数字栩生利用独家的表情捕捉采集系统进行演员形象采集,再通过先进的计算机图形学技术对人物的外貌、肤质、表情、服装等进行准确还原,同步建立新型数字资产,包括静态、动态的外貌重建。在这一系列的技术加持下,可让数字人从“外貌”到“灵魂”都更真实。
结合索尼空间现实显示屏裸眼立体成像和眼感应光场显示技术,能够更加凸显数字人“超写实“、“高逼真”、“实时化”的特点,使数字人角色和数字资产栩栩如生。而且显示屏使用起来也非常简单,它能自动找到观看者脸部,定位观看者眼睛,并为观看者提供清晰、简洁的图像,让数字人看起来真实且毫无距离感,如此一来,观看者裸眼就能获得强烈的3D实物体验感。
创造更丰富的人机交互
交互型裸眼3D数字人解决方案不仅仅是数字人的呈现方式的升级,更重要的是它能够为用户带来更加丰富的人机交互体验。传统的数字人互动方式多为单一的指令响应,用户只能通过有限的选项与数字人进行交互。而数字栩生的AI小脑技术可实现更加智能、自然的人机交互方式。例如,数字人可以识别并理解用户的语音指令、身体语言等,并根据不同情境做出不同的反应。
结合索尼的空间现实显示屏,数字人的动作、表情等都更加真实、逼真,数字人与用户之间的互动也更加自然、流畅,让用户拥有与真实人物交互的体验。
让数字陪伴更进一步
此次数字栩生与索尼深度合作,使数字人角色和数字资产栩栩如生的同时它也提供了一种全新的方法来可视化概念和角色,从而使用户与数字人之间的交互变得更加容易。
真正的数字人不只是“超写实”,更重要的是“有温度”。 一方面,数字栩生利用AI大脑和AI小脑的技术结合,为数字人“注入”情感,实现基于深度学习的个性化数字人动作表情自动生成,为人机交流提供更自然的交互体验。另一方面,结合索尼空间现实显示屏轻巧便携的特点,可以有非常丰富的应用场景,交互型数字人配合索尼空间现实显示屏不仅可以放在展示陈列柜上,还可以放在公司或家里的办公桌上。只要有需求,随时随地开启和数字人之间的沟通交流,丰富日常生活,使数字陪伴成为现实。
广泛应用于不同领域
交互型裸眼3D数字人解决方案可应用于众多领域,例如教育、医疗、娱乐、汽车、航空等。在娱乐领域,可用于数字娱乐、虚拟演唱会等活动,为用户带来身临其境的体验。在教育领域,可应用于虚拟教学、交互式学习等领域,提高学生的学习效果并增强教学趣味性。在医疗领域,可用于医学培训、手术演示等领域,为医疗从业者提供更加真实的手术体验以及更有效的术后复盘。在汽车、航空等领域,可用于虚拟试驾、飞行培训等领域,提高试驾、飞行安全性和效率。