SONY

关于mocopi

动作捕捉是一种将真人或实物的动作数字化并导入计算机的技术。
借助此技术,可在视频制作中使用计算机生成的角色,重现更逼真、更人性化的动作。
此技术已广泛应用于Sony Group的电影、动画和游戏内容中。

典型动作捕捉需要演播室设施安装很多摄像机,需要演员穿着紧身全身套装,身上附有很多标记。
相比之下,我们已实现一项新技术,只需使用小型轻便传感器即可进行动作捕捉。我们称之为“便携动作捕捉系统”。
借助此技术,可轻松将身着便装的人的动作数字化(无论在室内、室外或任何地方),并将动作应用到计算机生成的角色中。

借助Sony独特的动作捕捉技术,可使用头部、腰部、手部、腿部的六个传感器采集的数据,估算身体各关节的位置和姿势。

(1)加速度计和陀螺仪传感器
(2)关节姿势
(3)关节位置

  1. 通过检测人体运动的加速度和角速度,计算三维位置和姿势。
  2. 借助人工智能(AI),预先对系统进行各种人体动作训练,实现全身估算(包括肘部、膝部等未安装传感器的中间关节)。

本节介绍仅用几个传感器对整个人体的三维位置和姿势进行估算的机制。
“便携动作捕捉系统”技术通过有效利用动作传感和人工智能而实现。

步骤1:估算关节位置(此类位置用作连接传感器的手、腿等部位的参考点)

  1. 使用加速度计和陀螺仪传感器,将人体动作数字化
  2. 积分计算
    通常,使用加速度数据进行积分计算,可找到三维位置。然而,仅使用此方法会出现一个问题:位置误差会累积。
  3. 使用AI模型估算关节位置
    Sony独特的AI模型可直接估算关节位置并纠正位置误差。
  4. 估算参考关节

步骤2:估算中间关节(例如肘部、膝部等未安装传感器的部位)的位置

  1. 对中间关节的位置和姿势进行几何计算
    存在一个问题:无法通过简单的几何计算,确定中间关节(连接安有传感器的两个特定位置)的唯一位置和姿势。这是因为人体结构复杂,关节自由度高。
  2. 使用AI模型估算关节位置
    使用经各种人体动作训练的AI模型,执行关节位置的自然插值。
  3. 估算全身关节位置