SONY

mocopiについて

モーションキャプチャーは、現実の人物や物体の動きをデジタル化してコンピューターに取り込む技法のことです。
これにより映像制作の現場では、CGキャラクターの動きをより人間らしくリアルに再現することができます。
すでにソニーグループでも、映画・アニメ・ゲームなどのコンテンツで幅広く活用しています。

一般的なモーションキャプチャーは、多数のカメラを設置するためのスタジオ設備と、タイツのような全身スーツや多数のマーカーを身に付ける必要があります。
これに対し、小型軽量センサーのみでモーションキャプチャーができる新技術を実現しました。これが「モバイルモーションキャプチャー」です。
この技術により、屋内外どこでも普段着のままで、手軽に人の動作をデジタル化してCGキャラクターに反映できるようになります。

ソニー独自のモーションキャプチャー技術で、頭・腰・両手・両足の6か所に装着したセンサーのデータから、全身の関節の位置・姿勢が推定できます。

(1) 加速度センサー・ジャイロセンサー
(2) 関節姿勢
(3) 関節位置

  1. 人の動きによって生じる加速度や角速度をセンサーで検知することで、3次元の位置・姿勢が計算されます。
  2. AIを利用して人の様々な動作を予め学習させておくことで、センサーを装着していない肘や膝などの中間関節を含めた全身の推定を実現しています。

少数のセンサーで、全身の3次元位置・姿勢を推定する仕組みを説明します。
モーションセンシングとAIを駆使することで、モバイルモーションキャプチャー技術を実現しています。

STEP1:センサーを装着している手や足などの基点となる関節位置を推定

  1. 加速度センサー・ジャイロセンサーで人の動きをデータ化
  2. 積分計算
    一般的に3次元位置を求めるためには、加速度データを積分計算します。しかしそれだけでは位置誤差が蓄積してしまうという問題があります。
  3. AIモデルにより関節位置を推定
    ソニー独自のAIモデルによって直接的に関節位置を推定し、位置誤差を補正します。
  4. 基点の関節を推定

STEP2:センサーを装着していない肘や膝などの中間の関節位置を推定

  1. 中間関節の位置・姿勢を幾何計算
    センサーを装着した特定の2か所を結ぶ中間関節の位置・姿勢は、単純な幾何計算では一意に定まらないという問題があります。人体の構造が複雑で、関節の自由度が高いからです。
  2. AIモデルにより関節位置を推定
    人の様々な動作を学習させたAIモデルによって、関節位置の自然な補間を行います。
  3. 全身の関節位置を推定