作品名：ミクと決めポーズ！

クリエーター名：アキヒロ

SNSアカウント：Twitter @akihiro01051

株式会社ホロラボ所属のエンジニア　Microsoft MVP
仕事、趣味を問わず AR/VR/MR で新しい体験ができるコンテンツを開発、情報発信しています。 特に趣味ではキャラクター、アートを利用したアプリなどを開発、公開しています。
https://akihiro-document.azurewebsites.net/

Q1) 作品のコンセプト、見どころを教えてください。

「ミクと決めポーズ！」は体験者と初音ミクさんが一緒に決めポーズを作ってもらうコンテンツです。ミクさんはマジカルミライでの決めポーズを一緒に考えてほしいみたいなので、決めポーズを見せてあげてミクさんに似たポーズを考えてもらいます。

イベント内での展示の短い体験時間でミクさんと一緒に何かを創ってもらいたいと思い、決めポーズを創ってもらうアプリになりました。ストーリー形式で会話を進めながら、歩き回ったり、ポーズをとったり、考えてくれるミクさんを見ることができます。

体験者のポーズはSRD上部のWebカメラから両手を検出してポーズを認識できるようになっています。ポーズは片手。両手で合計20種類以上を認識できるようになっているので好きなポーズをミクさんに見せてあげることができます。

Q2) クリエーター（開発者）視点で特に工夫した点、こだわった点など教えてください。

「ミクと決めポーズ！」ではミクさんに決めポーズを見てもらうために。Webカメラによる両手のハンドトラッキングを行っています。Webカメラの両手のトラッキング情報から手の形状と全体のポーズの判別を行っています。SRDの上部にWebカメラを設置することで、ミクさんに見せるようにポーズをとってもらう体験ができるようになっています。ポーズ判定は両手、片手、手の裏表、どの指が曲がっているかまで判別してします。認識された手は白い点で確認できるようになっています。

白い点がとてもうまく表現されていて、こちら側の現実の動きと画面の向こう側のバーチャルのつながりにとても効果的だと思いました。この表現がひとつあるだけで、とても自然にポーズをとって楽しむことができます。どこでポーズをとればいいのかもわかるので、画面を邪魔せず自然に最適な遊び方ができると思います。

SRDの立体視ができる体験とミクさんの全身の動きと、両手のポーズをそれぞれ見えるように、俯瞰カメラと顔付近のカメラを切り換えています。俯瞰カメラでは部屋やミクさんの全身を使ったモーションが立体的に感じられるように配置しています。顔付近カメラではミクさんの上半身の立体感や、決めポーズのわかりやすさを重視しています。

「画面の切り換え」のカメラアングルもうまいと思いました。最初に全身のミクさんを登場させて、次に上半身になる、SRDで表現したいことを両方盛り込んできたのもさすがだなと感じました。

ミクさんのすべてのモーションは人間らしい自然なモーションを目指して、自作のモーションキャプチャーシステムを用いて記録、編集して組み込んでいます。これにより両手、片手のポーズモーションから椅子から立ち上がって会話を始めるモーションなどを準備しました。

自作のモーションキャプチャなんですね！実は今回こちらからはミクさんの「CGモデルデータ」だけ提供して、それ以外の動きやモーションはクリエーターの方が独自につけて動かしているのですが、ミクさんの動きの自然さ、バリエーションにかなり驚かされました。

Q3) SRDを使いこなす上でのコツがあれば教えてください。

SRDは顔の位置に追従する形でアプリ内のカメラも移動します。このとき現実の顔の移動距離がそのままアプリ内で反映されます。3Dオブジェクトのスケールが大きすぎたり、小さすぎたりした場合、見え方に違和感を感じる原因となります。どの範囲まで見えているか確認していないと見えてはいけない部分まで見えてしまったり、見せたい部分が見切れてしまう可能性があります。しっかりいろいろな角度からアプリを体験して確認することをお勧めします。

体験時にSRDのカメラの範囲にライトなどの光源があると、顔認識が正常行えない場合があります。体験する環境も含めて作り込んであげるとよりSRDが見やすく楽しい体験になります。

その他メッセージや今回のイベント参加の感想など一言あればお願いします。

学生の頃から初音ミクと技術の融合で生まれた創作を様々なメディアで見ていました。今回はSRDという最先端の空間再現ディスプレイを利用した機会をいただきありがとうございます。今後も新しい体験を創っていけるように挑戦していきます。

ありがとうございました。