「マジカルミライ」クリエーターインタビュー④（最終回）
2021年11月に幕張メッセで開催された「マジカルミライ2021」企画展に、「空間再現ディスプレイ（Spatial Reality Display）」（以下SRD）を出展しました。
SRDを活用した新しいインタラクティブな体験をお届けするため、 xR/VRの業界で活躍中の6名のクリエーター様にコンテンツを制作していただき、展示を行いました。
制作したコンテンツの見どころ、制作のコツなどについて、それぞれのクリエーターにお伺いしたインタビュー記事を数回に分けて掲載します。SRDの活用方法、新しい体験の参考になれば幸いです。
今回は「みくちゅあがーでん」制作者のシロフードさんへのインタビューを紹介します。
作品名：みくちゅあがーでん
クリエーター名：シロフード
SNS アカウント： Twitter @sirohood_exp
Unityプログラマー・XRクリエイター。作りたいと思ったものを作っています。
元々業務系プログラマーで趣味でUnityを触り始め、これを仕事にしたいと思い転職。現在はVR事業部で働いています。
裸眼立体視デバイスのハッカソンで2連続優勝チームに所属していました。
他にも趣味で工作・裁縫・動画制作・デザイン・サイト制作と色々やってきたので、そろそろマルチクリエイターを名乗りたい。
Q1) 作品のコンセプト、見どころを教えてください。
コンセプトは「ミクさんを撫でることができるアプリ」
見どころは撫でた際のミクさんの可愛い笑顔です。
音声認識にも対応しており簡単な会話をする事が可能です。
3Dモデルは麻倉ましゅさんの「ましゅ式初音ミクドールモデル」を使用しています。
https://twitter.com/Emaa_msy
https://hub.vroid.com/characters/2888898209675229174/models/2008397828501282134
ありがとうございます。ミクさんと触れられる、おしゃべりできるという、まさにファンの夢をかなえた作品になったと思います。目の前にミクさんがいて自然に反応する様子にとても感激しました。
Q2) クリエーター（開発者）視点で特に工夫した点、こだわった点など教えてください。
表示について
SRD の最大の特徴である「立体的に飛び出して見える」ことを意識しました。
当初、箱庭感を出すために全身を写して小さく表示することも考えましたが、やはりなるべく大きく立体的に見せることでミクさんの3D モデルの可愛さを前面に出し、その存在感が目立つよう見た目のインパクトにこだわりました。
そうなんですよね。SRD の場合このように斜めの画面の面に交差する形で CG を置くのが一番解像感も高く、立体的に表現できます。やや上から見上げるミクさんの配置も SRD のベストの視聴ポジションと合っていて素晴らしいと思いました。
※ オブジェクトの配置については、こちらでもご紹介しています。
Leap Motion™ について
ハンドトラッキングデバイスの Leap Motion を初めて体験する方は、どこに手をかざすべきか把握できないことが多いです。
このため実際の体験者の手の位置と、手の 3D モデルの表示位置を極力合わせるようにしました。しかし手の 3D モデルが表示されたままだと没入感が失われてしまうため、手を表示した後は 3 秒ほどで手のモデルを徐々に透明にし自分の手で撫でている感覚を損なわないようにしました。
また事前に動画として体験方法を公開したことで、Leap Motion が初めての方でも手の位置を間違えることなく撫でる体験ができたと思っています。
たしかに。ジェスチャー系のインタラクションはとても楽しいのですが、初見の人にはちょっと難しい。この工夫はさすがだと思いました。最初は手の表示があるのですが慣れると自然に消えていて、ミクさんに触れている感覚だけが残るのもすごいと思いました。
Leap Motion は Ultraleap Limited の商標です。
撫でた際の挙動について
「3D モデルを撫でる」という表現は、一般的に物理演算を切ってオブジェクト同士が干渉しないよう手が頭をすり抜ける方式が多いですが、今回はPuppetMasterというアセットを使用しました。
こちらのアセットを使う事で手が頭をすり抜けることなく、手が頭に触れた際の挙動をリアルに再現できるようになりました。
こちらのアセットを使用した実装方法は自サイトで公開しているため興味ある方はご確認ください。
https://sirohood.exp.jp/20210824-4422/
音声認識について
今回実装した音声認識は自然会話が成り立つほどのものではなく、特定のフレーズに対して決められたセリフを返すものです。このため極力体験者がその決められたフレーズを言うように、音声認識が開始されるタイミングで「名前を呼んで」とガイドを出し、「ミクさん・ミクちゃん・ミク」など体験者が決められたフレーズを言うように誘導しました。
また今回は大規模なイベント会場で音声認識にはあまり向いていない環境だったため、音声認識の時間を極力少なくし、マイクのアイコンが表示されている間のみ認識する仕組みにしました。
いろいろなフレーズで違った反応をしてくれるのと、話しかけた内容で回答してくれるのが本当に楽しかったです。
インタラクティブ要素について
体験する方が見るだけ・撫でるだけといった一方通行ではなく「視線追従」「撫でたら反応」「音声に反応して返事をする」といったインタラクティブ要素を増やしました。
さらに恋愛ゲーム要素を取り込み好感度を設定。画面上に好感度ゲージを表示しました。
頭を撫でたり会話をすることで好感度をあげ、好感度が最大まで達した状態で顔を近づけるとミクさんがキス顔をしてくれる演出を追加することで時間いっぱいまで楽しめるコンテンツに仕上げました。
実装を予定していたもの
- 超音波触覚再現デバイスとの連携
- 体験者の身長に応じて3Dモデルの表示位置を自動変更
- キャラチェンジ
- 背景チェンジ
- ほっぺの柔らかさ表現
- アテンド用設定画面
次回機会があれば実装したいと思います。
Q3) SRD を使いこなす上でのコツがあれば教えてください。
- 飛び出して見えることが最大の特徴だと思います。なるべく大きく表示させましょう。
- 表示するオブジェクトは体験者の身長によって見える角度が違うため、低い位置から見上げたり高い位置から見下ろしてどちらからも見えるように確認をしましょう。
- 現実に存在しないモノを表示する方がインパクトがあります。
- パーティクルは映えるので存分に使用しましょう。
- SRD はあくまでディスプレイなので入力デバイスは何でも使えます。表示するだけではなくインタラクティブ要素を増やしましょう。
- 2D 表示が可能な撮影モードを実装しておくと動画撮影などで役立ちます。
実はこの作品は「スペースキー」を押すと 2D の表示になり、センサーで顔の追従はするのですが表示は2Dで描画するようになっています。このモードを用意すると撮影時に二重像にならずに撮影することができるので、撮影用のモードとしてよさそうですね。
体験者が立体的に見える立ち位置は個人差があるようです。
デバッグで知人に体験をしてもらった際、画面から 50cm 程の距離では立体感が無く、1m ほど離れた方が立体感を感じるという方が数名いました。
もしかすると3D オブジェクトを飛び出し過ぎると視力が弱い方には焦点を合わせるが大変なのかもしれません。
動作確認する際はなるべく大勢に確認してもらう方が良さそうです。
その他メッセージや今回のイベント参加の感想など一言あればお願いします。
初音ミク発売当初「技術凄い！」で興味を持ちボカロを聴き始め、マジカルミライには2014年から毎年参加していました。当時の自分には何の技術もありませんでしたが、今回 SRD を使用した自分の作品を展示することができ、技術を見せる側になれたのはとても嬉しかったです。大規模イベントでの展示に立ち会ったことで、改善点や知見も多く得られたためとても貴重な経験になりました。次回また展示をさせて頂ける機会があればもっと良いものを作りたいと思います。そして自分の作品を体験した誰かの創作のきっかけになれたらと思います。
関係者の皆様、本当に貴重な経験をありがとうございました！
ありがとうございました。
---------------------------------
インタビューは今回が最終回となります。
これまでインタビューに回答いただいたクリエーターの皆様、本当にありがとうございました。
皆様のアイデアと表現力、制作力のおかげで大変すばらしいイベント展示ができたと思います。
また、インタビューを通して得られた SRD を使いこなすための Tips や気づきも多く、僕たち開発陣もいろいろ参考にさせていただいています。
読者の方々も是非参考にしていただき、SRD により興味を持っていただけたら幸いです。