CrossRoad

AR、MR、VR、Babylon.jsを中心とした技術ブログ。 If you're non-Japanese native guys, check "English" category.

【2019/3/16講演スライドリンク追記】xR Tech Tokyo #14 で聴いた講演内容をまとめてみました

本日、XR系のイベント「xR Tech Tokyo #14」に参加しました。有益な情報が多かったので勉強会の内容をまとめてみました。

1. xR Tech Tokyoとは?

xR Tech Tokyoは、2016年からおおよそ隔月で開催している VR, AR, MR 関連の開発者向け勉強会イベントです。

引用:xR Tech Tokyo #14 @ メルカリ - connpass

XRに関する勉強会は多数ありますが、私の知る限りこのイベントでは毎回100人近くの参加者がいる規模の大きなものです。 (2019/2/17時点では、xR Tech Tokyoのサイトでは登録メンバーが2042人でした)。

xR Tech Tokyo - connpass

会場は株式会社メルカリの18Fのホールエリアです。100人近くの参加者が入れる場所のためかなり広いです。

xR Tech Tokyo space at mercari

2. 講演内容

2.1. バーチャルライブプラットフォーム「INSPIX」を支える技術とその活用法

発表者:パルス株式会社 加田 健志氏

発表スライドは下記の通りです。

www.slideshare.net

2.1.1 INSPIXとは?

INSPIXとは、VRでライブ体験ができるプラットフォームです。詳細はこちらに記載されています。

https://1923.co.jp/wp-content/uploads/2018/02/20180227_pulse_products.pdf

特徴は大きく3つです。

  • フルタイムリアルタイムライブ

他社サービスはMCだけ、歌だけ生のように限定があるが、INSPIXではすべてをリアルタイムにしているそうです。

  • スマホVRで動作できるようにする

ユーザ数はスマートフォン>ハイエンド機なので、スマートフォンで動くことを前提に開発しているそうです。

Device compatible plan by INSPIX

  • 多人数が出現できる

Optical Trackingを採用し、多人数でも同時にトラッキングできるようにしています。

An example of three person's optical tracking

2.1.2 INSPIXの開発ノウハウ

  • Optical Tracking の調整方法

注意しないで使うと、アクター(演技する人)の動きがCGキャラクターと合わず、CGキャラクターが変な動きをしているように見えてしまいます。

part of presentation slide by presentor

そこで、IK(Inverse Kinematics:部分的な動きデータから他パーツのモーションを補完する仕組み)を駆使して調整したり、CGキャラクターの制約に合わせてアクターが動くことで、不自然な動きがないようにしているとのことです。これはエンジニアとアクターの双方でコミュニケーションを密にする必要があります。

an concept of cooperation with engineers and actors

  • データ同期

リアルタイムライブなので、アクターのモーション、表情、歌声、ライトなどの演出を、タイミングよく同時に送る必要があります。そこで、モーションデータに他のデータを合わせて、全部揃ったときにクライアント側で演出する手法をとっているそうです。

tips of synchronizing motion and music data

  • 通信量の削減

リアルタイム配信をしているため、通信量を削減する必要があります。そこで、見た目に影響しないデータの送信をしない、不要なデータ送受信をしない対策を取り、初期と比較して90%近く削減したそうです。

今後はスマートフォンで動くINSPIXをリリースし、対応機能も増やしていくそうです。

2.2 AR謎解きゲーム #サラ謎 がなぜ「続編期待度94パーセント」を獲得できたか

発表者:プレティア株式会社 牛尾 湧氏 (@yuush10)

「サラ謎」とは、同社が提供する「サラと謎のハッカークラブ」の略で、街を歩きながらスマホを使って謎解きをしていくゲームです。脱出ゲームの相場(3000円程度)よりも安く、平日1290円、休日1990円だそうです。詳細は下記の公式サイトをご確認ください。

サラと謎のハッカークラブ - AR謎解きゲーム

延べ参加者人数は数千人とのことで、今後も増えていきそうですね。

この講演では、を作るための開発体制、考え方、進め方などをお話されていました。ここでは、開発関係の一部を書き出しました。

2.2.1 開発や進め方の工夫

  • 毎週テストを実施

    テスト(おそらくユーザ目線で使ってみるテスト)が面白ければ実際も面白いはず、という考えから。逆に、テスト時点で面白くないものはつまらないので、すぐに開発側にフィードバックして改善できる。

  • ペーパープロトタイプを作ってから開発に入る

紙でウインドウやエフェクトなどを作って紙芝居のようなものをして、どんな演出になるかを確認する。作ってから残念なUXだったとなることを防止することができる。

  • 既存のよい仕組みを参考にする

面白い既存エンターテイメントの面白いポイント(リアル脱出ゲーム、映画、推理小説など)のエッセンスを参考にして自分たちのプロダクトに落としこむ

2.2.2 ARクラウド

ARクラウドについても、自社のR&Dチームで開発中とのことです。

Concept image of ARCloud by Pretia Inc

イメージは ARCoreやARKitでできないところを補完するものだそうですが、今回は詳細の紹介はありませんでした。今後Twitterなどで進捗を報告していくとのことです。

講演ではARだけでなく、起業や開発の進め方、考え方のお話も多数ありました。その辺りにご興味ある方は、例えば下記の記事も参考になると思います。

プレティア株式会社の会社情報 - Wantedly

SNS禁止の本音トーク炸裂!XR Monetization Meetupに牛尾が登壇しました【イベントレポート】 | プレティア株式会社


2019/3/16 追記

講演解説のリンクを追記します。


2.3 ロケーションベースMRの話

Tyffon株式会社 井澤 亮氏、邵 逸川氏

この「MR」は Mixed Real World Imageという考え方です。体験はVRで実現されていますが、いくつかの工夫により現実とVRをmixしている表現を実現しています。

ここでは、同社のホラーゲーム「CORRIDOR(コリドール)」の開発について、現実とVRをmixする工夫を一部紹介します。

2.3.1 実際の手、姿をクロマキーで抜き出す

実際とVRが混ざり合った状態を実現するため、自分の手をクロマキーで切り取って表示させているそうです。また、切り取った手の画像は薄暗くみえるように加工してから表示させています。

また、同時参加している他プレイヤーをクロマキーで切り取ってリアルタイムに表示、実際と同じ距離を歩くなどで、現実とのmixを表現しています。

2.3.2 同時参加しているプレイヤーのイベント進行、移動を一定とする

何人かが同時に参加していると一人だけ先に進んでしまう、ということがあります。これを防ぐため、実際のリングをお互いが持つことで離れすぎないようにしたそうです。

a ring for CORRIDOR playing

2.3.3 ナビゲーション

一例として、エレベータを動かすシーンについて説明されていました。エレベータのボタンを押させる方法として、このような対策が取られたそうです。

  • スタッフがシーンにあった服装で登場して誘導した(クロマキーで切り取っているので姿が見える)

  • ランタンをエレベータ近くにかざすところで扉が開くようにした (ランタンをかざしている写真は撮った)

  • 一定時間経過すると開いたことにして、イベントを先に進めた

2.3.4 3D Audio

VRアプリケーションの開発に関わっている方はよくご存知と思いますが、AudioはVRの没入感を深めるために重要です。開発中にはこのような課題があったそうです。

  • ダイナミックレンジ(音量の差)が狭い = 大きな音に合わせて迫力を出そうとした結果、風の音、虫の鳴き声など小さくてよい音まで大きく聞こえてしまった

  • 音がドライすぎて空間が広いことが伝わりづらい

これらに対応するため、Wwise (Audio Middleware)の導入、音源のクオリティアップ、実装方法を見直すことで改善したそうです。

2.3.5 広い空間の利用

CORRIDORでは、4,5m×8.5 m の空間をバックパックPCを背負って歩き回ります。HTCのトラッキング範囲の推奨限界は対角線5mだが、対角線9mで拡張して利用できるように調整したことで、より没入感を高めているようです。

2.4 これからのアバター観

Nakaji Kohki / リリカちゃん (@nkjzm)

VTuberなどでよく使われている「アバター」に関して、ややアカデミックな視点から考え方を説明されていました。いくつかを紹介します。

2.4.1 リアルライブとVRライブ

an example of the same things between real and virtual live

リアルライブとVRライブは、実施形態は大きく異なります。しかし、ファンがアイドルを応援し、アイドルが歌う、これによってライブが成立していることは同一です。つまり、実施形態は異なるが与える価値は本質的に同じ(=Virtual Realityの定義)と言えます。

2.4.2 アバターとは?

デジタル用語辞典ではこのように定義されています。

「化身」という意味で、ネットワーク上の仮想空間でのユーザーの分身のこと。

引用元:アバター - 意味・説明・解説 : ASCII.jpデジタル用語辞典

10年くらい前の「アバター」は、ハンゲームなどのゲーム上の分身として使われることが多く認知度も低かったですが、最近はYou Tube、Twitterなどで使われ、テレビなどで取り上げられるようになってきました。

2.4.3 これからのアバター

バーチャルアイドルだけでなく、バ美肉のようなジェンダーを超えた使い方が広まっていく可能性があります。また、それによる新しい社会問題が発生する可能性もあります。

summary of @nkjzm 's presentation

2.5 宇宙開発 × XR

Yspace代表 川﨑 吾一氏

なぜ宇宙開発にXRが必要なのかを講演されていました。ここでは宇宙開発での課題、Yspace社の事業内容を簡単に解説します。

2.5.1 宇宙開発での課題

主な理由はスライドの通りです。

The reason why development for the universe takes a lot of cost

とにかくお金がかかるのが大きな課題と思います。たとえば、運搬コストでは1kgの物体をを宇宙に運ぶのに470万円かかるそうです。また、実機を作るのも、必要な訓練を行うのも、とにかく準備が簡単ではありません。

2.5.2 YSpaceは何をやっているか?

ここしばらくは、月面の3次元データを元に、訓練、探査、建設シミュレーション構築が主な事業内容とのことです。

Yspace's business is 3d data mapping of moon

なお、宇宙産業は2030年までに70兆円の市場規模と言われてますが、VRが使える人が不足しているそうです。宇宙関係でのUnityエンジニアの募集は初めて見ましたので、紹介スライドの画像も掲載いたします。

Recruiting Unity developer by YSpace

2.6 Leap UVCの知見とProject North Starへの応用

コバヤシマサト氏 @kobax_km7

LeapmotionをWebカメラとして使用する仕組み「Leap UVC」と、Project North Starへの応用例を紹介されていました。

2.6.1 Leap UVC

Introducing LeapUVC: A New API for Education, Robotics and More - Leap Motion Blog

  • pythonとmatlabのサンプルが公開

  • OpenCVならばC#でも動作した

  • Macでは動かなかった(ファームウェア書き換えも含め、Macでの使用は難しそうです)

2.6.2 Project North Starの応用

まず、Project North Starは以下に概要が紹介されています。自作するPCベースのARヘッドセットです。

Unveiling Project North Star

メリットとデメリットはコバヤシマサトさんのスライドを引用させていただきます。

good and not good of Project North Star

Leap UVCをWebカメラとすることで深度トラッキングが効かなくなります。ArUcoというマーカ検出ライブラリを使用し、マーカをベースに深度トラッキングを実現させる方法を紹介されていました。詳しくは後日公開されるスライドをご覧ください。

なお、発表スライドに関係したブログがありましたので、リンクを掲載いたします。

LeapUVCを使ってUnityでLeapmotionのカメラ映像を取得する – koba'sLab


2019/3/16 追記

発表スライドのリンクを追記しました。

Leap UVCの知見と Project North Starへの応用_public - Google スライド


2.7 ゴーストエンジニアリングとドッペルゲンガー

ゆうのLv3 @yunoLv3

大学の研究内容に関する発表です。内容は、VRの空間で自分の3Dモデルを出現させていくつかのシーンを作り、どんな印象を持つかをアンケート集計して分析する、というものです。

A study about If you have the double in VR spaces?

Results of survey about the double

今後、このようなことが起こりそうと考えられています。

A future image of utilizing their own the double

なお、ゴーストエンジニアリングは、発表者が所属されている研究室ではこのように定義されているようです。

A definition of ghost engineering


2019/3/16 追記

講演スライドのリンクを追記しました。

www.slideshare.net


3. 用語説明

ご存知の方には当たり前の説明となりますが、講演で使われていた用語の一部を簡単に解説しました。

3.1 VTuber、バーチャルアイドル

一般用語で言うと、アイドルとして振る舞うCGキャラクターのことです。このCGキャラクターの動きはあらかじめ登録したモーションを動かすか、リアルな人のVRヘッドセットやコントローラの動きをリアルタイムに同期させるかは、使われ方によって異なります。

たとえば、下記の記事の解説が参考になります。

今、アツい!バーチャルYouTuberって何者?!人気VTuber四天王も紹介 - INFLUENCER LAB(インフルエンサーラボ)

3.2 VRライブ

VR空間で実施されるライブです。従来のライブは大きな会場で多数の人が集まり、その場で開催されます。VRライブはVR空間のステージにアイドルが、客席に観客が集まって実施されます。アイドルも観客もアバターを使うので、多数の人が集まっている感覚を感じることができます。発表者のNakaji Kohkiさんがわかりやすいスライドを出されていましたので引用します。

A relation between VR live and actor

3.3 ロケーションベース

VRコンテンツは、一般的に椅子に座ってプレイするものが多いです。対してロケーションVRは、実際に自分の足で物理的に歩き回るコンテンツを指す傾向があります。

そのため、ロケーションVRはゲームセンターのようなアトラクション施設で遊べるものが多いです。この辺りのサイトが参考になります。

■VR ZONE
VR ZONE Project i Can (※新宿店は、期間終了により2019/3/31で閉店予定)

■VR PARK TOKYO
VR PARK TOKYO 公式サイト|VRパークトーキョー(渋谷・福岡)|VRPARKTOKYO|VRTOKYO

■一般社団法人ロケーションベースVR協会
一般社団法人ロケーションベースVR協会

3.4 バ美肉

「バーチャル美少女受肉」の略です。アバターを使って、おじさんが美少女になりきって振る舞うムーブメントです。たとえば下記の記事がわかりやすいです。

「バ美肉」(バーチャル美少女受肉)のメリットは何か? VTuber“バーチャル魔王おじさん”が実体験を語る | アニメ!アニメ!

4. おわりに

今回のイベントでは、AR、VR、MRを網羅しつつ、アカデミックからビジネスまでカバーしていました。ここまで幅広い範囲をカバーした勉強会は中々ないと思います。 また、今回一通り書いてみて、自分で登壇するだけでなく内容を整理するのも面白いなと思いました。また機会あればこのようなレポ形式を書いてみるかもしれません。