すでに何度か参加報告を書いてますが、昨日、XR系のイベント「xR Tech Tokyo #17」に参加しました。今回はLT枠で発表をさせていただきました。
今回もXRおよび関連技術の発表が興味深かったのでまとめました。他の方のまとめはこちらです。
note.mu (2019/8/27追加しました)
1. xR Tech Tokyoとは？
xR Tech Tokyoは、2016年からおおよそ隔月で開催している VR, AR, MR 関連の開発者向け勉強会イベントです。
引用：https://vrtokyo.connpass.com/event/121561/
XRに関する勉強会は多数ありますが、私の知る限りこのイベントでは毎回100人近くの参加者がいる規模の大きなものです。xR Tech Tokyo登録メンバーは前回よりも増えていました。
2019/2/17(14回目) ：2042人
2019/4/20(15回目)：2173人
2019/6/23(16回目)：2324人
2019/8/18(17回目)：2493人
xR Tech Tokyo #17 @ メルカリ - connpass
会場はこれまで通り、株式会社メルカリの18Fのホールエリアです。
過去のイベント内容はこちらを参照ください。
【2019/3/16講演スライドリンク追記】xR Tech Tokyo #14 で聴いた講演内容をまとめてみました - CrossRoad
【2019/8/18更新】平成最後のxR Tech Tokyo #15 の全講演をまとめてみました - CrossRoad
A meetup report : highlight of xR Tech Tokyo #15 in Japan - CrossRoad
【2018/6/26更新】令和最初のxR Tech Tokyo #16 の全講演をまとめてみました - CrossRoad
2. 講演（30min session)
2.1. 広域フォトグラメトリによる建築デジタルアーカイブ
発表者：龍 lilea 氏 @lileaLab
2019/8/28追記 発表スライドのリンクが間違っておりました。下記が正しいリンクです。申し訳ありませんでした。
2.1.1 フォトグラメトリとは
STYLY社のHPに用語の紹介があったので引用させていただきます。
フォトグラメトリとは、物体を様々な方向から撮影した写真をコンピューターで解析し、3Dモデルを立ち上げる技術です。 フィギュアのような小さなものから、建築や都市といった大きなものまで3Dモデルにすることができます。 測量や地形調査、史跡保護などの専門的な分野でも使用される技術ですが、最近ではゲーム制作でも活用されています。
引用元：フォトグラメトリ入門 撮影方法～3Dモデル作成 | STYLY
ゲームでの活用例は例えば下記がありますね。
広域フォトグラメトリとは、建築物、地形などの大きなものを3Dデータにすることです。
2.1.2 フォトグラメトリを行うときの注意点、知見
(1) 薄い物体は3D化が難しいことを理解する
薄い物体は表と裏の撮影結果に微妙なズレができることが原因で、出来上がったモデルに穴が空くことがあります。
これを直すにはDCC（Digital Content Creation)ツールを使います。龍 lilea 氏はCinema4DやReality Captureを使っているそうです。
具体的な使い方はかなり細かいので割愛しますが、フォトグラメトリで生成した3Dデータに穴が空いたり少しゆがんだりするのはよくあるので、個別に全て調整するとかなりの時間がかかります。
そこで、修正箇所が平坦であれば、対象箇所をメッシュオブジェクトで置き換える方法もあります。
(2) Alignがおかしい時は手作業で直す
Alignとは、DCCツールが写真から撮影位置を推定する仕組みです。これは写真をインポートすれば自動的に認識してくれますが、時々うまくいかず、結果が崩れることがあります。これを防ぐには、Align位置がおかしい箇所を個別に指定し直す(=Control Point機能)必要があります。
その結果、このように修正ができます。
(3) PLフィルターによりきれいな画像を撮影する
PLフィルターとは偏光フィルター のことです。下記に説明がありました。
例えば室内で撮影すると、蛍光灯の映り込みが入ってしまうことがあります。これはフォトグラメトリに悪い影響を与えるのでできるだけ除去する必要があります。このために使われるのがPLフィルターです。
(4) 蛍光灯に気をつける
関東、関西で電気の周波数が異なるため、点滅が映り込むフリッカーという現象がおきます。
フリッカーについては下記に説明がありました。
カメラの豆知識 ～「フリッカー対策」～ - Circulation - Camera
場所や状況によりますが、1/00Hzで撮影するとよいそうです。
2.1.3 今後について
フォトグラメトリでは位置精度が低いので、フォトグラメトリとレーザスキャンを組み合わせた手法を検討中とのことです。
ちなみに、龍 lilea 氏は様々なデジタルアーカイブプロジェクトに関わっており、Twitterで#3DDAで検索するとみることができます。以下は例です。
#旧都城市民会館AR 第2弾！
— 龍 lilea (@lileaLab) August 13, 2019
↓下記URLよりどなたでもご体験いただけます！https://t.co/dmcpnXiTfD
アプリ不要のWebARです。
菊竹事務所出身の長谷川逸子さんがデザインされたもので、旧都城市民会館に現存していた貴重なイスです。#旧都城市民会館 #3DDA #Photogrammetry pic.twitter.com/5UM813WWzU
#旧都城市民会館AR
— 龍 lilea (@lileaLab) August 13, 2019
お待たせしました Android にも対応しました!!https://t.co/8GVZ783xGr
↑こちらのクラファン内の記事、
"[支援者様限定] 旧都城市民会館AR β版の先行公開"に記載されたURLより起動出来ます！#旧都城市民会館 #3DDA
2.2 Diminished Reality 入門
発表者：sotan氏 @sotanmochi
DR(Diminished Reality：隠消現実感) という内容、学術分野での取り組み、sotan氏の取り組み内容を紹介されています。ややアカデミックな内容です。
資料がわかりやすかったので、スクリーンショットを中心に説明します。なお、DRについては発表資料のP.8-12に書かれているのでご参考ください。
sotan氏の取り組みとして、実用化につなげるため、モバイルデバイスに注力し、画像修復型のアプローチで進めているそうです。人の映像を消してアバターと置き換えるような取り組みが中心のようですね。
以下、システム構成図と動作例(YouTube動画)です。
現状はGTX970とやや古めのGPUでもまだ負荷が高いので、モバイル対応に向けた高速化の取り組みが今後の課題とのことです。
3. 講演(15min short talk)
3.1 Babylon.jsでOculus Quest向けWebVRアプリを作るときのメリットとデメリット
発表者：Limes @WheetTweet
私の発表です。発表スライドは下記の通りです。
www.slideshare.net
Babylon.jsについては、下記のリンクも参照ください。
◆Babylon.jsコミュニティのサイト
Babylon.js: Powerful, Beautiful, Simple, Open - Web-Based 3D At Its Best
◆Babylon.jsのフォーラム
◆拙作のBabylon.jsについて書いた日本語記事
babylonjs カテゴリーの記事一覧 - CrossRoad
3.2 表現としてのxR
発表者：ほたて猫魔人氏 @HhotateA_xR
VRに対する考え方、おすすめコンテンツ、いくつか取り組まれていることを紹介されていました。 発表スライドは下記です。
www.slideshare.net
3.2.1 VRに対する考え方
第四の壁とは下記が参考になります。
「第４の壁」はそもそも演劇の用語で、舞台上に実在する左右と奥側の壁に対して、観客側の“４つ目の壁”を指している。
実在しない壁の向こう側（舞台上）は劇が演じられる「虚構の世界」で、観客側は私たちが生活する世界と地続きな「現実の世界」だ。そこから「虚構と現実を隔てる壁」という意味を持っている。
引用元：『デッドプール』はなぜ“第４の壁を破る”のか？映画における虚構と現実の話 | FILMAGA（フィルマガ）
つまり、第四の壁がないとは、現実と仮想(人工)現実の境界がない(=VRChatには人が住んでいる)ということですね。
3.2.2 おすすめコンテンツ
下記を参照ください。
3.2.3 シェーダの利用例
シェーダとは見た目の表現に関するもので、ほたて猫魔人氏 によると「見た目に関わることならばなんでもできる」とのことです。
キャラクタをイラスト風にして「不気味の谷」を回避したり、フォトグラメトリで作った3Dデータの精細度が低い場合、シェーダで見た目を変えることで気になりづらくすることもできます。
ところで、シェーダの活用例として、前回のxRTechTokyoで発表された@koukiwfさんのマトリックス作品のシェーダも担当されているそうです。
MRで点群の位置を合わせる機能作って
— 光輝@加鶏心臓 (@koukiwf) May 25, 2019
マトリックスと現実をピッタリ一致させてMRモードで歩いてみた。
階段とかエレベータとか透かして壁の向こう見える。 pic.twitter.com/gPhZaDJRX5
3.3 ブロックチェーンで仮想空間上に経済圏を作りたい話
発表者：佐藤 直人氏 @sn___2309 / く° 氏 @qiwdu / 牧野 賢士 氏@MacKen196
「Frontier」というプロジェクトで活動しているメンバーによる発表です。発表者はいずれも高校生の方です。
やりたいこと：ブロックチェーンを使ってデジタルアイテムを定義する
背景：VR内ではデジタルアイテムが複製されたら不正利用ができてしまう
一般的な解決方法：デジタルデータの所有者を明確にする = デジタルデータの所有権をEthereumを用いてトークン化 (Non-Fungible-Token:NFT)
一般的な解決方法の問題：実際のところ、NFTはあくまでEthereum内の範囲でしか有効でない。複製物はいくつあってもよいが、データの所有者だけが使えるという仕組みにしたい。
問題を解決するアイディア：NFTがデータを使うためのアクセスキーになればよい。
今後、これらを実現するための活動を続けていくとのことです。
なお、ブロックチェーンとVRについては、前々回のxR Tech Tokyo で@mogmogvr氏も発表されていました。
VRChatのような別空間での活動が活発になるほど、デジタルアイテムの所有権が問題になりそうなので、ブロックチェーンとVRにも動きがありそうですね。
3.4 VR物理トレーニングシステム（けん玉やゴルフなど）
発表者：川崎 仁史氏 @VRkendama / 久保田 悟氏 @kendama121
登壇者は株式会社CanRの所属です。
VRでリアルでも「できない」を「できた！」に変えることをミッションとする会社です。
革新的なVRの物理トレーニングシステムを開発し、身体的な技術の向上に貢献します。
引用元：株式会社CanR
Tokyo XR Startups 5期に参加したことがきっかけで会社を設立。参加時に、けん玉では市場が小さい。「面白い」「儲かる」「流行る」事業を進めること、というコメントがあり、訓練で市場が見込めそうな分野としてゴルフを選択されたそうです。
ゴルフは市場規模が大きく、使われる道具や装置の単価も高いそうです。
実際に作られたゴルフ訓練の仕組みを使ってテストしたところ、20分のトレーニングによって効果が確認できたそうです。
ゴルフ初心者に効果があったそうなので、今後の実用性が期待できそうですね。
3.5 全身3Dスキャン システムキット - Raspberry Pi 使用
発表者：リアルアバター制作 - 岩山 幸洋氏 @HappyOcean
株式会社映像伝播社 岩山氏による発表です。
2019/8/28 追記 発表スライドのリンク貼り付け位置がまちがっていたので、訂正しました。下記が正しいリンクです。
www.slideshare.net
2.1で紹介のあったフォトグラメトリを用いて、人体の3Dモデルを作成する話です。多数のカメラを設置した専用のスタジオで撮影することで3Dデータを作成できます。撮影風景はこのようになります。
Raspberry Piを使ったフォトグラメトリの方法自体は以前から紹介例があるそうですが、今回は、汎用性、簡単にできることを目指されています。
フォーカス、ピント合わせが自動ではないので、手作業で調整する必要があります。また、何台のカメラ、どれくらいの撮影枚数でできるかを検証するため、Unity内で撮影シミュレーションを実施して検証を進めたそうです。
ただし、まだ課題がいくつかあるとのことです。
3.6 webエンジニアがニコニコ超会議でVtuberをサポートした話
発表者：へいきゅーぶ 氏 @hey_cube
Vtuber「茨ひより」と記念撮影(のような)画像を出せるWebアプリを作ったお話です。
3.6.1 茨ひよりとは？
茨城県公認のVtuberです。へいきゅーぶ氏によると、県公認のVtuberは茨ひより(ひよりん)が日本初とのことです。
3.6.2 作ったアプリについて
ひよりんと茨城県の観光名所の写真がランダムで選ばれ、そこに自分の写真を合成するものです。
へいきゅーぶ氏いわく、今回のWebアプリはRuby on Railsを中心とした枯れた技術(=多数の実績があり安定的に使える技術)で開発されたそうです。
個人的には、撮影した画像から人物だけを切り取るWebサービスの「remove.bg」が気になりました。やっていることはPhotoshopと同じに見えますが、画像をアップロードするだけで整形した画像を返してくれるのは楽でよいなと思います。
開発したWebアプリはニコニコ超会議2019で展示されたそうです。
4. おわりに
今回はフォトグラメトリに関する内容が複数ありました。また、以前開催されたxRTechTokyoでの発表と分野が近い発表があったりと、色々な技術や取り組みがつながりそうで、興味深かったです。
ところで、主催者の@ikkouさんによると、次回以降は隔月開催でなくなる可能性があるとのことです。
あとこれまでの隔月開催スタイルは家庭の事情も相まって多分おそらく当面はおやすみとなるので、申し込んでいる人はちゃんと来てくれよな！代替となる喋る場・見せる場は何らかの形で作りたいと思いつつ！
— ikkou / いっこう (@ikkou) August 17, 2019
また再開したときに参加したいと思います。
