ライバーが1人で3Dライブ配信が可能に。3Dにじさんじアプリ「にじ3D」が発表

いちから株式会社は、「にじさんじプロジェクト」所属のバーチャルライバーが1人で3Dモデルを使用したライブ配信が行える3Dにじさんじアプリ「にじ3D（にじさんでぃー）」を所属ライバーへの配布を開始したことを発表した。

「にじ3D」は、3Dライブ配信をより身近に、より簡単に出来るためのアプリケーションとしていちから株式会社が開発。
これまで3Dモデルを使用した生配信には、大きな機材や物理的なスタジオ等の空間やそれをサポートするスタッフが必須だったが、この度開発された「にじ3D」では、iPhoneX内の「Face Tracking with ARKit」とOculus Riftのコントローラ「Oculus Touch」を使用することにより、リアルな3D表現による配信が1人でも簡単に行えるようなったとのこと。

「にじ3D」は今後、にじさんじ所属ライバーによる配信にてお披露目されていく予定だそうだ。

■開発コンセプト
■開発内容
- 主な特長
■担当開発者コメント
■配布用モデリング実施と今後
■関連リンク

■開発コンセプト

・1人でも3Dライブ配信が出来る。
・自宅からでも3Dライブ配信が出来る(スタジオ使用が必須ではない)。
・自然な3Dモデルの動きを実装。
・今後のアップデートが容易なシステムの構築(新たなライバーへの実装/アプリ本体のアップデート)。

■開発内容

主な特長

①：配信環境の簡易化
「3Dにじさんじ」では、顔認識をにじさんじライバーに既に配布しているiPhoneXにある「Face Tracking with ARKit」にて行い、それを配信PC内の「3Dにじさんじ」アプリに送りモデリングに反映させるため、一般的な3D配信に使用するヘッドマウントディスプレイを付けずにライブ配信が出来ます。
そのため、現在の2D配信のような視聴者とのやり取り・企画実施等も、今までの3D配信に比べ行いやすくなります。

また、手の動きのモーションは、Oculus Rift内のコントローラ「Oculus Touch」と2台のセンサにて行うため、無線&簡易的なシステムで手・腕・指の動きを実現出来ます。センサに関しても机における小さなものなので、場所を広く取ることなく配信環境の構築が行えます。

②：長時間生配信特有の問題を最小限に
にじさんじプロジェクトでは生配信&長時間配信を中心としたものが多いため、開発時にも長時間の生配信特有の問題が最小限になるよう設計しています。

例えば、機材選定段階では他社のヘッドマウントディスプレイを用いた設計を当初の選択肢としてあげていましたが、1時間、2時間と長く配信するには不向きなため、それを使わない形を模索し実現致しました。また、ネットワーク遅延による配信への影響を無くしています(「ARKit→3Dにじさんじアプリへの転送とモデリング」は、「OBS→YouTubeへのアップロード遅延」に比べて十分小さい)。

③：今後のアップデート実施を容易にする取り組み
今回のシステムを構築する上で、今後の拡張(アップデート)のしやすさを項目の一つとして挙げています。開発側のアプリアップデートだけではなく、ライバー側のアプリアップデートの容易性も確保しています。また、新規にライバーのモデルを追加する際や、既存ライバーのモデルの修正・追加をなるべく容易にする、などを意識しながら設計しています。

具体的には、通常難易度の高いと思われる3Dモデルへの追加実装(季節物の小物を取り付けるなど)が少ない工数で実装できます。また、今後新たなライバーの3Dモデルのデザインが完成したとき、「3Dにじさんじ」アプリへの実装は(元の3Dモデルの完成度が一定以上あれば)数日程度で行えます。

■担当開発者コメント

元々私自身が3D周りの開発に関心が強く、過去の開発からそれに関わる部分を模索してきました。特に、にじさんじの特徴の1つでもある表情の豊かさを出来る限り維持したまま、3D配信が出来るような環境を作りたいと思っていました。
配信のしやすさを鑑みて、ライバーさんの基本的な配信スタイルを大きく変更しないことにより、配信をする負担が少なくなるようにしています。また、もっとライバーさんとファンの皆さんとの距離を近付けられるような機能開発を進めています。

これからも、ライバーさんやファンの皆さんからの意見・要望を参考にさせて頂きながら、更なるブラッシュアップを重ねていきます。よろしくお願い致します！

いちから株式会社開発本部開発部 mkc1370
https://twitter.com/mkc1370