【AIの力を借りてトラッキング】”RiBLA Broadcast”使ってみた! | Kibekin BLOG.

【AIの力を借りてトラッキング】”RiBLA Broadcast”使ってみた!

この記事の概要を簡単まとめ!

  • モデルのトラッキングの際に起きる、機材問題
  • Leap Motionは簡単には手に入らないのでカメラだけでやるしかない
  • エイベックス・テクノロジーズが提案したのは”AI”による補正
  • 使用するのは現在β版として無料配布中の最新ツール”RiBLA Broadcast
  • 対応するモデル形式はVRM、必要な物はWebカメラ1台
  • 設定項目も割と多く存在し、細かく決めることもできる
  • 要求されるスペックはかなり高い、低スペックPCではまず無理
  • 動きが自分に対するミラーなのはいただけない
  • 現時点でβ版のため、これからの改善に期待する

VTuberを観るだけだった私は、VTuberとVRに関連するソフトウェア・ツールについて調べているうちに1つの結論に達した。自分が実際にVTuberになって使わなければ、そのソフトウェア・ツールの解説は不十分だと言わざるを得ない。そうして今はVTuberとして活動するための準備をしつつ、これから絶対使うであろうものについても調査をしつつ、万全を期した状態で臨めるよう調整中である。

モデルを動かすためのソフトウェアについては、フリーソフトで高機能、周辺機器と外部ソフトウェアとの連携が可能である、VSeeFaceについて取り上げた。Webカメラ1つあればかなり高いトラッキング精度で顔をしっかり再現してくれるもので、原則として高性能なPCでなければできなかったそれも、低スペック向けの設定を用意していてそのPCでも使用できる。とはいえOBSでのエンコードを前提として、配信必須ツールを同時に使用しているのであれば要求リソースは高いものを要求されるので、8570wで全てをこなすなど以ての外であった。

もう1つの問題点としては、手や腕の動きを再現するのにLeap Motionが別途必要であること。しかし現状は「高い物」になってしまったそれを入手することは難しい。よって手や腕のトラッキングは無理かと諦めていた時に見つけたのが、エイベックス・テクノロジーズが開発し、現在β版として提供している”RiBLA Broadcast”だった。AIを駆使して手や腕の動き、表情を推定・認識して反映するというもの。あらゆるものにAIが組み込まれる時代にこれは最適解となるか、実際に使用して確かめることにした。

“AI”に頼るのは、普通のこと。

モデルとトラッキングと機材と

モデルのトラッキングの際に起きる、機材問題

VTuberのモデリングは実に巧妙にできている。専門知識を持つ3DCGモデラーが手掛けるものは「完璧」と呼ぶに相応しいものになる。だがそうするには前述の通り「専門知識」が必要となり、その取得には多大なる苦労が必要となる。完全な素人が1日・2日で修得できるものではなく、0からの修得にはそれは時間がかかり、趣味として行うならまだしも、商業として行うには専門学校に行ってみっちりやったとしても難しいレベルである。企業単位ならまだ可能性はあるが、個人レベルとなるとそれは魔境だ。

さて、現在主流のVTuberモデルは殆どが3Dである。無論2Dタイプもまだ存在するが、リアルな見せ方にこだわったとき、余裕があれば3Dを使用するのが一般的ではないだろうか。もっとも、現在多種多様なVRプラットフォームが存在するので、それで活動することを考えると最初から3Dモデルであった方が色々と楽というのがある。幸い、3Dモデルの制作にはpixivがVRoid Studioで助けてくれるほか、無料でダウンロードでき基本機能も拡張機能も多いBlenderもあるので、やろうと思えばできないこともない。また、どうしても面倒な人には市販モデルを「購入」するという手もあることをお忘れなく。



さて、出来上がった3Dモデル、VR世界で動かす場合は多種多様なVRデバイスを用いる+必要に応じてHaritoraXやuni-motion、Viveトラッカーやベースステーションといったものを駆使して、現実の動きをVR世界にリンクさせる。とはいえこれはあくまでVRデバイスを使用するVR世界での話である。VTuberが配信する場合にはこれではなく、(リスナーから見た)配信画面内のどこかにモデルを表示させて、それの動き(殆どは上半身の動きのみに限定)をVRデバイス以外の方法でトラッキングし、反映させることになる。その場合に使われるのがWebカメラと、手の動きを詳細にトラッキングしたい場合はLeap Motionも併用される。これは殆どのソフトウェアで対応しているものと考えられる。

しかしこの時に考えなければならないことが、それら機材は決して安いものではないということ。特にLeap Motionはクソ無能ジャップ政府のせいで現時点では「高級品」に成りあがっている。それ故資金的に導入が難しい可能性も否定できず、VTuber自体の敷居は低いのにVTuberとしてのアップグレードは個人の力ではどうにもならない不可抗力要素がどうにも多い。これが継続阻害要因の1つだとすれば、非情の一言で片付けるにはいささか問題があるようだ。

解決策:Leap Motionなし、Webカメラだけで手をトラッキング?

こうなってしまうと答えは自ずと「Leap Motionを諦める」ということになってしまう。製造・販売自体は2014年から継続されているものなので中古市場には流れている。しかしそうであっても現在の価格の半額程度までしか下がらないうえ、その価格が2019年以前までの価格に最も近いわけで、中古でさえある意味損した気分になる。少なくとも「公正」と呼ぶには程遠く感じる。

諦めたらそこで試合終了とは、画像大喜利で嫌というほど見ているのでもう当たり前の話である。それは無視するとして、ただ諦めるだけでは意味がないので何とかして代案を探すのがいつものこと。その前提となるのがまずLeap Motionを使わないことであり、これは言うまでもない。次に考えるのはソフトウェアを複合利用することであるが、検証したVSeeFaceはLeap Motion, Perception Neuron(有料、24万~)、ThreeDPoseTracker(無料)には対応しているが他は明確な情報が不明である。また、複数のソフトウェアを同時に使用することについては、リソース消費と負荷の関係から、あまり多くなるのは避けたいと考えている人は少なからずいるはず。全員が全員、「石油王」ではないからだ。

ともなれば理想はWebカメラだけで手をトラッキングできるソフトウェアが求められる。その上で負荷が重すぎず、透過処理が可能で、それ1つで完結するものが最適解となる。とはいえ、たった1つのソフトウェアにそれを詰め込むというのは至難の業。開発者が頭を抱えるほどには開発が難しいことが簡単に予想できる。逆にそれが開発出来たら、多くの人の悩みを解決することができる名ツールにもなる。そんな「楽ができる」ツールがないか、探してみることにした。

エイベックス・テクノロジーズが提案したのは”AI”による補正

エイベックス・テクノロジーズ株式会社がある。エンタメ系でお馴染みのエイベックス株式会社(エイベックス・グループ)の子会社であり、テクノロジーの名前の通りコンピュータ・ネットワーク系を専門とする。主な事業はクラウドエンタテインメント事業部で、クラウドやVRといった最新技術を利用した、クリエイター向けツールの開発・販売。もう1つにブロックチェーン事業部で、これはブロックチェーンの技術を版権といった著作権関連に組み込み、デジタルコンテンツに対する新しい価値の確立を目指している。

子会社設立は2019年5月14日、資本金は1億で始まったここは、設立時期が新しいこともあってWikipediaに情報が何もない状態である。そんなエイベックス・テクノロジーズの現在確認できるプロダクトは、VR空間で簡単に最大15秒のアニメーションを制作できるRiBLA Studioのみである。これはちゃんとした製品としてOculus/Meta Quest専用ソフトとして¥2,990で販売中である。他の製品は、誠意開発中という状況にあるようだ。



そんな中、RiBLAシリーズの1つとして開発中のプロジェクトがあった。それがRiBLA Broadcastである。これはエイベックス・テクノロジーズでは開発中のβ版の位置づけであり、その本体一式はBoothで配布中である。WindowsとMacの両方に対応しており、対応形式はVRM、必要な物はWebカメラのみであるという。提供開始は2022年2月16日で、5月25日に不具合更新を行っている。認識にはAIを使用し、配信向けに背景を単色化する機能もあり、割と細かくパラメータ設定もできる。そして何より、必要な物はWebカメラのみという思いきりである。ここまで極端だと、使う方も助かるというもの。

しかしAIを組み込むとなると心配なのが負荷である。公式発表によればWindowsならi7-4700HQ+GTX 1050-Ti(Mobile)1)i7-4700HQはモバイル向けのCPUであり、ラップトップに採用されている。しかし生産開始時期が2013年第2期(4~6月)であり、GTX 1050-Tiは販売開始が2016年第4期(10~12月)で、そのモバイル版は2017年第1期(1~3月)となっている。この関係を考えたとき、この組み合わせは通常あり得ないものになる。よってこの情報の信憑性は低い。が最小構成となっているので、この情報から推測するに負荷が相当あるものと考えられる。ただ、試さなければ何もわからないわけで、実際に使用してみて果たしてどうなっているかを詳しく見ていくこととする。

Webカメラ1つで使うRiBLA Broadcast

検証するにあたり、検証で使用したPCのスペックを確認しておく。使用するPCはHP EliteBook 8570w (Mobile Workstation)で、CPU: i7-3740QM(4C/8T ~2.70GHz MAX ~3.70GHz), GPU: Quadro K2000M(DDR3, 2GB, bus 128bit), RAM: DDR3-1600(8GB*2+4GB*2=24GB) である。これはVSeeFaceでの検証時と同じである。これも単体では問題ないが、実際の配信と同じ状況にするときついものであると考えられる。

Boothからダウンロードし、インストール

β版でテスト中の扱いとなっているRiBLA Broadcast(以下RiBLA BC)。これは先に示したBoothから、対応するOSのものをダウンロードする。ファイルはZIP形式で、この中に説明書とインストーラが同封されているものとなる。インストール手順はダイアログ式であり、指示に従ってインストールを行うので何も難しいことがない。

 

RiBLA BCインストール手順
RiBLA BCをインストールするまでの手順。一般的なインストーラによる自己解凍形式であり、ダイアログに従えば何の問題もなく進む。

スタートに起動用のショートカットを作成しておくべきである。それ以外にデスクトップにショートカットを置くのは任意である。後から置く場合は、該当のexeのショートカットを作ってそれを名前を変えて、それをデスクトップに持ってくればいいだけである。なお、このソフトウェアはデフォルトでインストールした場合、x86の方に置かれるので探す場合は注意。

ついてくるおまけについて

エイベックス・テクノロジーズは何もないところからVTuberを始めるということを前提としてRiBLA BCを設計したようで、これをインストールすると3体のモデルがすぐに使えるようになっている。モデル名はそれぞれ生駒ミル、九条フレカ、Jane2)海外、特にアメリカにおける名無し女性の名称。これをそのまま名前としている。である。これらのモデルの設定については公式サイトの所属キャラクターで解説がされている。モデルの制作については、九条フレカのみUniVRM-0.94.0, 生駒ミル及びJaneはUniVRM-0.87.0で制作されたことが分かっている。

これらのライセンス情報については、基本事項についてはキャラクター利用規約を見てもらうとして、モデルが動かせるようになる形式=VRMを生成する際に入力する情報を確認してみると、以下の画像の通りであることが判明した。

付属モデル詳細利用規約
付属するモデルの詳細な規約。設定がモデル毎にガバガバなのはなぜなのだろうか。なお、キャラクターデザインは専門に委託した模様。

付属モデルの割には何故かVRM出力時に記載する情報がガバガバであり、自由に使えるのか使えないのかはっきりしない。この部分はもう少し明確にしてもらいたいところである。なお、これらの3Dモデルを制作するにあたってキャラクターデザインを専門に委託し、それをもとに制作されている。公式発表では生駒ミル、九条フレカをkonomi(きのこのみ)、Janeをshironeが担当しているとのことである。




カメラとモデルを選択して使用する

RiBLA BCを使う人の殆どは既に自分のモデルを持っていることが多い。そのためここでは自分のモデルを使用することを想定して話を進める。以下の手順で準備を行う。

  1. RiBLA BC起動前にPCにWebカメラを接続、内蔵の場合はそれを有効にしたうえでRiBLA BCを起動する。
  2. スタート画面左側の”Character”の下にある”SELECT”から使用するVRMを選択する、または右側に直接VRMをドロップする。これによりRiBLA BCの一覧に参照ないしドロップしたモデルが登録される。デフォルト以外は削除も可能で、その場合はモデルカードの右側下のゴミ箱をクリックして表示されるダイアログで”削除”をクリックすることで一覧から削除される。ちなみにお気に入り登録も可能。
  3. “Preview”欄の”Input Device”から接続したWebカメラを選択する。このとき、モデルの動きと表情を確認することができる。表情については5種類(標準含む)から確認できる。
  4. スタートをクリックすることでトラッキングとモデルへの反映が開始される。使用中はいつでも左下の”BACK”で終了が可能である。
RiBLA BCのメイン画面と開始画面
RiBLA BCのメイン画面での設定(選択)と、任意のモデルを選択して開始したところ。開始前に表情や動きを見ることができ、開始後はいつでもメインメニューに戻ることができる。

シンプルなメニュー画面であり、この手のソフトウェアにありがちな「ドラッグ&ドロップ」による追加ができない点についても、RiBLA BCでは対応しているのでモデル追加の手間が省ける。使わなくなったモデルについては一覧からの削除も簡単に行えるので、管理しやすいのは利点と言える。また、表情や動きの確認も開始前にある程度できるため、使用イメージも掴みやすいのである。

使用したいモデルを選択した状態で”START”をクリックすることで、数秒のロードとカメラの読み込みの後、トラッキングが開始される。開始までに少々ラグがあるので、開始までは一応、正面を向いておくことをおすすめする。なお開始後はいつでも”BACK”でトラッキング終了、メインメニューへ戻ることができるようになっている。休憩したいときに一旦終了できる利点は大きい。

RiBLA BCのOBSへの反映:透過処理も加えて

各種設定項目は存在するが、それらは一旦無視してRiBLA BCをOBSに取り込む方法を解説する。ここではノーマルのOBSを使用しているものとして話を進める。OBSとRiBLA BCを起動し、モデルを選択して開始しているところから、次の手順で取り込む。

  1. OBSからゲームキャプチャとして任意の名前で新規ソースを作成する。モード「特定のウィンドウをキャプチャ」ウィンドウ「[RiBLA-Broadcast.exe]RiBLA-Broadcast」一致優先順位はデフォルトにする。また、「透過を許可」をチェックし、「カーソルをキャプチャ」のチェックを外しておく。
  2. RiBLA BCで表示切替を「設定ウィンドウ」(OFF)「全画面表示」(ON)に変更する。全画面表示の際、左側にカーソルを置くとメニューが表示されるが、離すと時間でメニューは閉じる。
  3. OBSで取り込んだソースに対してフィルタをかける。フィルタの種類は「クロマキー」を選択する。ほとんどの場合背景は三原色の単色を採用していることであろう。対象の色に合わせて「色キーの種類」を変更し、他は必要に応じて調整する。モデルによっては背景色を変更し、実際の配信環境・画面構成に応じて配置場所や大きさを変えること。
RiBLA BCをOBSに取り込む
RiBLA BCをOBSに取り込み、クロマキーを使用して透過するところまでを行ったもの。これで使用する準備は整った。

導入方法は至って簡単で、他のモデルを動かすソフトウェアと大して変わらない。ゲームキャプチャでOBSに取り込めるというのも利点であり、これにより設定完了後はウィンドウが非アクティブ化しても(省電力設定などで非アクティブ時、自動で終了するなどの設定を切っていれば)何の問題もなくトラッキングを行い、そしてその結果を(OBSに)表示することができる。ここまでできれば、まず第一段階は完了となる。

もっと深くへ、RiBLA Broadcast

RiBLA BCの設定項目は2タイプあり、動かしている間に設定できるものと、設定画面を呼び出して設定するものである。前者はモデルや認識に使用するカメラについての設定項目、後者は背景や明るさといった環境設定についての項目が多い。これらについて、解説可能な範囲で見ていくこととする。




動かしている状態で設定できる項目

はじめに、どれくらいの設定項目があるのか画像で示す。以下の画像を参考とする。

モデル設定可能項目集
RiBLA BCのモデルを動かす画面で設定できる内容の全て。モデル動作中にこれらの項目で見た目の調整を行う。

このうち「設定ウィンドウ」については全画面モード中でも変更可能な項目となる。どのような調整ができるかをそれぞれ見ていく。なお、殆どの項目は付属の説明書でその意味が分かるようになっているため、それと併用して見ていくといい。

キャラクター表示設定

このセクションは、キャラクター表示の調整が主となる。それぞれは以下の効果がある。

  • 焦点距離:カメラの焦点距離を調整する。通常は変更する必要はない。デフォルトより下げると(左方向)酷いことになる。
  • ズーム:拡大・縮小を行う。左が拡大し、右が縮小となる。モデルに対してマウスホイールを転がすことでもズームを変更できる。
  • 回転:マウスの右クリックで回転可能で、その際に上下左右「同時」に動かすか、或いは上下または左右「個別」に動かすかを選択できる。向きの調整の際に使用する。
  • 平行移動:マウスの左クリックのホールドでモデルの位置を移動する。無効にすると左クリックをホールドしても移動しなくなる。位置を固定する場合は無効、移動するときは有効で使い分けられる。
  • モデルを見る:移動しすぎてめちゃくちゃな位置に飛んでしまった場合、これでデフォルトの位置に呼び戻すことができる。回転の結果やカメラの焦点距離・ズームはそのまま。

この点については実際に使えばわかるため、特に画像は用意しない。

表情認識の設定

このセクションは、表情認識に関わるものを調整する。AIを使用する関係から、カメラを使った表情認識がかなり優秀である。それぞれは以下の効果がある。

  • 表情認識:表情認識を有効または無効にするかどうかを設定する。有効にすると表情を読み取ってそれをモデルに反映し、無効にすれば表情認識は行わない。
  • リップシンク切替:リップシンクをどちらで行うかを指定する。デフォルトはマイクであり、おそらくこれが最もやりやすいであろう。RiBLA BCではカメラベースで行うこともできる。カメラにした場合、次の項目がオープンになる。
    • カメラとの距離:自身のカメラとの距離を示す。左が遠い、右が近い、中央がちょうどである。スライダーは距離に反応して自動で動き、これをちょうどになるよう調整する。補正もできるようだが、あまり効果はない模様
    • 口の動き(カメラ):口の動きの早さを指定できる。遅くするとねっとり動き、早くすると瞬間的に開いたり閉じたりする。
    • 補足:カメラ性能に依存するのか、私が使用したときには口が開きっぱなしになることが多かった。
  • まばたきの速度:まばたきの速度を変更する。
  • 口の開く大きさ:口の開く大きさを調整する。
  • 口の開きやすさ:口を開きやすさを調整する。
  • 表情の更新速度:表情の更新速度(頻度)を変更する。左に最大で表情がほぼ変わらなくなる。右に最大でほぼリアルタイムで変わる。
  • カメラの正面設定:現在カメラが認識している向きを正面に設定する。正面の補正に使用する。
  • プルダウンメニュー:カメラ目線・目線トラック・正面の3つが選べる。カメラ目線はモデルが常にこちらを見る。目線トラックは現実で見ている方向に目を動かす。正面は目が動かなくなる設定となっている。
  • 設定保存:この設定を保存する。保存先は左の”Config Setting”の現在セットされているところになる。設定はプリセットで3つのみで、この3つの中にそれぞれの設定を保存する。なお、カメラ設定は別で保存するため、こちらには反映されない。
目線のそれぞれの効果
プルダウンメニューのそれぞれの設定のイメージ。最もわかりやすい側面からの目の状態を写している。それぞれの特徴を知り、使い分けるといい。

AIを使用している関係で表情認識についてはかなり優秀で、下の表情を”AUTO”に設定している場合、カメラで読み取った結果を分析し、「現実の顔」に近い表情を自動で変化させる。他のソフトウェアでは特定のキーに仕込んで、それを押すことで表情を変化させるという使い方が一般的である中で、自動で変化してくれるのは便利であり、自分は作業に集中できる。また、表情の更新頻度はスライダーで感覚的に変えられ、更新頻度を上げればほぼリアルタイム変化となる。

もちろん従来の特定キー変化の設定もでき、これは後述する。現在は登録した表情のみであるが、AIの進化が行われれば登録していない独自の表情を出すことも可能になると思われる。ただし、負荷がかかることは容易に想像でき、その場合は使用するPCの強化も必須事項となってくるであろう。ここは自分の使用するPC、或いは予算との相談となる。




顔と体の傾き調整

このセクションは、顔と体の傾きについて調整を行う。これは動きとリアリティに関わってくる部分である。それぞれは以下の効果がある。

  • 顔の傾き(前後)・顔の傾き(左右):顔(というより頭全体)をどこまで傾けるかを調整する。
  • 顔のひねり:顔(というより首)をどこまでひねるかを調整する。
  • 体の傾き(左右):体全体をどこまで傾けるかを調整する。
  • 体のひねり:体全体をどこまで傾けるかを調整する。
  • 度合・閾値:デフォルトは度合にセットされている。度合の場合は左で全く動かさない、右で軟体生物の如く動かす。閾値の場合は全て最大値になっており、これを左方向に動かして小さくしていくことで調整する構造になっている。
  • 補足:基本的にデフォルトで変更する必要はなく、もし動きが気に入らないなら調整する、くらいで良い。

これらの項目は余程動きが気になるとか、もう少し動きを滑らかにしたいといった要求がない限りはデフォルトのままで問題ない。逆に少し動きすぎて気になるときは、値を少々下げてやると動きは落ち着くはずである。

背景とライティング

このセクションは、背景と光(ライト)の設定を変更する。それぞれは以下の効果がある。

  • 背景:RGBをスライダーで調整する。数値ではないので正確な調整はここでは難しい。別画面の「設定」で細かく調整できる。
  • 環境光:通常の光。一定値以上にしても効果がない。後述のBloomや露光を有効にしている場合は調整することで、写真を撮るような光加減が再現できる。
  • Bloom:ぼかしを調整する。ぼかしすぎると顔が消失するので、その場合は環境光を調整する。
  • 露光:露光を調整する。上げすぎると細い線が消失するので、この場合も環境光を調整する。
  • ライトの色:ライトの色についてRGBをスライダーで調整する。これも別画面の「設定」で細かく調整できる。
光のパターンとそれぞれの見え方
環境光・Bloom・露光をそれぞれ調整したときのイメージ。環境光を低くすると黒くなってモデルが見えなくなるので、環境光は常にONである。露光はよくわからないが、Bloomは使い勝手がある。

カメラの専門的知識は持っているわけではないので、エフェクトについては詳しくはわからない。なので感覚的に調整できるという部分は知識のない人にとっては助かるものである。Bloomはうまく使えば光属性的な演出にも使えるため、神々しい感じのモデルを持っている人は試してみるといいだろう。

下側のボタンの解説

画面下側にもボタンがある。それぞれの効果や意味は以下のようになっている。

  • 表情一覧(左側):表情のボタンがあり、デフォルトはAUTO。表情認識はAUTOの時のみ有効で、それ以外の表情に設定している場合は表情認識を行わない3)正確には、表情認識は行われているが設定されている表情を優先している。表情認識自体は「表情認識の設定/表情認識」で有効/無効を切り替える。。変えたいボタンをクリックで表情を切り替える。
  • カメラ(右中央寄り):カメラのスイッチングを行う。デフォルトカメラとカスタムカメラがあり、カスタムカメラは自分で設定し、その情報を3個まで記録できる。デフォルトのカメラは1が正面、2がモデルに対して右上から、3がやや左下からのアングルである。
    • プルダウンメニュー:カメラの設定を変更する。Defaultはデフォルトのカメラ(先の1~3のアングル)、Customは自分で登録したカメラアングルを呼び出すモード、Saveは1~3の好きなところに現在のカメラアングルを保存するモードとなる。Customは保存していない場合、カメラボタンはグレーアウトする。
  • モデルの姿勢:プルダウンメニューから立ち状態・椅子に座った状態(ハンドトラッキング有効)・椅子に座った状態(ハンドトラッキング無効)を選択できる。ゲームや作業内容によって切り替えると見え方が良くなる。
カメラワーク及び姿勢
カメラワーク(デフォルト)とモデルの姿勢イメージ。デフォルトのカメラを使うことでモデルの位置を元に戻すことができる。またモデルの姿勢のうち、座っている状態で手をトラッキングしない設定があり、これは動きを抑えたいときに有効である。

モデルを移動しまくると、元に戻すのに苦労することは多い。その場合はデフォルトのカメラの1番を使用して初期位置に戻すことができる。他のアングルは、横向きにしたいときに使えるものとなるであろう。また、モデルの姿勢を立ち・座り・座り(トラッキングなし)から選択することができ、多くの場合は座って物事をすることが多いので2番目の座り状態を使うことが多くなるはずだ。なお、座り状態でハンドトラッキングを行わないものもあるので、手を動かしたくない時はこれを使用するといい。




設定画面で設定できる項目

ここまではモデルを動かしている状態で設定できる項目について解説したが、設定画面(歯車マーク)で設定できることも存在する。これについても項目毎に解説していく。以下に全ての項目を1つにまとめたものを掲載する。

設定画面で設定できる項目全集
設定画面で設定できる項目の全てを概要として画像化したもの。一部の項目は全く同じものがあるため、その場合は省略する。

背景

背景について設定する。モデルを動かしている状態では単に背景の色しか調整できなかったが、この画面では背景「画像」をセットすることができる。デフォルトで4つ用意されており、それ以外にもユーザー自身で画像を追加することができるようになっている。ただし追加してもすぐには適用されず、一覧に追加されるだけなので、使用する場合は一覧から選択する形となる。ただ、拡張子の指定がなされていないので、対応していないものでも選択できてしまうのは少々問題である。この点は改善すべきところとなる。

なお、追加した背景については不要になったら一覧から削除でき、背景画像が不要になった場合は”RESET IMAGE”をクリックすることで背景を色背景に戻すことができる。RiBLA BCでは背景は緑であることを前提として設計されているようで、1クリックでGBにできるボタンもある。この辺は覚えておくと楽である。

明るさ

明るさの項目自体は動かしている状態と同じものであるが、ここでは数値化されているので設定がしやすくなっている。環境光・露光は0.1単位、Bloomは1単位での調整が可能である。ただし調整自体はスライダーであり、しかも詳細な値が表示されないので、ここは個人的にもやもやしてしまうことだ。ここは小数点第2~3位くらいまでは表示した方がわかりやすい。

ライトの色は0~255で1単位での調整が可能である。数値化されている分、調整はこちらの方がしやすいであろう。

トラッキング

トラッキングの方法をiFacialMocap経由にする設定ができる。これはiPhone X以降のみの対応である。私はiPhoneを持っていないので検証不可能である。

カメラ操作

モデルを動かしている間、カメラの映りを調整するために右クリックで回転、左クリックで平行移動を行った。この設定がデフォルトであるが、これを逆転させることができる。この部分はお好みに合わせての調整となる。

リップシンク

リップシンクの対象をマイクとするか、Webカメラとするかを決定できる。デフォルトはマイクである。設定自体は動かしている間でも設定できるが、こちらでは感度設定も行える。ちゃんと音声は認識しているのに動きが悪いと感じる場合にはこの感度を操作することで、ちゃんと動いてくれるようになる。これをカメラベースにした場合、「口閉じ検出」と「口角の検出」をスライダーで調整する。ただ、カメラベースはその性能にも依存するので、理由がない限りはマイクベースに設定しておくと楽である。

表情設定

ここでは表情をキーの組み合わせで呼び出す設定が行える。RibLA BCでは「共通キー+対応させた表情キー」の同時押しで呼び出す形式となっており、A~Z, 0~9のみ使用できる。各種コマンドキーやファンクションキーは使用できない。登録方法は登録したい内容のキーについて右クリックした後、対応させたいキーを押下する。これを設定しておくことで、わざわざマウスを動かして表情を切り替えるということをしなくて済むのである。

UI設定

テーマをライトかダークのどちらに変更する、操作パネルの位置を上にするか下にする、エラー発生時はWebcamの再起動を試みる、の3つがある。これもお好みである。

3つの設定を保存できるRiBLA BC

左側にはプルダウンメニューがあり、OptionA~Cの3つを選択できるようになっている。3つまでしか作れないが、それぞれ背景とライトの設定を残すには便利で、一度設定を保存しておけばいちいち調整する必要もなくなる。保存方法は任意に調整した後30秒くらい待つか、”BACK”で戻ることである。最も安定するのが”BACK”で戻ることで、こうすることで確実に保存できる。保存しておけば、シーンごとの切り替えも容易になるというものだ。

なお、下に小さく「前回の設定」というチェックボックスがあるのだが、これの効果は不明で、どういうものかの説明は公式にもなかった。新しく追加された機能ではあるが、解説がなければ使えないのでこの部分の解説が追加されることを期待する。

全体的な解説は以上となる。

スポンサーリンク




スポンサーリンク

RiBLA BCの気になるところ

要求されるスペックは高い

検証前に公式が発表しているデータを確認して、その上でメインで使用中の8570wでRiBLA BCの検証を行った。その時に分かったのが、要求されるスペックは高いということである。一部の検証機材の組み合わせがガバガバであったものの、快適に動かすには高スペックであるべきなのは間違いないことである。これはVSeeFaceを検証したときにもわかっていたことだ。幸いVSeeFaceにおいては低スペックPC向けの設定があったので使えることには使えていたが、RiBLA BCにはそのような設定はない。

そこで、RiBLA BCを使って配信することを想定し、実際の配信環境に非常に近い状態で、配信で使用するソフトウェア・ツールを全て同時に起動・使用している状態で、1分程度の録画でテストを行った。その際のテスト動画が以下である。

 

今回は温度についても観察した。実際に配信を行っているわけではないのでまだ負荷は軽いが、それでもタスクマネージャーのタブ切替には時間がかかっており、マウス操作もやや引っかかる感覚がある。CPUに関してはターボブーストを切っていても80℃前後を維持する状態であり、GPUも3Dで半分消費している。これでターボブーストを行えば、いくら法人向けといえど熱で損傷する危険がある。なお今回はChromeを完全に停止した上で検証しているので多少の余裕はあるが、それでも運用にはきついものとなる。

したがってRiBLA BCでモデルを表示させてトラッキングを行う場合、ある程度のスペックは絶対に必要である。最低ラインとしては第6世代i7+GTX 1050Tiが理想である。これは過剰な負荷を避けて熱による破損リスクを下げること、OBSのスムーズなエンコード(スキップ/ドロップフレーム数の可能な限りの削減)のためには必要なことなので、もし使うのであればデスクトップか高性能ゲーミングラップトップを使うことが推奨される。

気になるところ:動きが「ミラー」である

モデルを動かす時、通常はリスナーに対して正面が見えるように配置及び動きを反映させる。このとき、自分の左右とモデルの左右は逆になる。要するに自分の左側はモデルの右側、自分の右側はモデルの左側ということになる。なので通常なら自分(モデルの元となる人)が右側の動きをしたなら、モデルには左側の動きをさせるのが見え方として自然である。

だがRiBLA BCは少し抜けているのか、モデルの動きは動かした側と同じ側を反映する。つまり、右腕を動かしたなら左腕が動いてしまうという、見え方としては重大な欠陥がある。また、頭や身体の動きも右方向に動かせばモデルは左方向に向いてしまうわけで、見え方の関係からすれば使用に支障がある。一応の解決策としてはモデルをOBSや何かしらのソフトウェアを介して反転させることだが、その手間を考えるとやはり面倒である。優先すべき改善点となるであろう。

現時点でβ版のため、これからの改善に期待する

VTuberにとって必須となる、モデルを動かすソフトウェア。殆どはカメラ1つで行えるが、それは顔だけをトラッキングするものが多かった。手の動きもトラッキングするには、通常はLeap Motionを併用し、同時にこれにソフトウェアが対応している必要がある。しかし現状、Leap Motionは「高い」。新品こそ存在するが過去の発売価格よりも明らかに高いために、今は本当に時期が悪いと言える。中古品は発売当初価格に落ち着いているが、それでも高い。

それを解決する方法が、AIを利用することであった。現代においてはAIや機械学習を使ったソフトウェア・ツール・サービスは当たり前のように登場してきており、これを利用しようという流れは当然、理解できるものである。ただ、実装は難しい。それ故、企業製品にそれらが使用されていることが多い。そして今回はエイベックス・テクノロジーズがVTuberを含む多くのクリエイターの支援を目的として、β版のソフトである”RiBLA Broadcast”を、現時点では無料配布している。無論、出始めたばかりのこれは完全ではなく、実際に使用してみてわかったいくつかの改善すべき点はある。だがこれが他の同じ目的のソフトウェアよりも優れている点が、Webカメラ1つで手もトラッキングできるというところだ。この部分は強みと言えるわけで、これは私も含めた「機材がないことに困っている人」を助けることにも繋がる。まだまだ改善点が多いことにはエイベックス・テクノロジーズも理解しているはずで、これからの改善に期待する。

このソフトウェアが世界に流通すれば、より「やりやすい」世界になるはずだ。

 

以上、”RiBLA Broadcast”使ってみた!、であった。次は何の記事で会おうかな?

 

KIBEKIN at 12:48 July 26th, 2022


スポンサーリンク



脚注

脚注
本文へ1 i7-4700HQはモバイル向けのCPUであり、ラップトップに採用されている。しかし生産開始時期が2013年第2期(4~6月)であり、GTX 1050-Tiは販売開始が2016年第4期(10~12月)で、そのモバイル版は2017年第1期(1~3月)となっている。この関係を考えたとき、この組み合わせは通常あり得ないものになる。よってこの情報の信憑性は低い。
本文へ2 海外、特にアメリカにおける名無し女性の名称。これをそのまま名前としている。
本文へ3 正確には、表情認識は行われているが設定されている表情を優先している。表情認識自体は「表情認識の設定/表情認識」で有効/無効を切り替える。
KIBEKIN
会社員という働き方が合わないのに会社員になってしまってから、半ば自分からリタイア後ブログクリエイターとなり活動してきた社会不適合者。VRやVTuberに触れる機会が増え、今後はリスペクトだけではなく自分を作る意味を込め、VTuberならぬVBlogCreator"KIBEKIN"として新しいスタートを切る。


コメントを残す

メールアドレスが公開されることはありません。
名前は必須項目となります。記入をお願いいたします。

CAPTCHA


日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

Ads Blocker Image Powered by Code Help Pro

広告ブロックを検知しました。 | Ad block detected.

ブラウザのアドオン、及びブラウザに内蔵されているアドブロック機能により、広告ブロックが行われていることが検知されました。
本ブログは広告収入により運営されており、広告ブロックは正当な理由の下で配信されている広告をも阻害することとなり、運営が非常に困難になります。
この表示は広告ブロック機能の無効化、あるいはホワイトリストへの追加を行った上で、更新を行うことで消すことができます。または、広告ブロック機能のないブラウザで閲覧ください。
広告で嫌な思いをしたことがあるとは思いますが、一律に広告をブロックすることで失われるコンテンツも存在します。そのことへのご理解とご協力をお願いします。

We have detected that ad-blocking is being performed by browser add-ons and the browser’s built-in ad-blocking function.
This blog is operated by advertising revenue, and ad blocking will interfere with advertisements that are also being served under legitimate reasons, making it very difficult to operate.
This display can be removed by disabling the ad-blocking function or adding it to the white list and then updating it. Alternatively, please view the site with a browser that does not have an ad-blocking function.
We understand that you may have had bad experiences with advertisements, but there are some contents that are lost by uniformly blocking advertisements. We ask for your understanding and cooperation in this matter.

Powered By
Best Wordpress Adblock Detecting Plugin | CHP Adblock