タグ: VTuber

この記事の概要を簡単まとめ！

• モデルのトラッキングの際に起きる、機材問題
• Leap Motionは簡単には手に入らないのでカメラだけでやるしかない
• エイベックス・テクノロジーズが提案したのは”AI”による補正
• 使用するのは現在β版として無料配布中の最新ツール”RiBLA Broadcast“
• 対応するモデル形式はVRM、必要な物はWebカメラ1台
• 設定項目も割と多く存在し、細かく決めることもできる
• 要求されるスペックはかなり高い、低スペックPCではまず無理
• 動きが自分に対するミラーなのはいただけない
• 現時点でβ版のため、これからの改善に期待する

VTuberを観るだけだった私は、VTuberとVRに関連するソフトウェア・ツールについて調べているうちに1つの結論に達した。自分が実際にVTuberになって使わなければ、そのソフトウェア・ツールの解説は不十分だと言わざるを得ない。そうして今はVTuberとして活動するための準備をしつつ、これから絶対使うであろうものについても調査をしつつ、万全を期した状態で臨めるよう調整中である。

モデルを動かすためのソフトウェアについては、フリーソフトで高機能、周辺機器と外部ソフトウェアとの連携が可能である、VSeeFaceについて取り上げた。Webカメラ1つあればかなり高いトラッキング精度で顔をしっかり再現してくれるもので、原則として高性能なPCでなければできなかったそれも、低スペック向けの設定を用意していてそのPCでも使用できる。とはいえOBSでのエンコードを前提として、配信必須ツールを同時に使用しているのであれば要求リソースは高いものを要求されるので、8570wで全てをこなすなど以ての外であった。

もう1つの問題点としては、手や腕の動きを再現するのにLeap Motionが別途必要であること。しかし現状は「高い物」になってしまったそれを入手することは難しい。よって手や腕のトラッキングは無理かと諦めていた時に見つけたのが、エイベックス・テクノロジーズが開発し、現在β版として提供している”RiBLA Broadcast”だった。AIを駆使して手や腕の動き、表情を推定・認識して反映するというもの。あらゆるものにAIが組み込まれる時代にこれは最適解となるか、実際に使用して確かめることにした。

この記事の概要を簡単まとめ！

• VTuberに必要な物は多い、揃えるには金がかかる
• リアルに見せるには現実とのリンクを行う必要がある
• Webカメラは前提、ソフトウェアは様々あり有料も存在する
• フリーソフトでありながら高機能なソフトウェア”VSeeFace”を試すことに
• Webカメラが1つあれば、顔のトラッキングは完璧に行ってくれる
• 設定を最適化すれば低スペックでもそれなりに動かせる
• 外部周辺機器とソフトウェアに対応する
• 慣れてきたら腕・手・全身トラッキングも可能になる
• 難点：VSeeFace自体を閉じないと止められない
• これ1つでVTuberの基本は達成できる

ある物事を理解するには、その物事に何らかの形で関わることが最適解である。そう感じている私は、VTuber・VR関連の調査のために自分自身がVTuberに近いことを行い、それによって得られた情報をここにまとめている。この手の物はそれをやっている人から話を聞いてそれをまとめるということをしてもいいとは思うが、しかし実際にやらなければわからないことも多いわけで、正確な情報のためには自分自身でやることは大事である。

今回取り上げるものその1つとなる。VTuberの3Dモデルを動かす際に必要なことといえば、現実との動きをリンクさせ、それを表示するソフトウェアだ。これがなければ、リアリティを出すことは難しい。昔は限定的にしかなかったそのソフトウェアも、有料・無料問わず様々なものが作られては市場に流れている。誰がどれを使っているかについては、把握はほぼ不可能だ。

そのソフトウェアの1つとして、かなり高い評価を得ているものがある。それが”VSeeFace”である。これはフリーのソフトウェアとなるが、その完成度は有料のソフトウェア並で、これ単体でかなりトラッキングするようで、細かい部分のトラッキングに関しては必要な機材を入手すれば、殆どが対応しているのですぐにでもトラッキングの設定やテストができるというものになっている。私の周りでは卯塚ウウ氏が使用中であり、さらにこのソフトウェア自体が他のVTuber関連ソフトウェアの解説の基盤にもなる。まずはVseeFaceが一体どのようなものなのか。これをしっかり見ていくこととする。

この記事の概要を簡単まとめ！

• 字幕と翻訳のゆかNEOとコメントツールのわんコメ
• 双方での連携が強化され、連携に至る設定機能も簡易化が目指されている
• 連携することで使える特別な機能が存在する
• 連携による目玉機能がわんコメテンプレートをゆかNEOで使用できること
• 以前はテンプレートを正式にサポートしていないため使用が難しかった
• バージョン更新によってテンプレートを簡単にゆかNEOに導入可能になった
• テンプレートを使用した場合は認識結果が残るタイプとなる
• Wordpartyも連携することでゆかNEOの音声認識経由で動作させられる
• 編集はわんコメから行うが、直接参照のためリロードだけで反映
• 折角連携するのなら、機能を知ってフル活用していく

あるソフトウェアないしツールがある。それは決してメジャーではないが、必要とする人にとっては重宝されるもので、更新があれば必ず更新を行って最新版にして使用することが多いものである。だが更新情報を見て、今まで存在していた便利機能が削除されてしまうが、最新版にしなければ使えないと分かっているとき。人は「進化」を止めてしまうのだろうか。或いは妥協や代替案で乗り切るのか。このあたりは実に悩ましいところである。

気になったので書いてみたら意外に反響が多いシリーズが、配信者向けの補助ツール解説である。メインで書いているのはゆかコネ/ゆかNEOとわんコメで、それに関連するツール、さらにはVTuberがよく使うであろうツールについても解説をするようになった。また、ゆかNEOとわんコメについては、ゆかコネ公式ガイドclea氏とアンバサダーの卯塚ウウ(うーちゃん, わんコメアンバサダー兼任)から情報を貰って調査に役立てている。特にうーちゃんは最新の情報をよく収集しているため、そこから最新情報を知ることができる。

そこから得たゆかNEOとわんコメの最新情報で、最新版において連携機能がさらに強化された結果、わんコメのテンプレートをゆかNEOで利用しやすくなったのである。それまで非公式ながらサポートしていた機能であるが、どうしても設定と導入が面倒であった。その苦労を一気に解消し、より使いやすく、わかりやすくなったゆかNEOとわんコメ。でも一体何がどうなっているかがよくわからないという人も多いはずなので、記事ベース解説によって、これを読んだらもう使えるようになっている、を目指すのが今回の趣旨である。

この記事の概要を簡単まとめ！

• 配信そのものは低スペックPCでも低品質設定で可能である
• 1つのPCで配信とゲームその他の作業をするには高スペックが必須
• ミドルクラスでゲーム・作業、低スペックで配信を分離する手法がある
• HDMIの映像をPCに映す場合キャプチャーボードが必須
• 音声も出力したい場合、少しだけ手間がかかる
• 一度設定が完璧なら、次回以降の接続は楽にできる
• PCを2台使用する関係から読み上げ機能などは使用可能でも実質使えない
• ゲーミングラップトップはその性質上相性が良い
• 分離すれば必ずしも高性能で固めなくてもいいと証明できる

配信関連技術を調査するようになってから、おおよそ7ヶ月が経つ。元々は声を出さずして喋った内容を表示する方法を探していたわけだが、それが結果的にVTuberをはじめとする配信の世界に足を踏み入れるきっかけにもなったのである。そうして今、ゆかりねっとコネクター(NEO)やわんコメを使用する人を中心に、その繋がりを見せている。その人からの悩みは、ブログで取り上げる人が少なすぎるということである。なので積極的に取り上げていくのがいいようだ。

さて、配信を行うのが一般化した現代において、1つのPCでゲームをしながら、VTuberなら自身の皮を表示させてWebカメラを利用してトラッキングを行い、そしてOBS等を利用して配信を行う。1つのPCでこれらを行う場合、CPU・GPU・RAMが全て強くなければならない。それに加えて水冷ユニットも必須になる。それくらいがなければまともに動かすことができないであろう。しかしそれをクリアするほどのスペックを持つ、ハイエンドモデルのパーツは総じて高額であり、それこそ石油王でなければ無理と言い切れるものになる。

だが、ミドルレンジのものなら手に入りやすく、中古市場にも流れやすい。なので2台目を作ることは容易である。また、キャプチャーボードを利用することで別のPCの映像を映すことができる。これを利用して、ゲームないし作業用と配信用(+VTuberの皮を動かすソフトウェア)で分離すれば、負荷分散によって安定して配信が行えるはずである。今回は実際に分離配信している私がその分離配信のメリットとその方法について解説していく。

この記事の概要を簡単まとめ！

• 分けて解説すると分かりやすいわんコメ解説記事第3回目
• 第2回目は一部テンプレート解説と3.1.0以降の変更について解説した
• わんコメでも取得したコメントを翻訳できればより楽になる
• 翻訳と字幕の代表「ゆかりねっとコネクターNEO」と連携ができるわんコメ
• ゆかNEOの接続設定をわんコメに入力して相互通信が可能となる
• 連携すると取得したコメントがゆかNEO経由で翻訳されるようになる
• 配信全体、ユーザー単位、コメント単位で翻訳対象を決められる
• 読み上げ機能も翻訳に対して読み上げることが可能になる
• 両方を使いこなせば、隙のない配信ができる

最近に感じることは、技術の悪用が多いということだ。私のブログに対する不特定多数の、本来アクセスの必要ないphpファイルへのアクセス、リファラースパム、DDoS攻撃。これらもプログラミングによって自動で攻撃するように設計されたものが多くなっている。加えて痕跡を残さないためにVPNやプロキシを経由することも多くなっている。本来このような使い方は想定されていないわけで、技術を正しく使うことができない人間の姿をした蟲が多くなってしまっている現状を省みると、インターネットをライセンス制とすべきではないかという思いが強くなっている。

書きたいことが多くなるので分けて書いてきたわんコメ解説記事も早くも第3回目となった。これまで書いてきたのは初歩的な導入方法、配信で実際にどう見えるか、特定のテンプレートの動作解説、3.1.0以降の更新内容についてである。ここで書いている情報は実際に調査した結果をもとにしているので、ドキュメントを見ただけではわからないことの一部をカバーするような形となっている。流石に全部を網羅するのは不可能だ。

第3回目となる今回は、わんコメとゆかNEOを連携させて使用することである。2つのツールの連携についてはゆかコネ3周年イベントの際に予定が明示され、更新履歴からおそらく2.1.0あたりで導入されていたものと思われる。ゆかNEOは字幕表示と翻訳において現在最も使われているであろうツールであり、そこから翻訳機能を借りて、わんコメで取得したコメントも翻訳しようという試みが行われた。翻訳もできる、コメントも装飾できる、字幕と翻訳も表示する。一度にこれらができれば配信において隙がなくなるであろうこれ、効果を確かめるため自分で検証し、その結果をここに記していく。