【VRのおともに】ゆかりねっとコネクターNEOを使いこなす~VR編~

この記事の概要を簡単まとめ!

  • 配信必須ツールの定番、翻訳字幕のゆかNEOとコメント関係のわんコメ
  • 通常は配信で使用するものであり、現在はかなりの利用者と資料がある
  • ゆかNEOはVRでの使用をサポートしている
  • 使用者は存在するが明確な資料は少ないため書くことに
  • 現時点で確認できる対応先はSteamVR, VRChat, VirtualCast
  • 前提として同一のPC上にゆかNEO・わんコメと対応するソフトが存在することが条件
  • 基本となるVRオーバーレイは字幕以外のものも出すことができる
  • VirtualCastはTSOで提供中のVCIを利用して表示できる(はずだった)
  • VRChatはOSCを支援するだけのもので、字幕表示機能ではない
  • 結論:ゆかNEOには土台がある、それを生かせばVRでも使える

VR方面の発展は、他の技術と比べるとどうしても遅いと感じる。これは大手のVRへの参入が少ないせいだろう。特に国内のVR参入について積極的な企業がどうしても少ないように感じており、そのせいもあってまだプラットフォームやデバイスといったものが不十分かつ未発達のようにも思える。特にVRデバイスは、安さの殿堂でもあったMeta Quest2が値上げされ、結局カテゴリー全体で高級デバイスに逆戻りであり、VRの発展が一時的に停滞しかねない事態が発生した。全世界に衝撃が走ったのは、言うまでもない。

VRコンテンツの代名詞とも言えるVR-SNSだが、最前線にあるVRChatは制作・運営の中心はアメリカにある故、言語の壁が大きく立ちはだかる。普段ならDeepLだったりの翻訳ツールなどを使えば簡単に意思疎通が可能だが、VRはその特性上、従来の方法を利用できない。配信でもないのでゆかNEOの翻訳と字幕を利用することも難しいというのがこれまでのVR特有の問題であった。

それでも開発者のNao氏は諦めなかった。ゆかNEOを改良し、いくつかのVRプラットフォームについてはそのプラットフォームで追加の設定や準備を行うことで、配信で使うような字幕と翻訳を出すことを可能にした。一部はゆかNEO以外のものもVR上に映し出すことができるようになっている。字幕はもとより翻訳もVR上で出せるようになれば、VRでも言語の壁を越えることと聴覚障害サポートに繋がり、活動の幅も広がるはず。よって今回はVR検証を行っていく。

【AIの力を借りてトラッキング】”RiBLA Broadcast”使ってみた!

この記事の概要を簡単まとめ!

  • モデルのトラッキングの際に起きる、機材問題
  • Leap Motionは簡単には手に入らないのでカメラだけでやるしかない
  • エイベックス・テクノロジーズが提案したのは”AI”による補正
  • 使用するのは現在β版として無料配布中の最新ツール”RiBLA Broadcast
  • 対応するモデル形式はVRM、必要な物はWebカメラ1台
  • 設定項目も割と多く存在し、細かく決めることもできる
  • 要求されるスペックはかなり高い、低スペックPCではまず無理
  • 動きが自分に対するミラーなのはいただけない
  • 現時点でβ版のため、これからの改善に期待する

VTuberを観るだけだった私は、VTuberとVRに関連するソフトウェア・ツールについて調べているうちに1つの結論に達した。自分が実際にVTuberになって使わなければ、そのソフトウェア・ツールの解説は不十分だと言わざるを得ない。そうして今はVTuberとして活動するための準備をしつつ、これから絶対使うであろうものについても調査をしつつ、万全を期した状態で臨めるよう調整中である。

モデルを動かすためのソフトウェアについては、フリーソフトで高機能、周辺機器と外部ソフトウェアとの連携が可能である、VSeeFaceについて取り上げた。Webカメラ1つあればかなり高いトラッキング精度で顔をしっかり再現してくれるもので、原則として高性能なPCでなければできなかったそれも、低スペック向けの設定を用意していてそのPCでも使用できる。とはいえOBSでのエンコードを前提として、配信必須ツールを同時に使用しているのであれば要求リソースは高いものを要求されるので、8570wで全てをこなすなど以ての外であった。

もう1つの問題点としては、手や腕の動きを再現するのにLeap Motionが別途必要であること。しかし現状は「高い物」になってしまったそれを入手することは難しい。よって手や腕のトラッキングは無理かと諦めていた時に見つけたのが、エイベックス・テクノロジーズが開発し、現在β版として提供している”RiBLA Broadcast”だった。AIを駆使して手や腕の動き、表情を推定・認識して反映するというもの。あらゆるものにAIが組み込まれる時代にこれは最適解となるか、実際に使用して確かめることにした。

【フリーかつ高機能】”VSeeFace”使ってみた!~セットアップ編~

この記事の概要を簡単まとめ!

  • VTuberに必要な物は多い、揃えるには金がかかる
  • リアルに見せるには現実とのリンクを行う必要がある
  • Webカメラは前提、ソフトウェアは様々あり有料も存在する
  • フリーソフトでありながら高機能なソフトウェア”VSeeFace”を試すことに
  • Webカメラが1つあれば、顔のトラッキングは完璧に行ってくれる
  • 設定を最適化すれば低スペックでもそれなりに動かせる
  • 外部周辺機器とソフトウェアに対応する
  • 慣れてきたら腕・手・全身トラッキングも可能になる
  • 難点:VSeeFace自体を閉じないと止められない
  • これ1つでVTuberの基本は達成できる

ある物事を理解するには、その物事に何らかの形で関わることが最適解である。そう感じている私は、VTuber・VR関連の調査のために自分自身がVTuberに近いことを行い、それによって得られた情報をここにまとめている。この手の物はそれをやっている人から話を聞いてそれをまとめるということをしてもいいとは思うが、しかし実際にやらなければわからないことも多いわけで、正確な情報のためには自分自身でやることは大事である。

今回取り上げるものその1つとなる。VTuberの3Dモデルを動かす際に必要なことといえば、現実との動きをリンクさせ、それを表示するソフトウェアだ。これがなければ、リアリティを出すことは難しい。昔は限定的にしかなかったそのソフトウェアも、有料・無料問わず様々なものが作られては市場に流れている。誰がどれを使っているかについては、把握はほぼ不可能だ。

そのソフトウェアの1つとして、かなり高い評価を得ているものがある。それが”VSeeFace”である。これはフリーのソフトウェアとなるが、その完成度は有料のソフトウェア並で、これ単体でかなりトラッキングするようで、細かい部分のトラッキングに関しては必要な機材を入手すれば、殆どが対応しているのですぐにでもトラッキングの設定やテストができるというものになっている。私の周りでは卯塚ウウ氏が使用中であり、さらにこのソフトウェア自体が他のVTuber関連ソフトウェアの解説の基盤にもなる。まずはVseeFaceが一体どのようなものなのか。これをしっかり見ていくこととする。

【スタイル共有】ゆかNEO×わんコメ指南書:字幕表示をテンプレートでカスタマイズ

この記事の概要を簡単まとめ!

  • 字幕と翻訳のゆかNEOとコメントツールのわんコメ
  • 双方での連携が強化され、連携に至る設定機能も簡易化が目指されている
  • 連携することで使える特別な機能が存在する
  • 連携による目玉機能がわんコメテンプレートをゆかNEOで使用できること
  • 以前はテンプレートを正式にサポートしていないため使用が難しかった
  • バージョン更新によってテンプレートを簡単にゆかNEOに導入可能になった
  • テンプレートを使用した場合は認識結果が残るタイプとなる
  • Wordpartyも連携することでゆかNEOの音声認識経由で動作させられる
  • 編集はわんコメから行うが、直接参照のためリロードだけで反映
  • 折角連携するのなら、機能を知ってフル活用していく

あるソフトウェアないしツールがある。それは決してメジャーではないが、必要とする人にとっては重宝されるもので、更新があれば必ず更新を行って最新版にして使用することが多いものである。だが更新情報を見て、今まで存在していた便利機能が削除されてしまうが、最新版にしなければ使えないと分かっているとき。人は「進化」を止めてしまうのだろうか。或いは妥協や代替案で乗り切るのか。このあたりは実に悩ましいところである。

気になったので書いてみたら意外に反響が多いシリーズが、配信者向けの補助ツール解説である。メインで書いているのはゆかコネ/ゆかNEOとわんコメで、それに関連するツール、さらにはVTuberがよく使うであろうツールについても解説をするようになった。また、ゆかNEOとわんコメについては、ゆかコネ公式ガイドclea氏とアンバサダーの卯塚ウウ(うーちゃん, わんコメアンバサダー兼任)から情報を貰って調査に役立てている。特にうーちゃんは最新の情報をよく収集しているため、そこから最新情報を知ることができる。

そこから得たゆかNEOとわんコメの最新情報で、最新版において連携機能がさらに強化された結果、わんコメのテンプレートをゆかNEOで利用しやすくなったのである。それまで非公式ながらサポートしていた機能であるが、どうしても設定と導入が面倒であった。その苦労を一気に解消し、より使いやすく、わかりやすくなったゆかNEOとわんコメ。でも一体何がどうなっているかがよくわからないという人も多いはずなので、記事ベース解説によって、これを読んだらもう使えるようになっている、を目指すのが今回の趣旨である。

【負荷分散で安定させる】分離配信論~ゲームと配信は別々のPCで~

この記事の概要を簡単まとめ!

  • 配信そのものは低スペックPCでも低品質設定で可能である
  • 1つのPCで配信とゲームその他の作業をするには高スペックが必須
  • ミドルクラスでゲーム・作業低スペックで配信を分離する手法がある
  • HDMIの映像をPCに映す場合キャプチャーボードが必須
  • 音声も出力したい場合、少しだけ手間がかかる
  • 一度設定が完璧なら、次回以降の接続は楽にできる
  • PCを2台使用する関係から読み上げ機能などは使用可能でも実質使えない
  • ゲーミングラップトップはその性質上相性が良い
  • 分離すれば必ずしも高性能で固めなくてもいいと証明できる

配信関連技術を調査するようになってから、おおよそ7ヶ月が経つ。元々は声を出さずして喋った内容を表示する方法を探していたわけだが、それが結果的にVTuberをはじめとする配信の世界に足を踏み入れるきっかけにもなったのである。そうして今、ゆかりねっとコネクター(NEO)やわんコメを使用する人を中心に、その繋がりを見せている。その人からの悩みは、ブログで取り上げる人が少なすぎるということである。なので積極的に取り上げていくのがいいようだ。

さて、配信を行うのが一般化した現代において、1つのPCでゲームをしながら、VTuberなら自身の皮を表示させてWebカメラを利用してトラッキングを行い、そしてOBS等を利用して配信を行う。1つのPCでこれらを行う場合、CPU・GPU・RAMが全て強くなければならない。それに加えて水冷ユニットも必須になる。それくらいがなければまともに動かすことができないであろう。しかしそれをクリアするほどのスペックを持つ、ハイエンドモデルのパーツは総じて高額であり、それこそ石油王でなければ無理と言い切れるものになる。

だが、ミドルレンジのものなら手に入りやすく、中古市場にも流れやすい。なので2台目を作ることは容易である。また、キャプチャーボードを利用することで別のPCの映像を映すことができる。これを利用して、ゲームないし作業用と配信用(+VTuberの皮を動かすソフトウェア)で分離すれば、負荷分散によって安定して配信が行えるはずである。今回は実際に分離配信している私がその分離配信のメリットとその方法について解説していく。

【あの声に変える】Voidol使ってみた!~期間限定無料配布で君も手軽にボイチェン!~

この記事の概要を簡単まとめ!

  • VTuberにはある意味必須ツールとなったボイスチェンジャー
  • フリーソフト、Web連携機能、市販品とソフトウェア形態は様々にある
  • AIを駆使したボイスチェンジャーVoidol」が期間限定で無料配布される
  • 実際に使用してどのようなものなのかを確かめることにした
  • ソフトウェアをインストールしてからライセンスキーを入力する一般形式
  • ASIOに対応するVoidol, もちろん直接マイクから音声を入力できる
  • 使い続けると音声モニタに遅延する現象があることに注意
  • 追加の音声モデルも各ECサイトから購入可能
  • 使い方は人それぞれ、持っておいても損はない

「食」について考えるとき、前提が外食またはテイクアウトなのか自炊なのかで話が変わる。これは死のコロナウイルス情勢になったときに話題に上がりやすかったものである。その状況下になったときに起きたのが外食ができないためにコンビニやテイクアウトを利用した結果、店に在庫がない状況が頻発したということだ。利用者は自炊をあまりしないタイプだが、外食で済ませていた人がいかに多かったかを示すものでもあった。

さて、私自身はVTuberではなく配信者でもないのだが、どういうわけか配信において必須となるツールを解説することが1つの活動目的になりつつある現在。私はこれまで本ブログでゆかりねっとコネクター、わんコメについて書いてきた。それぞれは字幕及び翻訳、コメントの取得と表示・装飾を担当するツールで、個人開発で支援依存型のものである。いずれも現在の配信では必須ツールとなっていて、利用者も少しずつだが増加している。

ところで、VTuber=女の子のイメージが明らかに強い気がしている。私の知る限り純男性型は伝説の男(トロオドン)かclea氏以外を知らないのである。そのためか、声をボイスチェンジャーによって女の子化している人も多いわけで、加えて女の子アバターを使うと、それをどういうわけかバ美肉と呼ぶ。私はこの名称が軽蔑を含む言い方なので嫌いだが、ボイスチェンジャーも配信ツールの1つであることもわかる。そんな中、しっかりしたメーカー製ボイスチェンジャーは殆どが高額なソフトウェアだが、あるものが期間限定で無料になっていた。それを実際に使って確かめるのが今回の記事である。

【隙のない配信を可能に】「わんコメ」使ってみた!~ゆかNEO連携編~

この記事の概要を簡単まとめ!

  • 分けて解説すると分かりやすいわんコメ解説記事第3回目
  • 第2回目は一部テンプレート解説と3.1.0以降の変更について解説した
  • わんコメでも取得したコメントを翻訳できればより楽になる
  • 翻訳と字幕の代表「ゆかりねっとコネクターNEO」と連携ができるわんコメ
  • ゆかNEOの接続設定をわんコメに入力して相互通信が可能となる
  • 連携すると取得したコメントがゆかNEO経由で翻訳されるようになる
  • 配信全体、ユーザー単位、コメント単位で翻訳対象を決められる
  • 読み上げ機能も翻訳に対して読み上げることが可能になる
  • 両方を使いこなせば、隙のない配信ができる

最近に感じることは、技術の悪用が多いということだ。私のブログに対する不特定多数の、本来アクセスの必要ないphpファイルへのアクセス、リファラースパム、DDoS攻撃。これらもプログラミングによって自動で攻撃するように設計されたものが多くなっている。加えて痕跡を残さないためにVPNやプロキシを経由することも多くなっている。本来このような使い方は想定されていないわけで、技術を正しく使うことができない人間の姿をした蟲が多くなってしまっている現状を省みると、インターネットをライセンス制とすべきではないかという思いが強くなっている。

書きたいことが多くなるので分けて書いてきたわんコメ解説記事も早くも第3回目となった。これまで書いてきたのは初歩的な導入方法、配信で実際にどう見えるか、特定のテンプレートの動作解説、3.1.0以降の更新内容についてである。ここで書いている情報は実際に調査した結果をもとにしているので、ドキュメントを見ただけではわからないことの一部をカバーするような形となっている。流石に全部を網羅するのは不可能だ。

第3回目となる今回は、わんコメとゆかNEOを連携させて使用することである。2つのツールの連携についてはゆかコネ3周年イベントの際に予定が明示され、更新履歴からおそらく2.1.0あたりで導入されていたものと思われる。ゆかNEOは字幕表示と翻訳において現在最も使われているであろうツールであり、そこから翻訳機能を借りて、わんコメで取得したコメントも翻訳しようという試みが行われた。翻訳もできる、コメントも装飾できる、字幕と翻訳も表示する。一度にこれらができれば配信において隙がなくなるであろうこれ、効果を確かめるため自分で検証し、その結果をここに記していく。