【VRのおともに】ゆかりねっとコネクターNEOを使いこなす～VR編～

この記事の概要を簡単まとめ！

• 配信必須ツールの定番、翻訳字幕のゆかNEOとコメント関係のわんコメ
• 通常は配信で使用するものであり、現在はかなりの利用者と資料がある
• ゆかNEOはVRでの使用をサポートしている
• 使用者は存在するが明確な資料は少ないため書くことに
• 現時点で確認できる対応先はSteamVR, VRChat, VirtualCast
• 前提として同一のPC上にゆかNEO・わんコメと対応するソフトが存在することが条件
• 基本となるVRオーバーレイは字幕以外のものも出すことができる
• VirtualCastはTSOで提供中のVCIを利用して表示できる(はずだった)
• VRChatはOSCを支援するだけのもので、字幕表示機能ではない
• 結論：ゆかNEOには土台がある、それを生かせばVRでも使える

VR方面の発展は、他の技術と比べるとどうしても遅いと感じる。これは大手のVRへの参入が少ないせいだろう。特に国内のVR参入について積極的な企業がどうしても少ないように感じており、そのせいもあってまだプラットフォームやデバイスといったものが不十分かつ未発達のようにも思える。特にVRデバイスは、安さの殿堂でもあったMeta Quest2が値上げされ、結局カテゴリー全体で高級デバイスに逆戻りであり、VRの発展が一時的に停滞しかねない事態が発生した。全世界に衝撃が走ったのは、言うまでもない。

VRコンテンツの代名詞とも言えるVR-SNSだが、最前線にあるVRChatは制作・運営の中心はアメリカにある故、言語の壁が大きく立ちはだかる。普段ならDeepLだったりの翻訳ツールなどを使えば簡単に意思疎通が可能だが、VRはその特性上、従来の方法を利用できない。配信でもないのでゆかNEOの翻訳と字幕を利用することも難しいというのがこれまでのVR特有の問題であった。

それでも開発者のNao氏は諦めなかった。ゆかNEOを改良し、いくつかのVRプラットフォームについてはそのプラットフォームで追加の設定や準備を行うことで、配信で使うような字幕と翻訳を出すことを可能にした。一部はゆかNEO以外のものもVR上に映し出すことができるようになっている。字幕はもとより翻訳もVR上で出せるようになれば、VRでも言語の壁を越えることと聴覚障害サポートに繋がり、活動の幅も広がるはず。よって今回はVR検証を行っていく。

VRしている時でも、ゆかNEOが助けになる

活躍しまくる、ゆかりねっとコネクターNEO

配信必須ツールの定番、ゆかNEOとわんコメ

ゆかりねっとコネクター、或いはゆかりねっとコネクターNEO。おそらくどこかで一度はその名前、ツールのことを聞いているくらいには有名になった。それと同時に、コメント関係においては右に出るものがないと言えるほどに優秀なツールにわんコメがある。これもどこかで聞いたことがあるものになっているはずだ。開発者はそれぞれゆかコネ/ゆかNEOがNao氏、わんコメがアスティ氏の個人開発で、両者とも支援によって運用が継続されている状態である。主に開発継続のための資金であり、ゆかコネ/ゆかNEOについては翻訳APIの利用料支払いにも充てられる。

ゆかりねっとコネクターは、それまでゆかコネがメインだったが、ゆかNEOの利用者増加に伴ってメインがゆかNEOに変更され、現在はゆかNEOの使用が推奨されている。軽量化と設定の簡易化を目的として設計されたそれは、誰にも使いやすいものになり、多数のプラグインが搭載されて「ほぼ何でもできる」ツールとなった。現在はゆかコネ公式ガイドのclea氏を起点として、8人の第1期アンバサダーとDiscordでのサポート、非公式に動いている個人のブログや動画といったもので情報も多くなり、初めて使う人でも安心な状況になっている。

それとは別に存在していたわんコメ。「複数プラットフォームのコメントを1つのツールで表示する」という個人のプロジェクトから始まり、アスティ氏のコミュニティで公開したところ反響が大きかったことで一般公開され現在に至る。わんコメはコメントを取得するだけでなく、独自のテンプレートによってそのコメントを(配信)画面内に表示することもできるようになっている。そしてリスナーの記録も可能で、配信者にとって便利な機能が満載のツールとなっている。わんコメもゆかNEOと同様の形でわんバサダーを任命し、サポートをDiscordや専用フォーラムにて受け付けている状態である。わんコメも更新が早く、まだリリースされていないが4.0制作が進行しており、新機能追加がどんどん行われている。同時にPro版開始による支援者特典も開始されているので、これにより支援者がより増えるものと考えられる。個人製作ゆえに支援が不可欠なツールであり、それを支える人も多いことが分かるものだ。

ゆかNEO・わんコメの資料

ゆかNEOやわんコメをどう使えばいいかという点は、実際に使っている人の配信や動画(投稿型)を見るのが早い。ゆかNEOについて最もオーソドックスなのはやはりclea氏で、ゆかコネの頃から使ってきた経験と、通常のVTuberとしての活動と並行して行っている企業案件の経験が複合され、配信内容ごとに字幕位置と翻訳対象言語を変更している。これまでの配信の中で最も字幕のメリットを生かした試みが、2022年5月28日に行われたePARA CARNIVAL 2022 SPRINGの雀魂ブース担当のclea氏が、会場のタイムスケジュールに合わせてYouTubeでも配信を行ったときである。動画中の26分から、clea氏自身は音声を切り、麻雀の先生の音声を復唱して字幕として配信にその内容を乗せるというものである。これで音声がなくても何の内容を話しているのかが分かり、難聴サポートとしても機能することをその配信で証明したのである。clea氏もこの方法は咄嗟に思いついたことであったようで、ゆかコネを長く使ってきた経験が生きた瞬間であった。

わんコメについては、ゆかコネ第1期アンバサダー・わんバサダーである卯塚ウウ(=うーちゃん)がわかりやすい。こちらはゆかNEOとわんコメを連携して使用している。字幕表示にわんコメのテンプレートを適用し、字幕が時間経過では消えずに残るタイプとして、一定量溜まると古いものから画面外に消えていく形式を採用している。コメントについては読み上げ機能を使用し、一定時間でコメントが消えるものを採用している。うーちゃんは複数プラットフォームにまたがって配信を行うのが基本で、このことからプラットフォーム別にコメントの色を変えるなど、各所に工夫が凝らされている。他にもゆかNEO・わんコメ以外の様々な最新ツールの検証を率先して行うことが多いため、気になっている最新ツールの相談先にもなる。

これ以外にも使用している人は多く、それぞれが違った使い方をしているわけで、同じツールでも細かい部分で個人差が現れる。そういうわけで、使い方の答えは無限に存在することになる。よって色々見て回ることによってヒントが貰えるほか、ツール使用者同士の座談会も時々開かれるため、時間とタイミングが合えば覗いてみるのも一興だ。なお私の場合は文字と画像をベースとして何回かに分けて書いている。該当記事にはタグ「配信」を付与しているため、そのタグで調べると欲しい記事が出てくるようにしている。また、ゆかNEO・わんコメ以外でも配信で使うものにもこのタグを付与しているので、それ以外の欲しい情報も取得できるであろう。

ゆかNEOはVRでの使用をサポートしている

メタバース。定義によれば企業または2021年以降に参入した商業空間についてをそう呼称しているようだが、明確な定義は統一されていない。或いは従来通りVRと呼称する方が分かりやすい。2022年現在、VTuberをやるのであればこれは切り離せないものであり、同時にVTuberでなくともコンテンツを作る側に居る人は必然的にVRに携わる機会が増えるであろう。それほどまでに大きな存在になりつつある。もっともVRについては発展こそしているが抱えている問題も多くこれに関連した犯罪もおそらく増えてくるはずである。技術の発展の裏に悪用があり、それへの対策は常に表裏一体である。

さて、専門家ではないのでそれについては専門家に対応を任せるとして、VRをやるならVRデバイスを使ってこそである。ただ、それにあたって1つ問題が生じる。VRは国家的規制が別で存在するなどの特例を除き、原則として国境がない。これはVR-SNSにおいて顕著であり、代表的存在であるVRChatは様々な言語が入り乱れることになる。リアルタイム性が強く、口語ベースのコミュニケーションがメインとなるVR-SNSでは、母国語以外のコミュニケーションを行う時につまづきが生じる。VRデバイスで従来の翻訳システムを使うことは難しく、まして口語となれば、ある程度のその言語の知識がなければ「何を言っているか」を理解できないため、せっかくの異文化コミュニケーションも不可能になってしまうのである。

とはいえ言語修得は時間も資金もかかりがちで、普段の生活の片手間にやって修得できるものではない。これを考えたとき、リスニングについては残念ながら難しいと言わざるを得ない。だがこちらが話すことについてはゆかNEOというツールがある。これをVRでも使用できれば幾分かは話したいことも伝わるはずだ。そしてNao氏は、一部のVRプラットフォームについて、連携ができるようにプラグインを搭載した。確認できる範囲では3個のプラグインがVR対応で、うち2つはそれぞれのプラットフォーム専用のプラグインとなっている。

これらのプラグインについては公式サイトでの解説はあるものの、基本的に使い方のみである。また、どのような形で表示され、どのような機能となっているかという詳細はあまり書かれていない。これはclea氏をはじめとする公式ガイド・アンバサダーの解説なども存在しないか、あるいは少ないようである。最近になってVR-SNSを始めたのを機に、これらを調べ上げて、VRにおいてもゆかNEOが使用でき、何ができるかについてを解説していく。

ゆかNEO on the VR 検証編

前提：検証環境の構築

検証を行うにあたり、数少ない公式の資料を読んで推測したのが、同一PC上に指定したVRアプリケーションとゆかNEO・わんコメが存在することが起動の前提条件ではないか、ということである。これは後述のVirtualCastとの連携の際、必要となるVCI(=VCas内で使用できるアイテム)が存在するディレクトリ・ファイルをゆかNEOのプラグイン設定から絶対参照形式で指定する必要があることから推測したものである。この仕様となっているということは、他のプラグインも動作には同一PC上に存在しなければならないということになる。分離配信を行っている場合はこの点でデメリットが発生することも分かった。

このため検証にあたって、ゲーム用PCにもゆかNEO・わんコメの両方をインストールした。このPCでは配信を行わないので、エンコードは行われない。したがってCPUとGPUにかかる負荷は大して増えないはずで、回線にもたらす影響も大きくないはずだ。なお検証にあたって、ゆかNEOはv1.958、わんコメは3.2.5である。また使用している機材はOculus Quest(2019)で、これをOculus LinkによりPCVRとして使用する。

VRオーバーレイ：自分だけに見える字幕

ゆかNEOに搭載されている1つ目のプラグインがVRオーバーレイである。v1.958時点でv1.1である。公式の解説ではVR空間上に自分だけに見える字幕またはわんコメテンプレートを表示する機能である。設定では以下の項目について調整できる。

• 起動対象：ゆかNEOおよびわんコメ。デフォルトでゆかNEOにのみチェックがされている。わんコメはチェックすることで有効になる。
• トラッカーID：表示する場所を決定する。通常は0=頭(HMD)、1=左コントローラー、2=右コントローラー、と割り当てられている。3以上の値も指定できるが、殆どの場合割り当てが存在しないので基本は0～2で指定する。
• ポジション：X, Y, Zの3軸で数値を変更して指定する。
• ズーム：大きさを変更する。通常は等倍で設定されている。
• プリセット：Center, Handのプリセットがある。CenterはHMDに、Handはコントローラーに表示設定する。Centerは共通で、HandはゆかNEO字幕は左、わんコメは右になるように設計されている。
• URL(わんコメのみ)：ここにわんコメテンプレをブラウザで開いた場合に表示されるローカルのURLを入力する。これによりコメントが表示されるようになる。
• Launch(起動)：全ての設定が完了したらこのボタンをクリックする。上記の設定を変更した場合、反映には再起動が必要であるため注意。
• 起動後はUnityの”VROverlayNEO”の黒いウィンドウが、有効にしている数だけ現れる。このウィンドウは再起動を行うか終了する場合を除き、消さないこと。

基本はプラグイン一覧でチェックすることで有効になるが、これについては設定からも起動することができるようになっている。というのも、プラグイン一覧で有効にしていると、起動時に毎回SteamVRを呼び出してしまうためである。たまにしか起動しない人からすればストレス要因になるうえ、通常の配信で頻繁に使うのがゆかNEOである以上、毎回起動されるのも困るはずだ。よって普通に使うのであれば設定から起動する。実際に起動した際の表示のされ方が次のようになる。

VRオーバーレイの効果により、VRデバイスからでもゆかNEO字幕や配信中に取得したコメントを確認できるようになる。ただしこれらはあくまで自分にのみ表示するものある。VRC等のVR-SNSでは他の人からはこれが見えず、描写レイヤから考えて、それらのアプリで使用できるカメラなどを使ったとしても他の人に見せることが不可能である。残念ながら、これを利用して誰かに翻訳や字幕を見せるというのは無理であった。

使用例考察：VRゲームを配信する時などに

ではこれは何を目的として使うべきなのか。答えは簡単で、VRゲームなどを配信する時に使うのが最も効果的である。配置する場所とその大きさに気を付ける必要があるが、字幕はともかくコメントについては表示しておいても損はない。表示しておけば、いちいちVRデバイス(HMD)を外したり上向きにして画面を見てコメントが来ているかどうかを確認する必要がなくなるからである。このことはclea氏の配信でよく見かけた光景で、clea氏はわんコメは使用していないので、顔を上向きにしてPCの画面を見てコメントを確認しそれに反応していた。clea氏は慣れているようで問題なさそうだが、もう少し楽をしてもいいようには思える。

HMDを被ったままコメントを確認できるということは、コメントを見るためにHMDを外したりゲームを一時停止する必要がなくなり、リアルタイムでコメントを確認してそれに対して反応することもできるようになることを意味する。もっともVRゲームをする場合のVTuberはどうしてもモデルが棒立ち状態になりがちなので、適当に答えているようにも見えるであろう。しかしリアルタイムで反応できるようになれば、普段の配信とほぼ同じ感覚でVRゲームの配信も行えるようになるわけで、プレイするゲームのタイプを選ぶことなく配信できるようになる。これを使えるようになれば、その時点でライバルと差をつけることができる。しかも設定が字幕設定並みに簡単なので、試してみるといいだろう。

ちなみにわんコメ連動とはあるが、URLの部分を変更することでコメント以外のものを出力することができる。操作こそできないが、ここに参考動画を表示させたり、あるいはVR-SNSで特定の配信中の配信を見ながら、といったこともできる。少し変わった使い方ができることも覚えておくと損はない。

バーチャルキャスト連携：VCIと合わせて表示、のはずが…

次に試すのがVirtualCastである。株式会社バーチャルキャストが運営する、名前そのままのVR-SNSの1つである。Quest対応であるが全ての機能を使用するにはPCVRが前提であり、アプリはSteamで提供中である。これと連携できるプラグイン「バーチャルキャスト連携」がゆかNEOに搭載されている。ただ、これ単体では機能せず、VirtualCastと連携できるサイトであるTHE SEED ONLINEで、Nao氏自身が提供しているゆかりねっとコネクター字幕連携VCIと接続する。ゆかNEO側で音声認識した結果及び翻訳をそのVCIのあるディレクトリに書き出すことによって、VirtualCast内でも普段の配信で使うのと同じように字幕と翻訳を出せるというものである。設定方法は以下である。

• (登録済み前提)THE SEED ONLINEで「ゆかりねっとコネクター字幕連携VCI」をインベントリに追加する。
• TSOと連携した状態でVirtualCastを起動する。これにより「ゆかりねっとコネクター字幕連携VCI」のディレクトリが自動生成される。ゆかNEOからはプラグインの設定からC:\Users\[username]\AppData\LocalLow\infiniteloop Co,Ltd\VirtualCast\EmbeddedScriptWorkspace\ゆかりねっとコネクター字幕連携VCIのディレクトリを指定する。この状態でチェックを入れ有効にする。
• 適当なルームないしスタジオで、メニュー/マイアイテム/ゆかりねっとコネクター字幕連携VCIを新規生成する。うまくいけば(・・・・・・)、ゆかNEOで音声認識と翻訳結果が表示される。私の場合は何故か認識できず、接続されなかった。調査しても原因は不明である。

おそらく、VCIが出た当初はこの通りにやればゆかコネの字幕と翻訳をVirtualCastでも連動して表示できたはずである。しかしゆかNEOv1.958ではどういうわけか、ゆかNEOを認識できていないようで、VCI側は接続待機中のまま変わらなかった。これはプラグイン依存の機能であるので、考えられる原因はバージョンの不一致であろう。しかしゆかNEOにあるバージョンはv1.0aで、仕様変更がなければ殆ど変更が加えられていないはずである。またVCIについては、2022年7月29日付で更新されていることもわかっている。よって使えない事態は起きないはずなのだが、どうしても認識してもらえず、連携することができなかった。私自身の環境が原因の可能性も否定できないものの、原因は不明である。

ゆかコネVCIの考察と今後

ゆかコネVCIが最初に作られたのは、Nao氏のツイートによれば2021年2月13日。この頃はまだゆかコネが主流だったので、連携対象はゆかコネである。ゆかNEOがまだメインではなかった頃であるので、ゆかNEOでの使用はあまり想定されていなかったことも考えられる。しかしゆかNEOにはプラグインとして存在するので、ゆかコネにあった機能をプラグインとして分離できるように作られていたことは推測できる。このことから理論上はゆかコネでもゆかNEOでも使用できるはずである。

ただ、どうにも連携はうまくいかず、元々対応していた方である、ゆかコネから連携しようとしてもうまくいかなかった。公式の解説通りに行ってもうまくいかなかったので、システム的な問題があるのではないかと考えた。ただこれではVCIが更新されていることと矛盾してしまう。とすれば、プラグインに問題がある可能性が考えられる。見たところプラグインが更新された形跡はバージョンから推定しても殆どされていないようで、おそらくは変更なしでも使えていたのであろう。とはいえこの機能については使用していたわけではないので、更新履歴などはわからず、どのタイミングで「動かなくなった」というのを推定することも難しい。なので今回は、連携できなかったということで終了する。

ところでVCI生成はVRCと同様にUnityを使用する。そしてVCI用のUnityPackageが必要となるのもVRCと共通している。現在(2022年8月11日時点)のVirtualCastが使用しているUnityは2019系との指定がある。つまり2019.4.40f1を使用すればいい。UnityHubを使い、VRCとは別にしておくといいだろう。こうなれば、ゆかNEOの音声認識の結果と翻訳を自分で作ってしまう、というのも1つの手である。もっともこのあたりはUnityの知識・VCIの知識・ゆかコネないしゆかNEOの設計の全てを複合して理解しないと作るのが難しいものなので、時間がかかることは目に見えている。実際にやるかどうかはそれとの相談である。

VRChat向けOSC：字幕表示機能ではないが、応用すれば字幕・翻訳も出せる

最後に調査するのはVRCの連携機能である「VRChat向けOSC」である。先に断っておくが、これそのものは字幕表示機能ではない。そもそもOSCとはOpenSound Controlのことで、元々は電子楽器やコンピュータ機器において音楽演奏データをネットワーク経由でリアルタイムに共有するための通信プロトコルとして開発されたものである¹⁾参照：OpenSound Control – Wikipedia。現在は様々な方面に応用されており、VRCではInputとAvatar Parametersの2つのAPIが提供されている。ゆかNEOでは音声認識と字幕を用いてOSCを使用できるようにしている。

OSCを使用できるようにするには、VRCでOSCデバッグを有効にして、ゆかNEOでプラグインを有効にする。その際、次の手順で行う。

• [VRC]アクションメニュー(Quest系でXまたはY長押し)からOption/OSC/EnableのトグルをONにする。
• [ゆかNEO]「VRChat向けOSC」にチェックして設定を開く。v1.958時点でv1.2aである。
• VRChat→NEOのポートが9001、NEO→VRChatのポートがローカルホスト(127.0.0.1)で9000であることを確認する。VRCのOSCは受信を9000、送信を9001で固定しているため、通常は変更する必要がない。VRCから受信する場合はOpenをクリックして接続する。
• YNCMessageで送信する内容を選択できる。母国語と翻訳語をそれぞれ送信するかどうかをチェック式で選択でき、送信タイプをInt(整数型)にもできる。これはパラメータで反映される模様。
• ルールは起動フレーズに任意の文字を入れることで、指定したOSCのアドレスとパラメータに何か色々できるらしい。

実は、ゆかNEO公式の解説でもこの部分は別ページの解説が存在しないので、何をどうするのかをよく分かっていない。が、既にOSCを使って色々なことをしている情報が多数出回っているので、”VRChat OSC”で検索すれば実例が何個でも出てくるようになっている。また、VRC公式でOSCのドキュメントを用意しているので、これを読むことで基本的なことはわかるはずである。

なお、調べたところによれば、このOSCを使用して喋った内容をテキスト化する試みは既に行われていた。名称はVRC STTで、Twitter上にその試験動画が上がっており、かなりの精度で喋った内容がそのまま出力されているようである。AzureやAWSを使用する関係で登録制となっており、少々導入に手間がかかる。だがこの実例から考えるに音声認識の字幕化の導入は可能であるので、それなりに勉強して動作確認を行うのと、継続した更新ができるのであれば、ゆかNEOの結果をそのままVRCに持ってくることもできるはずだ。案外、ドキュメントを見まくればできてしまうかもしれない。

スポンサーリンク

スポンサーリンク

結論：ゆかNEOには土台がある、それを生かせばVRでも使える

ゆかNEOは配信においてほぼ必須の存在と言えるほどに勢力が拡大し、それに伴って「できること」が増えていった。これはNao氏が要望に応える形で、特定のソフトウェア・ツールとの連携を可能にするプラグイン導入によって対応する形になっている。また、メイン開発をゆかNEOに移行した関係で、それまでゆかコネで使用されていた機能についてもプラグインとしてゆかNEOに移植されている。これによりゆかコネを使っていた人でもゆかNEOを安心して使えるというものになっている。この関係から公式発表として、ゆかNEOへの乗り換えを勧めている。

わんコメをはじめとする他のツールとの連携機能も取り入れられ、益々活躍の幅が広がっているゆかNEO。配信においては出来ないことがほぼなくなってきているが、配信と同じくらいに重要な存在になりつつあるのがVR、或いはメタバース。基本的にあらゆる物理的制約が排除された空間であるこれは、国境もまた実質的に排除されている。これにより発生する1つの問題が言語問題である。このことは配信関係の記事においても書いたが、これがVRになればこれまで紹介したツールで簡単に解決できるものではなくなっている。特に口語によるリアルタイムコミュニケーションを基本とするVR-SNSでは、文字ベースのコミュニケーションは不可能ではないがあまり使われない。アプリ自体も安全性の観点から外部ツールを受け付けない設計になっているのが基本であり、これが殆どで採用されている結果ゆかNEOを持ち込めない。よってVR-SNSでのコミュニケーションには苦労してしまうのである。

しかし、アプリや他ユーザーに大きな影響を与えない範囲で、そのアプリを運営する公式から許可されているAPIやSDKを利用することで、独自の機能をそれらのアプリに導入することができる。導入には一定のUnityを扱えるだけの知識と気力、一部はプログラミングの知識が必須となるが、これらを習得できれば理論上は何でも制作することができる。これによってゆかNEOを字幕をVR内に持ち込んだり、配信中ならコメントをHMDを外すことなく確認できるようになる。

Nao氏もゆかNEOをはじめとした各種ツール制作・修正に充てる時間は多くはないため、個人で出来ることがあるならやってしまうというのもありだ。出来上がったものをゆかNEOの外部ツールとして正式に扱うかどうかはNao氏との相談となるが、少なくとも「あって困らないもの」であることには間違いない。まず「作る」という時点で相当高いハードルがあるが、できるかもしれないということには積極的にチャレンジしてもいいのではないだろうか。自分が欲しているものは、誰かの欲しているものであるからだ。

以上、ゆかりねっとコネクターNEOを使いこなす～VR編～、であった。次は何の記事で会おうかな？

KIBEKIN at 15:03 Aug. 14th, 2022

特別追記1：ゆかコネVCI修正完了

ゆかコネ関連については自由に書いては不定期かつ予告なしに公開している私であるが、Nao氏はその書いたものを空いた時間で見ていることが分かった。この記事でもバーチャルキャスト連携がどうにもうまくいかなかったことを記録として書いたところ、これを読んだNao氏がプラグインの修正を行い、連携できるようになった。したがって再検証を行い、どのようなものであるかを再度見ていく。なお、連携手順は変更がないのでその部分は割愛する。またこの時のゆかNEOはv1.959、プラグインバージョンはv1.1aである。以下に検証した際の動画を掲載する。

検証において、音声認識はgumbek氏が個人で開発し、後に公式採用されたSpeechRecognitionWeb Send YNCを使用している。単体では使用できないが、ゆかNEOの公式機能となっているため、音声認識の選択でブラウザを選択し、これを使う項目にチェックを入れることですぐに使用できる。音声認識精度はUDトークに並ぶほどで、喋り方とマイク次第であるが8～9割が正しい内容で認識できている。そのためゆかNEOからゆかコネVCIへ伝達する際もかなりスムーズである。

肝心の結果であるが、以前は接続待機状態のまま一切反応がなかったこれは、話者名、原文、翻訳の全てが正常に表示され、一定時間経過で結果が自動で消えるのも確認できた。つまり、いつも使用しているゆかNEOと全く同じ動作であることを意味する。これでVirtualCastでは言語の壁の心配はかなりなくなったと言える。VirtualCastの海外ユーザーが果たしてどれくらいいるのかはわからないが、イベント開催時の字幕案内や聴覚障害サポートとして、今後のメタバースの促進を考えたとき、この機能はいっそう重要度が増すものと考えている。ちなみにこれは本来はゆかコネ用で、別でゆかNEO用を開発しているとのことでもあった。それをゆかNEOでも使用できるように調整したことが分かった。

Nao氏も本業である大学の諸作業の合間で、ゆかコネをはじめとする制作した多くのツールの管理・更新、マニュアルの作成、ゆかコネを使用している各VTuberの配信の視聴などをほぼ同時並行で行っている。さらにはNao氏自身もイラストと同じモデルでVRで活動することも増えて、時間の足りない日々が増えているような状態で、今後はNao氏が12人くらい必要になりそうである。

そんな中でもNao氏は細かく修正を行い、最終的に問題なくゆかコネVCIが使用できるようなった。したがってNao氏には、この場で改めてお礼申し上げます。ありがとうございました。

特別追記2：各VR方面での進化

しばらく経って、特定のVR-SNSがゆかNEOとの連携について強化されたことが確認できた。具体的には次の通りである。

• VRC-OSC：1.7に更新されたことにより、字幕(母国語)と翻訳を1～4番で任意に選択して、VRChatが公式でサポートするチャットボックスに送信可能になった。チャットボックスはある一定の文字数までしか表示できないため、超えた分は強制的にカットされるようになっている。現在のバージョンはv1.8b。
• NeosVR：NeosVR用のOSCがv1.1c。これとは別に、有志によってゆかNEOと連携する用のアイテムを製作し、配布されている。これを利用することで簡単に字幕と翻訳を持ち込めるようになっている。

現時点ではこの通りである。特にVRC-OSCについては、今後の活動的にも翻訳できることはかなり有利に働くはずである。その検証情報については、 次の記事で書いている。

Kibekin BLOG.

2024.09.11

【海外勢も怖くない】ゆかNEO on the VRs：VRChatに持ち込む字幕・翻訳編

https://linkskibe.com/ync_neo_on_the_vr_vrc_subs_tls

この記事の概要を簡単まとめ！ ゆかりねっとコネクターNEO、字幕以外のことにも使用できるようになっていく VR方面ではVRCaht, VirtualCast, Cluster, NeosVRで使用可能になっている VRでの字幕の需要は上がってきているはずである VRChatではOSCを利用して字幕と翻訳を送信することが可能 条件はゆかNEO搭載のVRC-OSCプラグインがv1.3b以上 ゆかNEO側は設定項目は簡単で、ポートにのみ注意すればOK VRC側でテキストチャットにゆかNEOの翻訳1番を送信する 初回接続時はワールドリロードが必要な場合がある 翻訳だけでなく母国...

追記情報

2022年8月18日 Nao氏がv1.959でバーチャルキャスト連携をv1.1aに更新し、連携が正常に行えるようになったため検証して追記

2022年12月16日 VRChat, NeosVRについての強化が確認されたため、それについて追加。VRCについては別記事のリンクも追加した

スポンサーリンク