ゆかりねっとコネクター | Kibekin BLOG.

【海外勢も怖くない】ゆかNEO on the VRs:VRChatに持ち込む字幕・翻訳編

この記事の概要を簡単まとめ!

  • ゆかりねっとコネクターNEO、字幕以外のことにも使用できるようになっていく
  • VR方面ではVRCaht, VirtualCast, Cluster, NeosVRで使用可能になっている
  • VRでの字幕の需要は上がってきているはずである
  • VRChatではOSCを利用して字幕と翻訳を送信することが可能
  • 条件はゆかNEO搭載のVRC-OSCプラグインがv1.3b以上
  • ゆかNEO側は設定項目は簡単で、ポートにのみ注意すればOK
  • VRC側でテキストチャットにゆかNEOの翻訳1番を送信する
  • 初回接続時はワールドリロードが必要な場合がある
  • 翻訳だけでなく母国語も同時に送信可能、ただし文字数制限に注意
  • VRChatで翻訳を使えれば、もう海外勢だって怖くない

VRが今後の標準となることは、長期的視点で確定である。だが同時に危惧するは、かつて死のコロナウイルスが起きたときにYouTubeに、既にテレビで出るような有名人が流れ込んできたことと同じようなことである。何かのきっかけによってVR世界にも有名人が一気に流れ込むような事態が発生すると、途端に「つまらなくなる」気がしている。そう思ってしまう理由は正直分からない。

さて、VR-SNSでは様々な言語を母国語とする人がいるわけだが、それがどの言語となるかは、実際に冒険して見なければわからないことである。VR-SNSの最前線であるVRChatは開発元がアメリカにある関係上、基本言語は英語であり、ユーザーの大多数も英語であることは当たり前である。なので英語圏にあたる確率は、Friend+以下の権限でない限りは普通にあり得ることとなっている。

また、VR-SNSの特性上、テキストチャットよりボイスチャットが好まれる関係で、翻訳してテキストチャットで打ち込むというのは時間的猶予を考えると非現実的であり、そもそも口語を聞き取って翻訳して、ということは非常に難しいことである。これについては難しいことであるので、妥協するしかない。だが逆に、日本語から外国語にする方法はゆかNEOを使用することで可能となっており、メジャーなVR-SNSでは使用可能になっている。今回はその中からVRCで、OSCを利用した字幕・翻訳表示が可能となっているため、その解説と実際に使用した際のイメージを含めて詳しく見ていく。

【字幕・翻訳エンタメ2.0】ゆかりねっとコネクターNEO2.0 実践解説書

この記事の概要を簡単まとめ!

  • Nao氏のゆかりねっとコネクターから始まった字幕・翻訳エンタメ
  • 公式宣伝ストリーマ:あすまくん、公式アンバサダー:clea
  • ゆかコネからゆかNEOへ、3周年イベント後は体制も強化された
  • ゆかNEOが軽量版からほぼ「したいことができる」ツールへと進化していく
  • 2022年10月26日、ゆかNEOは2.0へ進化した
  • 2.0での変更箇所を確認しつつ、UDトークベースでの表示方法を解説する
  • 手順に従えば設定は難しくない、綺麗に見せることもできるようになる
  • 個人利用APIで最も簡単なGoogle Apps Scriptの設定方法も解説
  • ゆかコネアンバサダー、推しは誰に設定している?
  • 2.0の始まりは、新しい字幕・翻訳エンタメの始まり

Nao氏が制作したゆかりねっとコネクターは、β版を含めた意味でのリリース日は不明であるが、FANBOXの投稿から推測するに2019年2月1日時点で使用可能な状態になっていた。そのため、本当の意味でその答えを知っているのはNao氏だけである。だが重要なことはそれではなく、ゆかコネがいつまでも皆に必要とされ、そして必要と感じている人達が相互で支え合い、運用を続けていける環境。目まぐるしく変化する状況に対応するには、個人の力では不足なことも多いからだ。

そのゆかコネは現在、ゆかNEOにメイン開発を移し、より使いやすく、より求めているものができるようにと、常に改良が続けられている。また開発の効率化のため、Nao氏主導でDiscordサーバーが建てられ、そこでユーザーから使用情報、バグ、要望を聴き、同時に参加者同士でのわからないことについての情報交換などを行えるようにしている。その体制は2022年3月25日から強化され、これによりDiscordも参加者が増え、情報量も多くなった。

そしてこの度、ゆかNEOはこれまでv1台をずっと維持してきたが、わんコメ4.0リリースに合わせてゆかNEO自体もバージョンが正式に2.0になる。その間に翻訳APIの仕様変更・廃止や代替構築、UI変更、バグ対応と同時、ドキュメント作成と忙しいことが重なっており、情報整理がなかなか追い付かないようである。そこで、このブログでゆかNEO2.0について、実践解説という形で書くことにした。

【VRのおともに】ゆかりねっとコネクターNEOを使いこなす~VR編~

この記事の概要を簡単まとめ!

  • 配信必須ツールの定番、翻訳字幕のゆかNEOとコメント関係のわんコメ
  • 通常は配信で使用するものであり、現在はかなりの利用者と資料がある
  • ゆかNEOはVRでの使用をサポートしている
  • 使用者は存在するが明確な資料は少ないため書くことに
  • 現時点で確認できる対応先はSteamVR, VRChat, VirtualCast
  • 前提として同一のPC上にゆかNEO・わんコメと対応するソフトが存在することが条件
  • 基本となるVRオーバーレイは字幕以外のものも出すことができる
  • VirtualCastはTSOで提供中のVCIを利用して表示できる(はずだった)
  • VRChatはOSCを支援するだけのもので、字幕表示機能ではない
  • 結論:ゆかNEOには土台がある、それを生かせばVRでも使える

VR方面の発展は、他の技術と比べるとどうしても遅いと感じる。これは大手のVRへの参入が少ないせいだろう。特に国内のVR参入について積極的な企業がどうしても少ないように感じており、そのせいもあってまだプラットフォームやデバイスといったものが不十分かつ未発達のようにも思える。特にVRデバイスは、安さの殿堂でもあったMeta Quest2が値上げされ、結局カテゴリー全体で高級デバイスに逆戻りであり、VRの発展が一時的に停滞しかねない事態が発生した。全世界に衝撃が走ったのは、言うまでもない。

VRコンテンツの代名詞とも言えるVR-SNSだが、最前線にあるVRChatは制作・運営の中心はアメリカにある故、言語の壁が大きく立ちはだかる。普段ならDeepLだったりの翻訳ツールなどを使えば簡単に意思疎通が可能だが、VRはその特性上、従来の方法を利用できない。配信でもないのでゆかNEOの翻訳と字幕を利用することも難しいというのがこれまでのVR特有の問題であった。

それでも開発者のNao氏は諦めなかった。ゆかNEOを改良し、いくつかのVRプラットフォームについてはそのプラットフォームで追加の設定や準備を行うことで、配信で使うような字幕と翻訳を出すことを可能にした。一部はゆかNEO以外のものもVR上に映し出すことができるようになっている。字幕はもとより翻訳もVR上で出せるようになれば、VRでも言語の壁を越えることと聴覚障害サポートに繋がり、活動の幅も広がるはず。よって今回はVR検証を行っていく。

【スタイル共有】ゆかNEO×わんコメ指南書:字幕表示をテンプレートでカスタマイズ

この記事の概要を簡単まとめ!

  • 字幕と翻訳のゆかNEOとコメントツールのわんコメ
  • 双方での連携が強化され、連携に至る設定機能も簡易化が目指されている
  • 連携することで使える特別な機能が存在する
  • 連携による目玉機能がわんコメテンプレートをゆかNEOで使用できること
  • 以前はテンプレートを正式にサポートしていないため使用が難しかった
  • バージョン更新によってテンプレートを簡単にゆかNEOに導入可能になった
  • テンプレートを使用した場合は認識結果が残るタイプとなる
  • Wordpartyも連携することでゆかNEOの音声認識経由で動作させられる
  • 編集はわんコメから行うが、直接参照のためリロードだけで反映
  • 折角連携するのなら、機能を知ってフル活用していく

あるソフトウェアないしツールがある。それは決してメジャーではないが、必要とする人にとっては重宝されるもので、更新があれば必ず更新を行って最新版にして使用することが多いものである。だが更新情報を見て、今まで存在していた便利機能が削除されてしまうが、最新版にしなければ使えないと分かっているとき。人は「進化」を止めてしまうのだろうか。或いは妥協や代替案で乗り切るのか。このあたりは実に悩ましいところである。

気になったので書いてみたら意外に反響が多いシリーズが、配信者向けの補助ツール解説である。メインで書いているのはゆかコネ/ゆかNEOとわんコメで、それに関連するツール、さらにはVTuberがよく使うであろうツールについても解説をするようになった。また、ゆかNEOとわんコメについては、ゆかコネ公式ガイドclea氏とアンバサダーの卯塚ウウ(うーちゃん, わんコメアンバサダー兼任)から情報を貰って調査に役立てている。特にうーちゃんは最新の情報をよく収集しているため、そこから最新情報を知ることができる。

そこから得たゆかNEOとわんコメの最新情報で、最新版において連携機能がさらに強化された結果、わんコメのテンプレートをゆかNEOで利用しやすくなったのである。それまで非公式ながらサポートしていた機能であるが、どうしても設定と導入が面倒であった。その苦労を一気に解消し、より使いやすく、わかりやすくなったゆかNEOとわんコメ。でも一体何がどうなっているかがよくわからないという人も多いはずなので、記事ベース解説によって、これを読んだらもう使えるようになっている、を目指すのが今回の趣旨である。

【隙のない配信を可能に】「わんコメ」使ってみた!~ゆかNEO連携編~

この記事の概要を簡単まとめ!

  • 分けて解説すると分かりやすいわんコメ解説記事第3回目
  • 第2回目は一部テンプレート解説と3.1.0以降の変更について解説した
  • わんコメでも取得したコメントを翻訳できればより楽になる
  • 翻訳と字幕の代表「ゆかりねっとコネクターNEO」と連携ができるわんコメ
  • ゆかNEOの接続設定をわんコメに入力して相互通信が可能となる
  • 連携すると取得したコメントがゆかNEO経由で翻訳されるようになる
  • 配信全体、ユーザー単位、コメント単位で翻訳対象を決められる
  • 読み上げ機能も翻訳に対して読み上げることが可能になる
  • 両方を使いこなせば、隙のない配信ができる

最近に感じることは、技術の悪用が多いということだ。私のブログに対する不特定多数の、本来アクセスの必要ないphpファイルへのアクセス、リファラースパム、DDoS攻撃。これらもプログラミングによって自動で攻撃するように設計されたものが多くなっている。加えて痕跡を残さないためにVPNやプロキシを経由することも多くなっている。本来このような使い方は想定されていないわけで、技術を正しく使うことができない人間の姿をした蟲が多くなってしまっている現状を省みると、インターネットをライセンス制とすべきではないかという思いが強くなっている。

書きたいことが多くなるので分けて書いてきたわんコメ解説記事も早くも第3回目となった。これまで書いてきたのは初歩的な導入方法、配信で実際にどう見えるか、特定のテンプレートの動作解説、3.1.0以降の更新内容についてである。ここで書いている情報は実際に調査した結果をもとにしているので、ドキュメントを見ただけではわからないことの一部をカバーするような形となっている。流石に全部を網羅するのは不可能だ。

第3回目となる今回は、わんコメとゆかNEOを連携させて使用することである。2つのツールの連携についてはゆかコネ3周年イベントの際に予定が明示され、更新履歴からおそらく2.1.0あたりで導入されていたものと思われる。ゆかNEOは字幕表示と翻訳において現在最も使われているであろうツールであり、そこから翻訳機能を借りて、わんコメで取得したコメントも翻訳しようという試みが行われた。翻訳もできる、コメントも装飾できる、字幕と翻訳も表示する。一度にこれらができれば配信において隙がなくなるであろうこれ、効果を確かめるため自分で検証し、その結果をここに記していく。

【まだまだ進化する】ゆかりねっとコネクターNEO使ってみた!:2022新機能解説編

この記事の概要を簡単まとめ!

  • 字幕のリアルタイム表示と翻訳で有名になりつつあるゆかりねっとコネクターNEO
  • ゆかりねっとコネクターよりも利用者が増えたことで開発優先度が上がった
  • 定期的に新しい機能が追加され更新されるので再度記事を書くことに
  • 検証対象は開発版、安定性を保証しない分最速で最新機能が追加される
  • ゆかコネ3周年イベントで先行公開された話者表示機能も最近の更新で追加
  • わんコメコラボによりわんコメとの連携も可能になった
  • 字幕表示レイアウトも複数追加され、見せ方も多彩に選べる
  • 各種プラグイン、マニュアルはゆかNEOの取説ページに殆ど存在
  • 情報は十分揃っている、今から使い始めても大丈夫だ

「何かを始めるのに遅いはない」、これはどこかの誰かが言った、割と多くの人が同意していることである。しかし始めるのが遅いと、どうしてもそのコンテンツに既に触れている人と比較して気後れをしてしまう人がいることは、十分あり得ることだ。これはどんなコンテンツでも起こることであり、特にゲームにおいてはそれが顕著である。インターネット接続を前提とするものは尚更であろう。

逆にツールについては遅くから始めると、今まで触れてこなかったことに後悔を覚えつつも、その便利さに愛用し続けるようになることも珍しくない。その1つにゆかりねっとコネクターがある。リアルタイムで翻訳を行い、字幕表示も同時に行えるNao氏が制作したコミュニケーションツールである。単純に翻訳と字幕表示を行うためのツールであったそれは、多彩なプラグインを搭載し他のソフトウェアとも連携が行えるようになった。そして軽量版となるゆかりねっとコネクターNEOが制作されると、「ほぼ同じことができる」ことによってメインの開発がこれに移行することとなった。

通常の仕事の合間に開発が進められる関係で常時更新とはならないが、ユーザーの要望を常に聞いては取り込むことを行っており、更新頻度はかなり早い。そのスピードはiOSのアップデート頻度より上だ。気付けば新しいバージョンが既にアップデートされていて、中身を色々変わってくる。その関係もあり、短い間隔ではあるが、再度ゆかNEOについて書くことにした。

【字幕はもっと楽に、軽量に】ゆかりねっとコネクターNEO使ってみた!

この記事の概要を簡単まとめ!

  • 以前に2部構成でゆかりねっと+ゆかりねっとコネクター記事を執筆
  • 配信や動画制作で「字幕を使いたいが軽量化したい」と考える人もいる
  • 設定項目を極力絞り応答性向上を目指したのが「ゆかりねっとコネクターNEO」
  • ゆかりねっとコネクターから「字幕表示に必要な部分」を抜き出した形
  • 字幕の細かい設定についてもなるべく簡単にできるようになっている
  • 各種連携プラグインが実装されており、制作者のnao氏が要望に応じて随時更新している
  • ゆかりねっとコネクターより低負荷であり、実はゆかりねっとコネクターとの差が埋まりつつある
  • 余談:ゆかりねっとコネクター多言語字幕アンバサダーclea氏もここで軽く紹介
  • 字幕を簡単に使えるようになれば、言語の壁をクリアできるようになる

法人向けのPCは、発表当時には一般ユーザーが買えないものであるが、不思議なことに1年くらい経過すると中古市場に流れ始めて、発表当時よりも圧倒的に安くなり、スペックも現行のものより少し低い程度で十分に使えるものが多い。不思議なことに私は運がいいのか、競合が少ないためにオークション形式のものを安値で競り落としたり、少しの傷や問題によって「ジャンク」扱いされているために安くされている所を真っ先に見つけては購入し、実際に試している。先日公開した記事であるVKT12/SG-5も、早速使いこなしている。

さて、ここしばらくは本業が忙しいために配信そのものはできるタイミングが少なく、それに関する記事も書くことが難しかった私であるが、前に執筆したゆかりねっとコネクターを使用した2つの記事は度々閲覧されているものとなっている。またこの記事、実は書いてしばらくしてからゆかりねっとコネクター制作者のNao氏から反応があり、加えてゆかりねっとコネクター公式アンバサダーとして活動しているclea氏と相互フォローとなった。このことから、字幕に関する関心は一定数存在していると分かる。

ゆかりねっとコネクターは字幕表示以外にも様々なソフトウェアと連携可能なものであるが、プラグインが多数搭載されている関係からPC自体の動作が重くなることも少なくない。そこでNao氏から字幕表示に特化し、軽量化を行った「ゆかりねっとコネクターNEO」が公開されている。字幕表示に限定して調整されている結果、応答性が高いものとなっているこれ。ゆかりねっとコネクターとはどう違うのかについても見ていくこととする。