カテゴリー: VTuber

この記事の概要を簡単まとめ！

• ゆかコネブラウザ音声認識、Edge vs Googleの構図
• デバイスを指定できないEdge、負荷が高まっているChrome
• ゆかコネ搭載のオフライン認識を代用できないかと考える
• 音響モデルを切り替えることで精度と言語を変更できる
• Alpha CepheiのVOSK軽量モデル(デフォルト)と大容量モデルで比較
• 音声認識精度はそこまで変わらず、接続詞などが補完された程度
• モデルロードの異常で音声認識結果が崩壊するバグ(発生原因不明)
• あくまでも非常用、他が使えるならメインにする理由はない

YukariWhisperの方は、v0.0.3にアップデートされた。無許可改造が効いたかどうかは果たしてわからないが、そのバージョンからは皆に優しいものになった。しかし実用には3080Tiレベルでない場合、2GPU体制でなければほぼ使い物にならないので、解決するまではブラウザ音声認識に戻している。

しかしブラウザ音声認識にも問題があることを発見した。EdgeとChromeに対応するそれは、Edgeはマイクを選択できず、Chromeは利用者の増加に伴って応答が悪くなっていた。UDトークは環境上うまく使えなかったため、残った音声認識としてオフライン認識を試すことにした。これが使えれば、今後の音声認識のヒントになるはずだ。

この記事の概要を簡単まとめ！

• faster-whisperベースの音声認識”YukariWhisper”を検証した
• 設計上の仕様でNVIDIA製GPU、2000番台以下はcuda_8(int8_bfloat16)を使えなかった
• もしかしてソースコードに不備があるのではと考え、中身を調べることにした
• ソースコードと設定ファイルを改造、最低動作保証1000番台に対応した
• 制作サイドではゆかコネのポート動的取得の対応完了
• int8_float16をデフォルトに使用し、実際の配信で音声認識精度と負荷を確認
• 結果：ヒロアカでは問題なく、伝説のレジェンド(A P E X L e g e n d s)では支障が出た
• 対策：上位モデル3000番台以上か2GPU構成を行う
• 代用：ノイズ除去を他の音声認識にも適用する
• 不完全なものは自分で完全にしてしまえばいい

1週間程度、ゆかコネで使用可能になった音声認識”YukariWhisper”について調査していた。ゆかコネ音声認識比較のデータの1つとして試験後、実際の配信でも使用してみた。しかしcuda_8非対応、VRAMが最低で4GB消費する、ノイズ除去を十分行わないとノイズを音声と誤認する、時々反応が悪いなどの問題があって、使用を休止していた。

GPU問題はこの際、もう無視することにした。もう1つ考えたのは、ソースコードに不備があるということ。元となるfaster-whisperについての解説は探せば出てくるほか、変数を追うことなどは割とやったことがあって得意である。おそらくタブーに手を出している気がするが、だが使いづらさや不備を見過ごせないので中身を見ることにした。

この記事の概要を簡単まとめ！

• ゆかコネ×AIの研究はDiscordで盛んである
• OpenAIの音声認識AI”Whisper”が2022年9月に登場
• 外部ツールとしてTYAPA氏によりゆかコネで使用可能になった
• 前提条件：NVIDIA製GPUで1000番台以上を使用している
• 機械学習の応用であるためPython3.1.17のインストールが必要
• プログラミング未経験者がつまづく部分の初期設定も解説
• 使用感想：かなり正確、ノイズ除去調整で良くなる
• 問題：int8_bfloat16が使用できない場合、VRAMの余裕がなくなる
• 解決策：3000番台以上を使うか機械学習専用GPUの2枚運用を行う
• GPUに余裕があれば、正確性はより高くなる

ゆかコネ検証はやり始めると止まらない。また、検証にあたってはうーちゃんからヒントを貰うことが多い。技術への探求心は互いに高いということであろう。そして検証結果をまとめてどこかに残しておくことで、私の知らないところで誰かがゆかコネで困っていることを解決しているであろう。

AIの発展はゆかコネの使い方にも影響を与えている。OpenAIのGPT-3系が公開されるとAIアシスタントで使われるようになり、このあたりを積極的に使用・調査している人もいる。一方で音声認識では同じくOpenAIの”Whisper”が公開され、有志によりゆかコネで使えるものが制作された。使うには準備が必要なため、その解説をすることにした。

この記事の概要を簡単まとめ！

• ゆかコネ、できることが増えていく
• 音声認識経路は実は多彩に用意されている
• それぞれで特徴が違うはずなので比較してみることにした
• 検証用の録音音声を12パターン容易し、入力を均一化する
• 1音声ずつ現在使用可能な7種類を同時に比較する
• ブラウザ: 文章性はEdge, 正確性はChrome
• オフライン認識: 応答性は高いがどうしても正確性に欠ける
• UDトーク: エミュレータよりスマートフォンの方が良い可能性
• YNC-Whisper: ノイズ除去が重要である
• 結論：それぞれの特徴から、自分に合ったものを選んで使う

世には人知れず登場して人知れず消滅していくものが多すぎる。なので気付いたら存在して気付いたら消えている、をよく経験する。その存在が自分にとって必要なものだったのが、無くなってかなり時間が経ったときに気付くというのが多いために、もっと早くに気付いていればと思うことも少なくない。

ゆかコネは幸い、cleaちゃんをはじめとした多くのユーザーに愛されて、検証班も多いため提案や不具合レポートも盛んである。機能も多数追加されている中、最も基本となる音声認識も経路が増えている。そこで今回はゆかコネが現在扱える音声認識経路をそれぞれ使用し、その結果からどういう使い分けが最適かを考えていく。