この記事の概要を簡単まとめ！

• “YukariWhisper”はv0.0.5にアップデートされた
• 音声認識時の異常な結果はタイムアウト実装で暫定対応した
• 詳細な解析で原因はWhisper自体にあり、正確なタイムアウト実装は不可能と判断
• 試したいこと：YukariWhisperをサブGPUに対応させる
• x4モードでの動作は結果にどれくらい影響するかを確認
• 結果：同時処理数が多い場合明らかに影響する
• 考察：同時処理数を絞る、X299(Skylake-X)を使う
• x4接続にやらせるなら用途は限定する必要がある

私は凝り性というものであろう。ある難問にぶち当たったとき、その問題を絶対に解決したいと考え、そのためにあらゆる資料や先駆者の情報を探して参考にし、自分で試していく。それが失敗するのなら別の方法を次々に試し、最終的な答えが出ない時は一旦間をおいて解析を続ける。そのために他のことを放置することが多々あるので直さないといけない部分でもあるが。

その1つであり、現在最もやりたいことでもあるYukariWhisper。これの異常な音声認識対応は、残念ながら仕様の壁にぶち当たったので解決できそうになかった。そこで次に考えたのが、サブGPUを使用した負荷分散。しかし試していると、ここにも仕様の壁で問題が発生した。今回はそのレポートを書き、注意喚起も兼ねることにした。

この記事の概要を簡単まとめ！

• “YukariWhisper”はv0.0.4にアップデートされた
• 使っていて気になる「異常な音声認識」の発生
• 喋っていないタイミングで発生し、異常に認識時間が長い
• 仮定：タイムアウトを実装すれば認識が快適になる
• 調査：音声認識している箇所を探し出す
• 改造：音声認識直後にタイムアウトのソースコードを実装、iniもパラメータを追加
• 検証：タイムアウト時間を変更して正しく動作するかチェック
• 結果：実装箇所は狙い通り、動作は想定通り
• 異常の発生は少しの改造で99%抑えられる

faster-whisperをベースにゆかコネ用に調整されたYukariWhisperは、様々な調整を加えて利便性が向上した。現在v0.0.4に更新されたことを確認している。ただv0.0.4は軽微な修正であり、現在v0.0.3を使用している人は更新する必要がないと連絡されている。あとはベースとなっているfaster-whisperのアップデートを待つだけの状態であろう。

音声認識精度が非常に高い反面、要求されるリソースが高いことで積極的に使用する人も少ないこれだが、1つ気になっていたことがある。時々喋ってもいないのに異常な結果を出力することがあり、その場合は異常に認識時間がかかっている。これをどうにかできれば使い勝手も上がるのではないかと考えた。そこで再び、YukariWhisperの改造に乗り出した。