ローカル音声AIを構成するには？音声認識・LLM・音声合成を分けて選ぶ

結論

local voice AIはSTT・LLM・TTSの3段を別々に設計する。体感待ち時間は各段の合計にqueue/音声buffer等が乗るため、どこがbottleneckか測れるようstage別に記録する。

「ローカル 音声AI 構成」で迷ったら、まず 3段pipelineのlatency・VRAM割当表 を埋めてください。知名度や総合点から選ぶのではなく、必須条件を落としてから得失を比較します。公式sourceにない項目は「未確認」とし、推測で空欄を埋めません。

2026年9月13日時点で確認した重要点

• local voice AIはSTT・LLM・TTSの3段を別々に設計する。体感待ち時間は各段の合計にqueue/音声buffer等が乗るため、どこがbottleneckか測れるようstage別に記録する。

• VRAM/RAMを1つのmodelだけで使い切ると他stageがCPUへ落ちる可能性があるため、同時常駐か逐次loadかも設計に含める。

上の事実は観測日時点のものです。料金・上限・availability・termsのように変わる項目は記事公開直前の再確認対象です。一方、この記事の判断基準と判断表は、変わり得る 事実が変わっても同じ手順で再評価できるように設計しています。

判断表：3段pipelineのlatency・VRAM割当表

Stage	model/runtime	device	memory	P50	P95	備考
STT	（記録）	CPU/GPU	（実測）	（実測）	（実測）	chunk size
LLM	（記録）	CPU/GPU	（実測）	（実測）	（実測）	context/output
TTS	（記録）	CPU/GPU	（実測）	（実測）	（実測）	voice/model
end-to-end	—	—	peak	（実測）	（実測）	mic→audio out

最適化は最も大きいstageから行う。3段の合計とend-to-end差分はbuffer/queue/IOとして別管理する。

この素材は本文の要約ではありません。候補を同じ条件へ揃え、どの証拠が足りないかとどの条件で停止するかを可視化するための実務用templateです。実測欄がある場合は、自分のprotocol/実際の観測結果がない限り空欄のままにします。

比較軸はこの順で確認する

1. STT

STT は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

2. LLM

LLM は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

3. TTS

TTS は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

4. latency

latency は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

5. VRAM

VRAM は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

この5軸を同時に「総合点」にしないことが重要です。例えば1つが便利でも、権限・安全・契約・互換性などの必須条件が欠けていれば、他の長所で相殺せず保留にします。逆に、必須条件を満たした候補同士では、利用頻度や移行負荷の差を得失として比較できます。

候補・サービスを見るときの確認点

• Whisper：現在の機能・料金・利用条件を公式sourceで確認し、この記事の比較軸に関係する項目だけを記録する。ブランド知名度を加点しない。
• Ollama：現在の機能・料金・利用条件を公式sourceで確認し、この記事の比較軸に関係する項目だけを記録する。ブランド知名度を加点しない。
• local TTS：現在の機能・料金・利用条件を公式sourceで確認し、この記事の比較軸に関係する項目だけを記録する。ブランド知名度を加点しない。

サービス名が同じでもplan、地域、OS、ハードウェアのリビジョン、契約形態で条件が変わる場合があります。比較表へ転記するときは「確認日」「対象プラン・バージョン」「参照URL」を同じ項目または注記へ残してください。

実務での判断手順

1. 目的を1文にする。 「AIを使いたい」ではなく、何を減らす・作る・守る・速くするのかを定義します。
2. 必須条件を先に置く。 STT, LLM, TTS のうち、満たさなければ採用しない条件を決めます。
3. 最新の公式情報を読む。 料金表、文書、規約、マニュアル、求人情報など、対象ごとの一次情報へ戻ります。
4. 自分の入力条件が必要な欄を測る。 workload、data量、failure、latency、修正時間などは他人の数字で代用しません。
5. 除外条件を適用する。 不明点を0点で埋めず、必要なら保留・問い合わせ・小規模検証へ戻します。
6. 最後に費用を比較する。 機能差が確定した候補だけを同じ期間・同じ成果単位へ揃えます。

「安い/速い/便利」をそのまま結論にしない

AI関連の比較では、料金・model名・benchmarkの1項目が目立ちやすい一方、実際の運用ではdata アクセス、再試行、確認、移行、支援、停止時間が意思決定を変えます。そのため本記事では、1つの数字で順位を作るのではなく、判断に必要な入力を分離します。

特にthird-partyの口コミや古い比較表は、current planや仕様変更へ追従していないことがあります。検索結果は検索意図の確認に使い、変わり得る情報は公式情報へ戻すのが基本です。

選ばない・進めない条件

STT/LLM/TTSのどこが遅いか分からないまま、最も高価なGPUへ買い替えない。

これは抽象的な「慎重に」という助言ではなく、公開条件です。後から必要な証拠が揃えば、同じ判断表へ戻して再評価できます。条件が揃わない限り、完了に見せるための数字や評価を追加しません。

よくある質問

一番おすすめを1つだけ選べますか？

用途・必須条件・運用環境が違うため固定1位にはしません。判断表の停止条件を通過した候補だけを比較してください。

料金が安いものを選べばよいですか？

月額だけではなく、従量、再実行、保存、移行、確認、人手、停止時間など、この判断で実際に発生する費用要因を同じ期間へ揃えます。

公式ページに書かれていない項目はどうしますか？

『ない』と推測せず未確認にします。必要なら提供元へ問い合わせるか、自分で再現可能な検証を行い、観測日と条件を残します。

一次情報

• OpenAI Whisper Repository — Reference local speech-to-text implementation and model families.
• Ollama Documentation — Current local model runtime, serving and configuration behavior.
• llama.cpp Repository — Current local inference/server implementation and build/runtime options.
• NVIDIA System Management Interface — nvidia-smi exposes driver/GPU state useful for update and rollback records.

まとめ

local voice AIはSTT・LLM・TTSの3段を別々に設計する。体感待ち時間は各段の合計にqueue/音声buffer等が乗るため、どこがbottleneckか測れるようstage別に記録する。

固定rankingではなく 3段pipelineのlatency・VRAM割当表 を正本にして、変化した事実だけを最新の情報源または実際の観測結果で差し替えれば、同じ判断基準で再判断できます。