VibeVoice-ASR-Streamingとは？ ローカルでリアルタイム文字起こしする方法と注意点

Microsoftは2026年9月3日、音声が届いている途中から文字起こしを返す VibeVoice-ASR-Streaming を公開した。

従来のVibeVoice-ASRは長時間音声をまとめて処理し、「誰が・いつ・何を話したか」を構造化して返すことが特徴だった。今回のStreaming版はそこから用途を変え、録音終了を待たずに、話している最中から音声断片単位で結果を返す。

会議のリアルタイム字幕、配信の文字起こし、ローカル音声アシスタントの入力、マイク音声の逐次ログ化などでは、従来の一括ASRより扱いやすい。

ただし、現時点では「どのPCでも軽く動くリアルタイム文字起こしモデル」と考えるのは早い。公式導入例はNVIDIAのCUDA環境を中心にしており、一般向け GPU向けの固定最低VRAMも示されていない。

VibeVoice-ASR-Streamingで何が変わったのか

公式ドキュメントでは、Streaming版は音声が到着している間に認識を進め、音声断片ごとにテキストを出力する仕組みとして説明されている。

従来型の流れは次のようになる。

録音開始
   ↓
録音終了
   ↓
音声全体をASRへ入力
   ↓
文字起こし結果

Streaming版ではこうなる。

マイク / 音声入力
   ↓
chunk 1 → 文字起こし
   ↓
chunk 2 → 続きの文字起こし
   ↓
chunk 3 → 続きの文字起こし
   ↓
録音中も結果が更新される

公式FastAPI デモではブラウザーとWebSocketをつなぎ、録音中もテキストが更新される。

重要なのは、単純にWhisper系の短い音声認識を細切れに実行するという説明ではないことだ。VibeVoice-ASR系が持つ話者情報や文脈処理を、ストリーミング用途へ持ち込むことが狙いになっている。

2026年9月3日時点の公式仕様

Microsoftの公式リポジトリでは、VibeVoice-ASR-Streamingについて次の特徴を案内している。

項目	公式情報
用途	ストリーミング自動音声認識
出力	音声到着中の継続文字起こし
話者情報	「who 発話した内容」を継続的に出力
ホットワード	カスタムホットワード対応
対応言語	10言語
実行例	FastAPI + WebSocket / 音声ファイル
推奨環境	NVIDIA PyTorch コンテナ
ライセンス	MIT

ここで「10言語対応」と、従来のVibeVoice-ASRが掲げる50言語超を混同しない方がよい。Streaming版は別チェックポイントとして公開されており、同じVibeVoice-ASR 系列でも現時点の対応範囲は同一ではない。

従来のVibeVoice-ASRとの違い

用途を分けると分かりやすい。

VibeVoice-ASR

録音済みの長時間音声をまとめて処理したい場合に向く。

公式は最大60分の連続音声を1回で扱い、話者、時刻情報、発話内容をまとめて構造化することを特徴としている。

VibeVoice-ASR-Streaming

会話中、会議中、配信中など、音声がまだ終わっていない段階から結果が必要な場合に向く。

結果が音声断片ごとに返るため、リアルタイム字幕や音声エージェントの入力段として使いやすい。

つまり、Streaming版が常に上位互換というわけではない。

録音済みの1時間音声をあとから高精度に整理したいなら従来ASR、発話中から結果が必要ならStreaming版、という使い分けになる。

CPU向けBitNet版とも別物

VibeVoice 系列には VibeVoice-ASR-BitNet もある。

Microsoftは2026年7月、VibeVoice-ASRをCPUで動かすためのBitNet系実装を公開し、モデルを4.62GBから1.58GBへ圧縮し、3 スレッド以上のCPUでリアルタイム係数 1未満を報告した。

ただし、これは今回のStreaming 7B チェックポイントとは別の経路だ。

VibeVoice-ASR
├─ 通常版: 長時間音声をまとめて認識
├─ BitNet版: CPU向けに圧縮したASR経路
└─ Streaming版: 音声到着中に逐次認識

「VibeVoiceはCPUだけでリアルタイム動作する」という情報を、そのままVibeVoice-ASR-Streamingへ当てはめてはいけない。

ローカル実行はNVIDIA CUDA中心

2026年9月3日時点の公式Streaming ガイドでは、環境構築に NVIDIA PyTorch コンテナ を推奨している。

例では--gpus allでDocker コンテナを起動し、必要に応じてFlashAttentionを追加する。その後VibeVoice リポジトリを取得し、Python パッケージとしてインストールする。

概略は次の通りだ。

git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice
pip install -e .

音声生成処理にはffmpegも必要になる。

FastAPI デモは次の形で起動する。

python demo/vibevoice_asr_streaming_fastapi_demo.py \
  --model_path /path/to/checkpoint

ブラウザーでhttp://localhost:7870を開けば、マイク録音または音声ファイルを入力できる。

ただしこれは公式の開発向け手順であり、LM StudioやOllamaのような一般向けGUIへ組み込まれた状態ではない。

必要VRAMはまだ固定値で決めない

ここは特に注意したい。

Streaming版には7Bというモデル名が付いているが、7Bだから必要VRAMは○GBと単純には決められない。

実際のピークメモリには少なくとも次が関係する。

• モデルの重み
• 音声エンコーダー / トークナイザー側の処理
• アテンション実装
• 音声断片サイズ
• 先読み
• CUDA / PyTorch 実行時バッファ
• データ型
• FlashAttentionの有無
• 同時ストリーム数

さらに公式ドキュメントでは音声断片と先読みをチェックポイント側のpreprocessor_config.jsonから読む設計になっている。

そのため、別のチェックポイントや将来の量子化版が出ればメモリ条件も変わり得る。

現時点で安全なのは、固定最低VRAMを推測せず、自分のGPUでVRAM使用量のピークと遅延を測ることだ。

最初に測るべき4項目

導入直後は長時間会議で試すより、短い音声で次の4項目を確認した方がよい。

1. 最初の文字が出るまでの遅延

リアルタイム用途では総処理時間より重要になる。

発話してから最初の文字起こし結果が表示されるまでを測る。

2. 継続出力の遅延

最初だけ速くても、その後の音声断片がどんどん遅れればリアルタイム字幕には使いにくい。

3. VRAM使用量のピーク

モデル読み込み直後だけではなく、実際にマイク入力を続けた状態で確認する。

4. 話者分離

VibeVoice-ASRの魅力は単純な文字列だけでなく、話者を含む構造化出力にある。

一人での音声認識だけでなく、2人以上の会話でも確認したい。

ホットワードは固有名詞の多い用途で有効

公式ファイル推論では、--context_infoで認識を特定語へ寄せられる。

python demo/vibevoice_asr_streaming_inference_from_file.py \
  --model_path /path/to/checkpoint \
  --audio_files sample.wav \
  --context_info "Microsoft,VibeVoice"

会議の参加者名、製品名、ゲーム名、専門用語など、一般音声認識で誤りやすい単語を事前に渡せる。

ローカル文字起こしを実用化するときは、モデル全体を追加学習する前にこの機能を試す価値がある。

「ローカル」でも完全オフラインとは限らない

推論自体を自分のGPUで実行する構成にはできるが、初回セットアップではGitHubからコードを取得し、チェックポイントやPython パッケージをダウンロードする。

一度必要な配布ファイルを揃えた後にネットワークを切って運用できるかは、自分の構成で確認した方がよい。

また、モデルやコードを取得するときは配布元とライセンスを確認する。local-genのAIモデルのライセンスをダウンロード前に確認する方法も合わせて確認してほしい。

今すぐ試す価値がある人

VibeVoice-ASR-Streamingは、次の用途ならかなり面白い。

• 会議をローカルPCだけでリアルタイム文字起こししたい
• 配信・動画収録中に字幕を出したい
• 音声エージェントへ逐次入力したい
• 話者分離付きのストリーミング ASRを試したい
• 固有名詞をホットワードで補助したい

一方、録音済み音声をあとから文字起こしするだけなら、Streaming版を急いで導入する必要はない。

また、GPUを持たないPCでは、既存のVibeVoice-ASR-BitNetの方が現実的な可能性がある。