ローカルで音声を文字起こしするには？Whisperから始める手順

会議や動画の音声を自分のPCで文字起こししたいなら、必要なのは会話用のLLMではなく、音声を文字へ変換する音声認識モデルと実行環境だ。

OpenAIのWhisperは音声認識を目的とするモデルで、多言語の認識、翻訳、言語判定などを扱う。

ただし「日本語へ対応している」ことと、「自分の録音を高精度で文字起こしできる」ことは同じではない。まず短い音声で自分の条件を確かめる。

図を拡大して見る

図: 処理や設定の流れを1枚に整理。実際の操作条件は本文で確認する。

まず目的を「音声から文字」に固定する

音声AIには複数の用途がある。

用途	入力	出力
音声認識	音声	文字
読み上げ	文字	音声
音声生成	指示など	新しい音声

文字起こしをしたいなら音声認識を選ぶ。音声合成や声の再現モデルを探しても目的は違う。

短い音声ファイルから始める

最初は30秒〜数分程度など、自分で内容を確認できる短い音声を使う。

長時間の会議を最初から投入すると、失敗したときに音声形式、実行環境、モデル、メモリ、区切り処理のどこで問題が起きたのか分かりにくい。

記録しておく項目は次のとおり。

音声ファイル:
音声形式:
長さ:
言語設定:
モデル:
実行環境 / バージョン:
出力形式:

モデルと実行環境を分けて確認する

Whisperというモデルと、Whisper系モデルを動かすソフトは同じものではない。

公式Whisperリポジトリには導入方法と必要な依存関係が案内されている。一方、デスクトップアプリや別の実行環境を使うなら、そのソフトがどのモデル形式や機能へ対応しているかを別に確認する。

「Whisper対応」と書かれていても、時刻情報、翻訳、一括処理などすべての機能が同じとは限らない。

多言語対応を精度表として読まない

多言語モデルが日本語を扱えるとしても、録音条件によって結果は変わる。

特に確認したいのは次の部分だ。

• 人名・製品名
• 数字・日付
• 否定表現
• 同音異義語
• 小さな声や重なった発話
• 雑音がある区間

対応言語一覧だけから「日本語ならこの精度」と固定の数字を作らない。

文字起こし結果を原音と照合する

処理が完了したら、文章を眺めるだけで終わらせず、原音と数箇所を照らし合わせる。

たとえば冒頭、中盤、終盤から一箇所ずつ選び、固有名詞や数字が含まれる部分を再生する。

00:01:20
原音: 「8月24日に公開」
文字起こし: ...
判定: OK / 修正必要

重要な記録として使う場合は、自動出力をそのまま正解扱いにしない。

ローカル処理でも通信と保存先を確認する

モデルの推論をPC内で動かしていても、利用するアプリがクラウドへのアップロードや同期を行うかは別の問題だ。

機密音声を扱うなら、モデルだけでなく実行環境の通信、ログ、保存先、バックアップも確認する。

まず一つの短い音声をローカルで文字起こしし、原音と数箇所を照合する。そこで必要な精度と機能が分かってから、長時間音声や一括処理へ広げる。

動画字幕まで作りたい場合は、動画からローカルで字幕を作る手順へ進める。