スキャンPDFをローカルRAGで使う前のOCR手順｜まず文字情報を確認

PDFをRAGへ入れたのに必要な文章を検索できない場合、埋め込みモデルを変える前にPDFそのものに検索できる文字情報が入っているかを確認する。

スキャナーで取り込んだPDFは、画面では文章に見えても、内部にはページ画像しか入っていないことがある。その場合は、RAGへ渡す前にOCRで文字を作る必要がある。

図: 処理や設定の流れを1枚に整理。実際の操作条件は本文で確認する。

まず1ページだけ文字を選択する

PDFを開き、本文をドラッグして文字として選択できるか試す。

検索欄へ本文中の固有名詞や特徴的な語句を入力し、見つかるか確認してもよい。

文字を選択・検索できるなら、すでに文字情報を持っている可能性が高い。この場合、必ずしもOCRをかけ直す必要はない。

できない場合は、RAG側の文書解析や検索設定を疑う前に、OCRが必要かを確認する。

日本語用の認識データを持つOCRでも、すべての日本語文書を同じ精度で読めるわけではない。

特に次の条件は分けて試す。

100ページを一度に処理する前に、難しいページを含む1〜3ページだけで試す方が原因を追いやすい。

OCR後の文字は、後から原PDFへ戻れる形にしておく。

最低限、元ファイル名とページ番号を残す。

元ファイル: manual.pdf
ページ: 17
抽出文字: ...

OCRの誤認識を生成モデルが自然な文章へ補ってしまう場合もあるため、回答が読みやすいことだけで正しいとは判断しない。

OCR後は、原PDFに確実に書かれている語句を数件選ぶ。

人名、型番、条項番号、日付、特徴的な専門用語など、文字列として確認しやすいものがよい。

それらが抽出後の文字に存在するかを確認し、文字化けや段組みの崩れが大きいページを特定する。

確認語句:
原PDFのページ:
OCR結果に存在するか:
誤認識:
ページ構造の崩れ:

ここまで確認してから文書分割や埋め込み検索へ進めば、OCRの失敗とRAGの検索失敗を分けやすい。

スキャンPDFでは、最初に「検索対象となる文字が正しく作られているか」を確認する。

画像しかないPDFをそのままRAGへ入れて検索精度だけを調整するより、OCR結果を先に点検する方が原因を追いやすい。

日本語PDFの縦書き・表・段組みなど、OCR自体の確認方法を詳しく見たい場合は、ローカルOCRで日本語PDFを処理する前の確認方法も確認できる。