ローカルOCRで日本語PDFを処理する前に確認すること｜縦書き・表も試す

日本語PDFをローカルでOCRするとき、「日本語対応」と書かれたソフトを選ぶだけでは十分ではない。

同じ日本語でも、横書き本文、縦書き、表、二段組みでは認識しやすさが違う。自分のPDFに含まれる難しいページを先に試すことが重要だ。

まずOCRが必要なPDFか確認する

文字を選択したり検索したりできるPDFは、すでに文字情報を持っている場合がある。

その場合はOCRをかけ直すことで、元は正しかった文字へ誤認識を加えてしまうこともある。

反対に、紙を画像として取り込んだスキャンPDFでは、検索できる文字情報を作るためにOCRが必要になる。

まず数ページを開き、文字を選択・検索できるか確かめる。

日本語の認識データがあるだけでは精度は分からない

Tesseractの公式言語データには日本語用データが用意されている。

ただし、日本語用データが存在することと、どんな日本語PDFでも高精度に読めることは同じではない。

特に分けて試したいのは次の条件だ。

• 横書き本文
• 縦書き
• 二段組み
• 表や帳票
• 小さな注釈やルビ
• 低解像度のスキャン

簡単なページと難しいページを先に選ぶ

文書全体を処理する前に、代表ページを数枚選ぶ。

普通の横書き本文だけでなく、表、縦書き、小さな文字など、失敗しそうなページも含める。

OCR後の文章を元ページと見比べ、人名、数字、型番、句読点など、誤ると検索や要約へ影響する箇所を重点的に確認する。

文字の正しさと配置の正しさを分ける

文字列そのものが合っていても、表のセル順や段組みが崩れていれば、後でRAGへ渡したときに意味が変わることがある。

反対に、見た目の配置が保たれていても、人名や型番の誤認識が多ければ検索へ影響する。

そこで、

文字認識: 固有名詞や数字は正しいか
配置: 段組みや表の順序は保たれているか

のように分けて見る。

元ページへ戻れる情報を残す

OCRした文章には、元のファイル名とページ番号を対応付けておく。

誤認識が疑われたときに、生成AIの回答だけを見て判断せず、原文へ戻れる状態を保つためだ。

元ファイル:
ページ番号:
OCR結果:
確認した誤り:

日本語OCRは、対応言語の一覧だけで選ばず、自分の代表ページでどんな種類の誤りが出るかを確認してから文書全体へ広げる。

スキャンPDFをRAGへ入れる前の確認まで含めたい場合は、スキャンPDFをローカルRAGへ入れる前にOCRを確認する方法へ進める。