olmOCR : PDFテキスト抽出を1/32のコストで実現！？

March 10, 2025

URLをコピーしました！

こんにちは、スクーティー代表のかけやと申します。

弊社は生成AIを強みとするベトナムオフショア開発・ラボ型開発や、生成AIコンサルティングなどのサービスを提供しており、最近はありがたいことに生成AIと連携したシステム開発のご依頼を数多く頂いています。

PDFからのテキスト抽出は、手間とコストがかかる作業だと感じていませんか？大量のPDFファイルから必要な情報を抽出するのに、時間と労力を費やしている方も多いのではないでしょうか。olmOCR は、そんな悩みを解決する画期的なツールです。AIを活用することで、従来のOCRツールよりも高速かつ高精度にテキストを抽出できます。さらに、GPT-4o APIと比較して、最大1/32のコストで処理できるという驚きの効率性を実現しました。

この記事では、olmOCRの仕組みや特徴、導入方法について、詳しく解説します。

olmOCRとは？：PDFテキスト抽出の課題を解決

olmOCRの概要

olmOCRは、PDFファイルやスキャンした文書画像から、テキストを正確に抜き出すためのツールです。

olmOCRは何がすごいのか？：従来技術との比較

従来のOCR技術では、PDFの構造を正確に把握することが難しく、テキストの抽出精度に限界がありました。特に、複数列のレイアウトや、図表、数式などが含まれる複雑な文書では、誤認識や読み取り順序の乱れが頻繁に発生していました。

olmOCRは、Vision Language Model (VLM) と ドキュメントアンカリング という技術を組み合わせることで、これらの課題を克服しています。

VLMは、画像と言語の両方を理解できるAIモデルです。これにより、olmOCRはPDFの視覚的な情報（レイアウト、フォント、文字の大きさなど）と、テキストの内容の両方を考慮して、より正確にテキストを抽出できます。

ドキュメントアンカリングは、PDFに含まれるテキスト情報を活用して、VLMの処理を助ける技術です。具体的には、PDFから抽出したテキストブロックや画像の位置情報を、VLMへの入力に追加します。これにより、VLMはテキストの位置関係をより正確に把握でき、読み取り順序の誤りを減らすことができます。

上の図はドキュメントアンカリングの処理を示した図です。VLMへのプロンプトに、テキストブロックと画像の位置情報を追加しています。これらの技術により、olmOCRは、従来のOCRツールや、他の最新のPDF抽出ツールと比較して、優れた性能を発揮します。

olmOCRと類似製品・サービスとの比較：優位性はどこにある？

olmOCRと他のPDF抽出ツール（Marker、MinerU、GOT-OCR 2.0）との比較実験では、olmOCRが最も高い評価を得ました。

この図は、olmOCRと他のPDF抽出ツール（Marker、MinerU、GOT-OCR 2.0）の性能を、チェスなどの対戦ゲームで強さの指標として用いられるELOレーティングで比較した結果を示しています。ELOレーティングは、本来プレイヤー間の相対的な強さを表す数値で、対戦結果によって変動します。勝てば上がり、負ければ下がり、レーティング差が大きいほど変動幅も大きくなります。

今回の評価では、各ツールを「対戦者」、PDFからのテキスト抽出の正確さを「対戦の強さ」に見立てました。具体的には、同じPDFファイルに対し各ツールでテキスト抽出を行い、11人の評価者がその出力結果を比較。「どちらがより正確に元のPDFの内容を反映しているか」を判定し、その結果を基に各ツールのELOレーティングを算出しました。

図を見ると、olmOCRが最も高いELOレーティングを獲得していることがわかります。これは、他のツールとの比較で「olmOCRの方が優れている」と判定された回数が多かったことを意味します。つまり、この図は、olmOCRが他のツールよりも総合的に優れており、PDFからより正確にテキストを抽出できることを、客観的な指標で示しているのです。

olmOCRは、具体的には以下の点で優れています。

読み取り順序の正確さ：複数列の文書や、図表が混在する文書でも、正しい順序でテキストを抽出できます。
構造化情報の認識精度：見出し、段落、表、数式などを正確に認識し、Markdown形式で出力します。
手書き文字の認識：手書きの文字も高精度に認識できます。

olmOCRの仕組み：高度な技術をわかりやすく解説

olmOCRの基盤技術：Vision Language Model (VLM)とは？

Vision Language Model (VLM) は、画像と言語の両方を理解できるAIモデルです。従来のOCR技術が主にテキストの認識に焦点を当てていたのに対し、VLMは画像全体の情報を活用することで、文書の構造やレイアウトをより深く理解できます。

olmOCRでは、Qwen2-VL-7B-InstructというVLMを基盤として使用しています。このモデルは、大量の画像とテキストのペアで学習されており、PDFのページを画像として入力すると、そのページに含まれるテキストを、構造化された形式で出力できます。

VLMは、PDFの見た目だけでなく、テキストの意味も理解できるため、例えば、見出しや段落、表、数式といった要素を区別し、それぞれを適切に表現できます。具体的には、テキストの内容だけでなく、フォントの種類、大きさ、色、配置などの情報も総合的に判断して、文書の構造を解析します。

olmOCRの独自技術：ドキュメントアンカリング

ドキュメントアンカリングは、PDFに含まれるテキスト情報を活用して、VLMの処理を助けるolmOCR独自の技術です。

具体的には、以下の手順で処理を行います。

テキストと画像の抽出：PDFから、テキストブロックと画像、およびそれらの位置情報を抽出します。
情報の選別と結合：抽出した情報の中から、重要なものを選び、VLMへのプロンプトに追加します。具体的には、テキストブロックの内容、位置、フォント情報、画像のキャプション、代替テキストなどを考慮します。
VLMによる処理：プロンプトとPDFの画像をVLMに入力し、テキストを抽出します。

この技術により、VLMはテキストの位置関係をより正確に把握でき、読み取り順序の誤りを減らすことができます。また、テキスト情報が少ない画像中心のPDFでも、高い精度でテキストを抽出できます。さらに、ドキュメントアンカリングによって、VLMはPDF内の要素間の関係性（例えば、図とそのキャプションの関係）を理解しやすくなり、より自然な文章を生成できます。

olmOCRの学習データ：多様なPDFで精度を向上

olmOCRは、26万ページを超える多様なPDFデータで学習しています。このデータセットは、olmOCR-mix-0225と呼ばれ、以下の特徴を持っています。

多様なドキュメントタイプ：学術論文（60%）、パンフレット（12%）、法律文書（11%）、図表（6%）、スライド（5%）など、様々な種類のPDFが含まれています。これにより、特定の分野に特化せず、幅広い文書に対応できます。
異なるソース：Webから収集したPDFと、Internet Archiveでスキャンされた書籍が含まれています。これにより、デジタルで作成された文書だけでなく、スキャンされた古い文書にも対応できます。
GPT-4oによるラベル付け：GPT-4oを使用して250,000ページにラベルを付与しました。これにより、高品質な教師データで学習することができ、高い精度を実現しています。

このような大規模かつ多様なデータセットで学習することで、olmOCRは様々なPDFに対応できる汎用性と、高い精度を実現しています。さらに、データセットは公開されているため、誰でも自由に利用・改良できます。

データセットの構成は以下の表のようになっています。

ソース	ユニークドキュメント数	総ページ数
Webから収集したPDF	99,903	249,332
Internet Archiveの書籍	5,601	16,803
合計	105,504	266,135

Webから収集したPDFのドキュメントタイプ別の内訳は以下の表のようになっています。

ドキュメントタイプ	割合
学術論文	60%
パンフレット	12%
法律文書	11%
表	6%
図	5%
スライド	2%
その他	4%

これらの表から、olmOCR-mix-0225が多様なドキュメントタイプとソースから構成されていることがわかります。

弊社は生成AI-OCRを活用した非定型文書の読み取り技術が得意で、様々な業界、業種のお客様へ人手による繰り返し作業を自動化する実績がございます。是非サービス紹介をご覧ください！

　AI文書読み取りサービスの詳細を見る　

olmOCRの導入と活用：実践的なステップ

olmOCRのインストールと環境設定

olmOCRを利用するには、以下の手順でインストールと環境設定を行う必要があります。

1. 依存関係のインストール: まず、PDFの処理に必要なライブラリ（poppler-utils）とフォントをインストールします。Ubuntu/Debianの場合は、以下のコマンドを実行します。

sudo apt-get update
sudo apt-get install poppler-utils ttf-mscorefonts-installer msttcorefonts fonts-crosextra-caladea fonts-crosextra-carlito gsfonts lcdf-typetools

2. conda環境の作成: 次に、Pythonの仮想環境を作成します。

conda create -n olmocr python=3.11
conda activate olmocr

3. olmOCRのインストール: olmOCRのソースコードをGitHubからクローンし、インストールします。

git clone https://github.com/allenai/olmocr.git
cd olmocr
pip install -e .

4. sglangのインストール (オプション): GPUを使って高速に処理したい場合は、sglangをインストールします。

pip install sgl-kernel==0.0.3.post1 --force-reinstall --no-deps
pip install "sglang[all]==0.4.2" --find-links https://flashinfer.ai/whl/cu124/torch2.4/flashinfer/

これで、olmOCRを利用する準備が整いました。

olmOCRの基本的な使い方：PDFをMarkdownに変換

olmOCRを使ってPDFをMarkdown形式のテキストに変換するには、以下のコマンドを実行します。

python -m olmocr.pipeline ./localworkspace --pdfs tests/gnarly_pdfs/horribleocr.pdf

./localworkspace：処理結果を保存するディレクトリを指定します。
--pdfs：変換したいPDFファイルのパスを指定します。複数のファイルを指定することも可能です。

実行すると、./localworkspace/resultsディレクトリに、Dolma形式のJSONLファイルが出力されます。このファイルには、PDFから抽出されたテキスト、ページ番号、言語などの情報が含まれています。

olmOCRの応用：大規模なPDF処理と結果の確認

大量のPDFファイルを処理する場合は、--pdfsオプションにワイルドカード（*）を指定したり、ファイルリストを指定したりできます。

python -m olmocr.pipeline ./localworkspace --pdfs tests/gnarly_pdfs/*.pdf

また、複数のGPUを使って並列処理を行うことも可能です。詳細は、olmOCRのドキュメントを参照してください。具体的には、--workersオプションでワーカー数を指定できます。

処理結果を確認するには、dolmaviewerコマンドを使用します。

python -m olmocr.viewer.dolmaviewer localworkspace/results/output_*.jsonl

このコマンドを実行すると、HTMLファイルが生成され、ブラウザでPDFと抽出されたテキストを並べて表示できます。これにより、抽出結果を目視で確認し、必要に応じて修正できます。

olmOCRの信頼性を高める工夫

olmOCRは、処理の信頼性を高めるために、いくつかの工夫が施されています。

プロンプトの最適化:
- document-anchoringで生成されるトークンが、プロンプト全体のトークン数上限を超えないように調整されます。具体的には、テキストブロックや画像の位置情報を、重要度の高いものから順に追加し、上限に達した時点で打ち切ります。
リトライ処理:
- モデルの出力が最大コンテキスト長を超えるか、JSONスキーマの検証に失敗した場合、自動的にリトライ処理を行います。
- リトライ回数には上限があり、繰り返し失敗する場合は、最終手段としてプレーンテキストベースのPDF抽出にフォールバックします。これにより、どのようなPDFでも、最低限のテキスト抽出結果を得ることができます。
- document-anchoringでは、プロンプトに含めるアンカーをランダムにサンプリングするため、再サンプリングによって問題が解決することがあります。
回転補正:
- 出力JSONスキーマには、is_rotation_validとrotation_correctionというフィールドが含まれています。
- is_rotation_validがtrueの場合、rotation_correctionで指定された角度だけページを回転させて再処理します。これにより、スキャンされた文書などで、ページが傾いている場合でも、正しくテキストを抽出できます。
デコード:
- 出力が同じトークン、行、または段落の繰り返しになる場合、自動的に失敗と判定します。
- 生成温度をτ = 0.1からτ = 0.8に上げることで、繰り返しの発生を抑制します。

これらの工夫により、olmOCRは、様々なPDFファイルに対して、安定して高品質なテキスト抽出を実現しています。具体的には、ノイズの多いスキャン文書、複雑なレイアウトの文書、手書き文字を含む文書など、従来のOCRツールでは対応が難しかったPDFでも、高い精度でテキストを抽出できます。

olmOCRの評価：客観的なデータで性能を検証

olmOCRが本当に優れているのかどうかを客観的に確かめるため、以下の3つの方法で性能を評価しました。

教師モデルとの整合性評価

まず、olmOCRが、テキスト抽出の「お手本」となるGPT-4oの出力結果とどれくらい一致しているかを調べました。GPT-4oは非常に高性能なAIモデルで、人間が見ても自然で正確なテキストを生成できます。 olmOCRはこのGPT-4oの出力結果を元に学習しているので、GPT-4oに近ければ近いほど、高性能であると言えます。

用語解説

温度 τ (タウ)：AIモデルがテキストを生成する際の「ランダムさ」を調整するパラメータです。温度が高いほど、より多様で予測しにくいテキストが生成され、温度が低いほど、より確実で予測しやすいテキストが生成されます。
GPT-4o (自己整合)：GPT-4o自身に、同じPDFからテキストを抽出させた場合の結果です。つまり、「お手本」自身のデータということになります。完全に同じ結果にはならない(100%の一致度にはならない)のは、AIがテキストを生成する際に、ある程度のランダムさが含まれるためです。

以下の表は、各モデルとGPT-4oの出力との一致度を示しています。

モデル	温度 τ	一致度
GPT-4o (自己整合)	0.1	0.954
GPT-4o mini	0.1	0.833
olmOCR	0.8	0.859
olmOCR	0.1	0.875

この表から、以下のことがわかります。

GPT-4o自身の出力(自己整合)は、0.954の一致度です。これは、GPT-4oでもある程度のばらつきがあることを示しています。
olmOCRは、温度を変えて2種類のデータがあります。これは、温度によって出力結果がどのように変わるかを見るためです。
olmOCRは、GPT-4o miniよりもGPT-4oに近い出力をしており、教師モデルの出力を忠実に再現できていることがわかります。

次に、olmOCRとGPT-4oの出力一致度を、より詳しく見てみましょう。一致度を「高」「中」「低」の3つのレベルに分類し、それぞれのレベルに該当するPDFのページがどれくらいあるかを示したのが以下の表です。

モデル	低一致	中一致	高一致
GPT-4o (自己整合)	38	218	965
GPT-4o mini	214	478	529
olmOCR (τ = 0.1)	158	363	700
olmOCR (τ = 0.8)	195	390	636

この表から、olmOCRは多くの場合（特に温度τ=0.1の時）、GPT-4oの出力と高い一致度を示していることがわかります。つまり、olmOCRはGPT-4oに匹敵するほど正確にPDFからテキストを抽出できる、ということです。

人手による比較評価

次に、olmOCRと他のPDF抽出ツール（Marker、MinerU、GOT-OCR 2.0）の出力結果を、人間が目で見て比較しました。

この図は、olmOCRと他のツールのELOレーティングの比較です。olmOCRが最も高い評価を得ています。

具体的には、11人の専門家が、2,017個のPDFから抽出されたテキストを比較し、「olmOCRの方が優れている」「Markerの方が優れている」といった形で、どちらが良いかを判定しました。その結果をまとめたのが以下の表です。

モデルの組み合わせ	勝敗	勝率 (%)
olmOCR vs. Marker	49/31	61.3
olmOCR vs. GOTOCR	41/29	58.6
olmOCR vs. MinerU	55/22	71.4
Marker vs. MinerU	53/26	67.1
Marker vs. GOTOCR	45/26	63.4
GOTOCR vs. MinerU	38/37	50.7
合計	452

表の一番下の「合計」の行は、評価者が「どちらか一方のツールが明らかに優れている」と判断した回数の合計です。引き分けや、どちらも同じくらい良くない、と判断された場合はカウントされていません。

この表から、olmOCRが他のツールと比較して、高い勝率を記録していることがわかります。例えば、olmOCRはMarkerに対して61.3%の確率で「優れている」と判定されました。

言語モデルの継続学習による評価

最後に、olmOCRで抽出したテキストを使って、AIの「言語モデル」をさらに学習させると、性能がどう変わるかを調べました。言語モデルとは、文章の読み書きや、質問に答えたりする能力を持つAIのことです。

ここでは、OLMo-2-1124-7Bという言語モデルを使い、olmOCRで抽出したテキストで追加学習を行いました。そして、学習後のモデルの性能を、以下の6つの指標で評価しました。

MMLU: 様々な分野の知識を問う問題での正答率
ARC_c: 科学に関する難しい問題での正答率
DROP: 文章を読んで質問に答える問題での正答率
HSwag: 常識的な推論が必要な問題での正答率
NQ: 自然言語による質問に答える問題での正答率
WinO: 代名詞が何を指すかを理解する問題での正答率

以下の表は、各タスクにおける性能を示しています。

PeS2o バージョン	平均	MMLU	ARC_c	DROP	HSwag	NQ	WinO
Grobid + rules (Soldaini and Lo, 2023)	53.9	61.1	75.0	42.3	57.4	29.4	58.3
olmOCR	55.2	61.1	76.4	43.7	62.6	29.1	58.0

表の「平均」の列を見ると、olmOCRで抽出したテキストで学習させた場合(55.2)の方が、従来のツール(Grobid + rules)で抽出したテキストで学習させた場合(53.9)よりも、性能が向上していることがわかります。これは、olmOCRによって、より正確で高品質なテキストデータが得られたため、言語モデルがより効果的に学習できるようになった、ということを意味します。つまり、olmOCRは、PDFからのテキスト抽出だけでなく、AI全体の性能向上にも貢献できる、ということです。

各指標について平均を取って比較しているのは、言語モデルの性能を総合的に評価するためです。一つの指標だけでは、モデルの得意・不得意が偏っている可能性があり、全体的な性能を正確に把握できません。複数の指標で評価し、その平均を見ることで、モデルの性能をより客観的に評価できます。

olmOCRの関連情報：詳細を知るためのリソース

olmOCRに関するより詳しい情報を知りたい場合は、以下のリソースを参照してください。

olmOCRの公式ドキュメントとコード

olmOCRの公式ドキュメントとコードは、GitHubで公開されています。

GitHubリポジトリ: https://github.com/allenai/olmocr

このリポジトリには、以下の情報が含まれています。

olmOCRのインストール方法と使い方
APIドキュメント
ソースコード
サンプルデータ

GitHubリポジトリを参照することで、olmOCRの最新情報を入手したり、開発に貢献したりできます。

olmOCRの論文とブログ記事

olmOCRに関する技術的な詳細は、以下の論文とブログ記事で解説されています。

論文: https://arxiv.org/pdf/2502.18443
ブログ記事: https://olmocr.allenai.org/blog

これらの資料を読むことで、olmOCRの仕組みや性能評価について、より深く理解することができます。論文では、技術的な詳細や実験結果が詳しく説明されており、ブログ記事では、より平易な言葉でolmOCRの概要や特徴が解説されています。

以下に論文中で使用されているGPT-4oへのプロンプトの例を示します。


Below is the image of one page of a PDF document, as well as some raw textual content that was previously extracted for it that includes position information for each image and block of text (The origin [0x0] of the coordinates is in the lower left corner of the image).
Just return the plain text representation of this document as if you were reading it naturally.
Turn equations into a LaTeX representation, and tables into markdown format. Remove the headers and footers, but keep references and footnotes.
Read any natural handwriting.
This is likely one page out of several in the document, so be sure to preserve any sentences that come from the previous page, or continue onto the next page, exactly as they are.
If there is no text at all that you think you should read, you can output null.
Do not hallucinate.

RAW_TEXT_START
{base_text}
RAW_TEXT_END

（日本語訳）

以下は、PDFドキュメントの1ページの画像と、以前に抽出された生のテキストコンテンツです。これには、各画像とテキストブロックの位置情報が含まれています（座標の原点[0x0]は画像の左下隅にあります）。このドキュメントを自然に読んでいるかのように、プレーンテキスト表現で返してください。方程式はLaTeX表現に、表はマークダウン形式に変換してください。ヘッダーとフッターは削除しますが、参照と脚注は保持してください。自然な手書き文字も読み取ってください。これはドキュメントの複数ページのうちの1ページである可能性が高いため、前のページから続く文や、次のページに続く文は、そのまま保持してください。読むべきテキストがまったくない場合は、nullを出力できます。幻覚を見ないでください。

RAW_TEXT_START
{base_text}
RAW_TEXT_END

olmOCRでは、{base_text}の部分にドキュメントアンカリングによって抽出されたテキスト情報が挿入されます。

olmOCRのデモサイト

olmOCRの機能を実際に試すことができるデモサイトが公開されており、無料で試すことができます。

デモサイト: https://olmocr.allenai.org

このサイトでは、PDFファイルをアップロードすると、olmOCRがテキストを抽出し、結果をMarkdown形式で表示します。実際にPDFファイルをアップロードして、olmOCRの性能を体験できます。

olmOCRの将来展望：今後の発展と期待

olmOCRは、PDFからのテキスト抽出における課題を解決し、言語モデルの学習データ拡充に貢献する可能性を秘めたツールです。

olmOCRの今後の課題

olmOCRは高性能なPDFテキスト抽出ツールですが、いくつかの課題も残されています。こちらの論文によると、デコード時に出力が同じトークン、行、または段落の繰り返しになる場合があり、これを早期に検出し、処理を中断する機能が今後の課題として挙げられています。具体的には、生成の最大コンテキスト長に達する前に、繰り返しの発生を検出し、処理を中止することで、計算リソースの浪費を防ぐ必要があります。

今後の発展としては、以下の点が期待されます。

さらなる精度向上：より多くのデータや、より高度なモデルを使った学習により、さらに精度を向上させることが期待されます。具体的には、より多様なレイアウトやフォント、言語に対応できるようになることが期待されます。例えば、日本語の縦書き文書や、複雑な数式を含む科学技術論文など、現状では対応が難しい文書への対応が期待されます。
対応フォーマットの拡充：現在はPDFのみに対応していますが、他のドキュメントフォーマット（Word、PowerPointなど）への対応も期待されます。これにより、より幅広い種類の文書を扱えるようになります。
機能追加：テキスト抽出だけでなく、文書の要約や翻訳など、より高度な機能の追加も考えられます。これにより、olmOCRは単なるテキスト抽出ツールから、より高度な文書処理プラットフォームへと進化する可能性があります。

olmOCRは、オープンソースプロジェクトとして公開されており、誰でも自由に利用・改良できます。今後の発展に期待しましょう。また、コミュニティへの参加やフィードバックの提供も歓迎されています。

本記事をご覧いただいた方にはこちらの資料がおすすめです！

【目的別】生成AIの使い方がわかる！生成AI活用事例集

「生成AIって色々ありすぎてよくわからない・・・」という方向けに、汎用型生成AIであるChatGPT、Claude、Gemini、Perplexityの比較や、画像、音声、動画生成のツールなどを、どの様な場面のときにどのように使用するのが効果的かという点を重点的に、事例をまとめて紹介いたします。これを読めば、生成AIの効果的な使い方がわかります！本資料は、