aipdf

AIPDF: GPT のようなマルチモーダル モデルを使用したシンプルな PDF OCR

従来の OCR や重いライブラリを使って PDF からデータを取得するのは面倒ですが、GenAI はより良い仕事をします。

AIPDF は、スタンドアロンのミニマルでありながら強力な純粋な Python ライブラリであり、マルチモーダル生成 AI モデル (OpenAI、llama3、または互換性のある代替モデル) を利用して PDF からデータを抽出し、Markdown や JSON などのさまざまな形式に変換します。

インストール

pip install aipdf

macOS では、poppler をインストールする必要があります

brew install poppler 

クイックスタート

 from aipdf import ocr

# Your OpenAI API key   
api_key = 'your_openai_api_key'

file = open ( 'somepdf.pdf' , 'rb' )
markdown_pages = ocr ( file , api_key )

オラマ

あらゆる ollam マルチモーダル モデルで使用できます

 ocr ( pdf_file , api_key = 'ollama' , model = "llama3.2" , base_url = 'http://localhost:11434/v1' , prompt = ...)

あらゆるファイルシステム

ファイル オブジェクトを渡すことを選択しました。そうすることで、s3、ローカルファイル、URL など、あらゆるタイプのファイル システムで柔軟に使用できるからです。

URLから

 pdf_file = io . BytesIO ( requests . get ( 'https://arxiv.org/pdf/2410.02467' ). content )

# extract
pages = ocr ( pdf_file , api_key , prompt = "extract tables, return each table in json" )

S3から

 s3 = boto3 . client ( 's3' , config = Config ( signature_version = 's3v4' ),
                  aws_access_key_id = access_token ,
                  aws_secret_access_key = '' , # Not needed for token-based auth
                  aws_session_token = access_token )


pdf_file = io . BytesIO ( s3 . get_object ( Bucket = bucket_name , Key = object_key )[ 'Body' ]. read ())
# extract 
pages = ocr ( pdf_file , api_key , prompt = "extract charts data, turn it into tables that represent the variables in the chart" )

AIPDF を選ぶ理由

1. シンプルさ: AIPDF は簡単な機能を提供し、必要なセットアップ、依存関係、構成は最小限です。
2. 柔軟性: データを Markdown、JSON、HTML、YAML などのファイル形式やスキーマに抽出します。
3. AI の力: 最先端のマルチモーダル モデル (gpt、llama など) を活用します。
4. カスタマイズ可能: カスタム プロンプトを使用して、特定のニーズに合わせて抽出プロセスを調整します。
5. 効率的: 並列処理を利用して、複数ページの PDF をより高速に抽出します。

要件

• Python 3.7以降

この非常にクリーンな状態を維持し、必要なライブラリは 3 つだけにしておきます。

• 完了エンドポイントと通信するための openai ライブラリ
• pdf2image ライブラリ (PDF から画像への変換用)
• ピロー (PIL) ライブラリ

ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。

貢献する

貢献は大歓迎です!お気軽にプルリクエストを送信してください。

サポート

問題が発生した場合や質問がある場合は、GitHub リポジトリで問題を開いてください。

---

AIPDF は、PDF データ抽出をシンプル、柔軟、そして強力にします。今すぐ試して、PDF 処理ワークフローを簡素化してください。