aipdf

AIPDF: Einfache PDF-OCR mit GPT-ähnlichen multimodalen Modellen

Wenn Sie herkömmliche OCRs oder umfangreiche Bibliotheken aufgeben, um Daten aus PDFs zu erhalten, leistet GenAI einen besseren Job!

AIPDF ist eine eigenständige, minimalistische und dennoch leistungsstarke reine Python-Bibliothek, die multimodale Gen-KI-Modelle (OpenAI, llama3 oder kompatible Alternativen) nutzt, um Daten aus PDFs zu extrahieren und sie in verschiedene Formate wie Markdown oder JSON zu konvertieren.

Installation

pip install aipdf

Unter macOS müssen Sie Poppler installieren

brew install poppler 

Schnellstart

 from aipdf import ocr

# Your OpenAI API key   
api_key = 'your_openai_api_key'

file = open ( 'somepdf.pdf' , 'rb' )
markdown_pages = ocr ( file , api_key )

Ollama

Sie können es mit allen multimodalen Ollama-Modellen verwenden

 ocr ( pdf_file , api_key = 'ollama' , model = "llama3.2" , base_url = 'http://localhost:11434/v1' , prompt = ...)

Jedes Dateisystem

Wir haben uns dafür entschieden, dass Sie ein Dateiobjekt übergeben, da Sie es auf diese Weise flexibel mit jedem Dateisystemtyp, S3, lokalen Dateien, URLs usw. verwenden können

Von der URL

 pdf_file = io . BytesIO ( requests . get ( 'https://arxiv.org/pdf/2410.02467' ). content )

# extract
pages = ocr ( pdf_file , api_key , prompt = "extract tables, return each table in json" )

Ab S3

 s3 = boto3 . client ( 's3' , config = Config ( signature_version = 's3v4' ),
                  aws_access_key_id = access_token ,
                  aws_secret_access_key = '' , # Not needed for token-based auth
                  aws_session_token = access_token )


pdf_file = io . BytesIO ( s3 . get_object ( Bucket = bucket_name , Key = object_key )[ 'Body' ]. read ())
# extract 
pages = ocr ( pdf_file , api_key , prompt = "extract charts data, turn it into tables that represent the variables in the chart" )

Warum AIPDF?

1. Einfachheit : AIPDF bietet eine unkomplizierte Funktion und erfordert nur minimale Einrichtung, Abhängigkeiten und Konfiguration.
2. Flexibilität : Extrahieren Sie Daten in Markdown, JSON, HTML, YAML, was auch immer ... Dateiformat und Schema.
3. Kraft der KI : Nutzt modernste multimodale Modelle (GPT, Lama usw.).
4. Anpassbar : Passen Sie den Extraktionsprozess mit benutzerdefinierten Eingabeaufforderungen an Ihre spezifischen Anforderungen an.
5. Effizient : Nutzt Parallelverarbeitung für eine schnellere Extraktion mehrseitiger PDFs.

Anforderungen

• Python 3.7+

Wir werden dies super sauber halten, nur 3 erforderliche Bibliotheken:

• openai-Bibliothek zur Kommunikation mit Abschlussendpunkten
• pdf2image-Bibliothek (für die Konvertierung von PDF in Bild)
• Pillow-Bibliothek (PIL).

Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert – Einzelheiten finden Sie in der LIZENZ-Datei.

Mitwirken

Beiträge sind willkommen! Bitte senden Sie gerne einen Pull Request.

Unterstützung

Wenn Sie auf Probleme stoßen oder Fragen haben, öffnen Sie bitte ein Issue im GitHub-Repository.

---

AIPDF macht die PDF-Datenextraktion einfach, flexibel und leistungsstark. Probieren Sie es aus und vereinfachen Sie noch heute Ihren PDF-Verarbeitungsworkflow!