aipdf

AIPDF : OCR PDF simple avec des modèles multimodaux de type GPT

Au lieu des OCR traditionnels ou des bibliothèques lourdes pour obtenir des données à partir de PDF, GenAI fait un meilleur travail !

AIPDF est une bibliothèque Python pure autonome, minimaliste mais puissante qui exploite des modèles d'IA de génération multimodaux (OpenAI, lama3 ou alternatives compatibles) pour extraire des données de PDF et les convertir dans divers formats tels que Markdown ou JSON.

Installation

pip install aipdf

sous macOS, vous devrez installer poppler

brew install poppler 

Démarrage rapide

 from aipdf import ocr

# Your OpenAI API key   
api_key = 'your_openai_api_key'

file = open ( 'somepdf.pdf' , 'rb' )
markdown_pages = ocr ( file , api_key )

Ollama

Vous pouvez utiliser avec n'importe quel modèle multimodal ollama

 ocr ( pdf_file , api_key = 'ollama' , model = "llama3.2" , base_url = 'http://localhost:11434/v1' , prompt = ...)

N'importe quel système de fichiers

Nous avons choisi que vous transmettiez un objet fichier, car de cette façon, vous pouvez l'utiliser avec n'importe quel type de système de fichiers, s3, fichiers locaux, URL, etc.

À partir de l'URL

 pdf_file = io . BytesIO ( requests . get ( 'https://arxiv.org/pdf/2410.02467' ). content )

# extract
pages = ocr ( pdf_file , api_key , prompt = "extract tables, return each table in json" )

À partir de S3

 s3 = boto3 . client ( 's3' , config = Config ( signature_version = 's3v4' ),
                  aws_access_key_id = access_token ,
                  aws_secret_access_key = '' , # Not needed for token-based auth
                  aws_session_token = access_token )


pdf_file = io . BytesIO ( s3 . get_object ( Bucket = bucket_name , Key = object_key )[ 'Body' ]. read ())
# extract 
pages = ocr ( pdf_file , api_key , prompt = "extract charts data, turn it into tables that represent the variables in the chart" )

Pourquoi AIPDF ?

1. Simplicité : AIPDF fournit une fonction simple, elle nécessite une installation, des dépendances et une configuration minimales.
2. Flexibilité : extrayez les données au format Markdown, JSON, HTML, YAML, peu importe... le format de fichier et le schéma.
3. Puissance de l'IA : exploite des modèles multimodaux de pointe (gpt, lama, ..).
4. Personnalisable : adaptez le processus d'extraction à vos besoins spécifiques avec des invites personnalisées.
5. Efficace : utilise le traitement parallèle pour une extraction plus rapide des PDF de plusieurs pages.

Exigences

• Python3.7+

Nous garderons cela super propre, seulement 3 bibliothèques requises :

• bibliothèque openai pour parler aux points de terminaison
• bibliothèque pdf2image (pour la conversion de PDF en image)
• Bibliothèque d'oreillers (PIL)

Licence

Ce projet est sous licence MIT - voir le fichier LICENSE pour plus de détails.

Contribuer

Les contributions sont les bienvenues ! N'hésitez pas à soumettre une Pull Request.

Soutien

Si vous rencontrez des problèmes ou avez des questions, veuillez ouvrir un ticket sur le référentiel GitHub.

---

AIPDF rend l'extraction de données PDF simple, flexible et puissante. Essayez-le et simplifiez votre flux de travail de traitement PDF dès aujourd'hui !