annotateai

Kommentieren Sie Dokumente automatisch mit LLMs

annotateai kommentiert Arbeiten automatisch mithilfe von Large Language Models (LLMs). Während LLMs Aufsätze zusammenfassen, Aufsätze durchsuchen und generativen Text über Aufsätze erstellen können, konzentriert sich dieses Projekt darauf, menschlichen Lesern beim Lesen Kontext zu bieten.

Architektur

Ein einzeiliger Anruf bewirkt Folgendes:

• Liest die Zeitung

• Findet den Titel und wichtige Schlüsselkonzepte

• Geht jede Seite durch und findet Abschnitte, die die Schlüsselkonzepte am besten hervorheben

• Liest den Abschnitt und erstellt ein prägnantes kurzes Thema

• Versieht die Arbeit mit Anmerkungen und hebt diese Abschnitte hervor

Installation

Der einfachste Weg zur Installation ist über Pip und PyPI

pip install annotateai

Python 3.9+ wird unterstützt. Es wird empfohlen, eine virtuelle Python-Umgebung zu verwenden.

annotateai kann auch direkt von GitHub installiert werden, um auf die neuesten, unveröffentlichten Funktionen zuzugreifen.

pip install git+https://github.com/neuml/annotateai

Beispiele

annotateai kann jedes PDF mit Anmerkungen versehen, eignet sich aber besonders gut für medizinische und wissenschaftliche Arbeiten. Das Folgende zeigt eine Reihe von Beispielen anhand von Artikeln von arXiv.

Dieses Projekt funktioniert auch gut mit Artikeln von PubMed, bioRxiv und medRxiv!

Aufstellen

Installieren Sie Folgendes.

 # Ändern Sie autoawq[kernels] in „autoawq autoawq-kernels“, wenn ein Flash-Attn-Fehler auftritt. pip install annotateai autoawq[kernels]# macOS-Benutzer sollten dies stattdessen ausführen. pip install annotateai llama-cpp-python

Der primäre Eingabeparameter ist der Pfad zum LLM. Dieses Projekt wird von txtai unterstützt und unterstützt jedes von txtai unterstützte LLM.

 from annotateai import Annotate# Dieses Modell funktioniert gut mit medizinischer und wissenschaftlicher Literatur. annotate = Annotate("NeuML/Llama-3.1_OpenScholar-8B-AWQ")# macOS-Benutzer sollten dies stattdessen ausführen annotate = Annotate( "bartowski/Llama-3.1_OpenScholar-8B- GGUF/Llama-3.1_OpenScholar-8B-Q4_K_M.gguf")

Kommentieren Sie das Papier „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“

In diesem Papier wurde RAG vorgeschlagen, bevor die meisten von uns wussten, dass wir es brauchten.

 annotate("https://arxiv.org/pdf/2005.11401")

Quelle: https://arxiv.org/pdf/2005.11401

Kommentieren Sie das Papier „HunyuanVideo: Ein systematisches Framework für große generative Videomodelle“

In diesem Artikel wird das größte Open-Source-Videogenerierungsmodell erstellt. Ab Dezember 2024 ist es bei Papers With Code im Trend.

 annotate("https://arxiv.org/pdf/2412.03603v2")

Quelle: https://arxiv.org/pdf/2412.03603v2

Kommentieren Sie das Papier „OpenDebateEvidence: A Massive-Scale Argument Mining and Summarization Dataset“

Dieses Papier wurde auf der 38th Conference on Neural Information Processing Systems (NeurIPS 2024) Track on Datasets and Benchmarks vorgestellt.

 annotate("https://arxiv.org/pdf/2406.14657")

Quelle: https://arxiv.org/pdf/2406.14657

LLM-APIs und llama.cpp

Wie bereits erwähnt, unterstützt dieses Projekt jedes von txtai unterstützte LLM. Nachfolgend einige Beispiele.

pip install txtai[pipeline-llm]

 # LLM API Servicesannotate = Annotate("gpt-4o")annotate = Annotate("claude-3-5-sonnet-20240620")# Ollama endpointannotate = Annotate("ollama/llama3.1")# llama.cpp GGUF von Hugging Gesicht Hubannotate = Annotate( „bartowski/Llama-3.1_OpenScholar-8B-GGUF/Llama-3.1_OpenScholar-8B-Q4_K_M.gguf“)

Zusätzliche Parameter

Der Standardmodus für eine annotate -Instanz besteht darin, automatisch die Schlüsselkonzepte zu generieren, nach denen gesucht werden soll. Diese Konzepte können jedoch über den Parameter keywords bereitgestellt werden.

 annotate("https://arxiv.org/pdf/2005.11401", keywords=["hallucinations", "llm"])

Dies ist in Situationen nützlich, in denen wir eine große Menge an Papieren haben und eine bestimmte Reihe von Konzepten identifizieren möchten, die bei einer Überprüfung hilfreich sind.

Der Fortschrittsbalken kann wie folgt deaktiviert werden:

 annotate("https://arxiv.org/pdf/2005.11401", progress=False)

Docker-Webanwendung

neuml/annotateai ist eine Webanwendung, die auf Docker Hub verfügbar ist.

Dies kann mit den Standardeinstellungen wie folgt ausgeführt werden.

docker run -d --gpus=all -it -p 8501:8501 neuml/annotateai

Das LLM kann auch über ENV-Parameter eingestellt werden.

docker run -d --gpus=all -it -p 8501:8501 -e LLM=bartowski/Llama-3.2-1B-Instruct-GGUF/Llama-3.2-1B-Instruct-Q4_K_M.gguf neuml/annotateai

Der Code für diese Anwendung befindet sich im App-Ordner.

Weiterführende Literatur

• Wir stellen AnnotateAI vor