Автоматически аннотируйте статьи с помощью LLM
annotateai
автоматически аннотирует статьи, используя модели большого языка (LLM). В то время как LLM могут обобщать статьи, выполнять поиск по статьям и создавать генеративный текст о статьях, этот проект направлен на предоставление читателям контекста во время чтения.
Однострочный вызов выполняет следующее:
Читает газету
Находит название и важные ключевые понятия.
Просматривает каждую страницу и находит разделы, которые лучше всего подчеркивают ключевые понятия.
Читает раздел и строит краткую короткую тему.
Аннотирует статью и выделяет эти разделы.
Самый простой способ установки — через pip и PyPI.
pip install annotateai
Поддерживается Python 3.9+. Рекомендуется использовать виртуальную среду Python.
annotateai
также можно установить непосредственно с GitHub, чтобы получить доступ к новейшим, еще не выпущенным функциям.
pip install git+https://github.com/neuml/annotateai
annotateai
может комментировать любой PDF-файл, но особенно хорошо он работает для медицинских и научных статей. Ниже показана серия примеров с использованием статей из arXiv.
Этот проект также хорошо работает с статьями из PubMed, bioRxiv и medRxiv!
Установите следующее.
# Измените autoawq[kernels] на «autoawq autoawq-kernels», если возникает ошибка flash-attnpip install annotateai autoawq[kernels]# Пользователи macOS должны вместо этого запустить это pip install annotateai llama-cpp-python
Основной входной параметр — это путь к LLM. Этот проект поддерживается txtai и поддерживает любой LLM, поддерживаемый txtai.
from annotateai import Annotate# Эта модель хорошо работает с медицинской и научной литературойannotate = Annotate("NeuML/Llama-3.1_OpenScholar-8B-AWQ")# вместо этого пользователям macOS следует запустить эту annotate = Annotate( "bartowski/Llama-3.1_OpenScholar-8B-GGUF/Llama-3.1_OpenScholar-8B-Q4_K_M.gguf")
В этой статье RAG была предложена еще до того, как большинство из нас осознали, что она нам нужна.
аннотация("https://arxiv.org/pdf/2005.11401")
Источник: https://arxiv.org/pdf/2005.11401.
В этой статье создается крупнейшая модель генерации видео с открытым исходным кодом. По состоянию на декабрь 2024 года это тренд в Papers With Code.
аннотация("https://arxiv.org/pdf/2412.03603v2")
Источник: https://arxiv.org/pdf/2412.03603v2.
Этот документ был представлен на 38th Conference on Neural Information Processing Systems (NeurIPS 2024) Track on Datasets and Benchmarks
.
аннотировать("https://arxiv.org/pdf/2406.14657")
Источник: https://arxiv.org/pdf/2406.14657.
Как упоминалось ранее, этот проект поддерживает любой LLM, поддерживаемый txtai. Некоторые примеры ниже.
pip install txtai[pipeline-llm]
# LLM API Servicesannotate = Annotate("gpt-4o")annotate = Annotate("claude-3-5-sonnet-20240620")# Ollama endpointannotate = Annotate("ollama/llama3.1")# llama.cpp GGUF from Hugging Лицо Hubannotate = Annotate( "bartowski/Llama-3.1_OpenScholar-8B-GGUF/Llama-3.1_OpenScholar-8B-Q4_K_M.gguf")
Режим по умолчанию для экземпляра annotate
— автоматическое создание ключевых понятий для поиска. Но эти понятия можно предоставить через параметр keywords
.
annotate("https://arxiv.org/pdf/2005.11401", ключевые слова=["галлюцинации", "llm"])
Это полезно в ситуациях, когда у нас есть большой пакет статей, и мы хотим, чтобы он определил определенный набор концепций, которые помогут при обзоре.
Индикатор выполнения можно отключить следующим образом:
аннотировать("https://arxiv.org/pdf/2005.11401", Progress=False)
neuml/annotateai — это веб-приложение, доступное в Docker Hub.
Это можно запустить с настройками по умолчанию следующим образом.
docker run -d --gpus=all -it -p 8501:8501 neuml/annotateai
LLM также можно установить с помощью параметров ENV.
docker run -d --gpus=all -it -p 8501:8501 -e LLM=bartowski/Llama-3.2-1B-Instruct-GGUF/Llama-3.2-1B-Instruct-Q4_K_M.gguf neuml/annotateai
Код этого приложения можно найти в папке приложения.
Представляем AnnotateAI