annotateai
v0.2.0
LLM を使用して論文に自動的に注釈を付ける
annotateai Large Language Model (LLM) を使用して論文に自動的に注釈を付けます。 LLM は論文を要約したり、論文を検索したり、論文に関する生成テキストを作成したりできますが、このプロジェクトは人間の読者に読みながらコンテキストを提供することに重点を置いています。
1 行の呼び出しでは次のことが行われます。
新聞を読む
タイトルと重要なキーコンセプトを見つける
各ページを調べて、主要な概念を最も強調しているセクションを見つけます。
セクションを読み、簡潔な短いトピックを作成します
論文に注釈を付け、それらのセクションを強調表示します
最も簡単なインストール方法は、pip と PyPI を使用することです。
pip install annotateai
Python 3.9以降がサポートされています。 Python 仮想環境の使用をお勧めします。
annotateai GitHub から直接インストールして、最新の未リリース機能にアクセスすることもできます。
pip install git+https://github.com/neuml/annotateai
annotateaiあらゆる PDF に注釈を付けることができますが、特に医学論文や科学論文に適しています。以下に、arXiv の論文を使用した一連の例を示します。
このプロジェクトは、PubMed、bioRxiv、medRxiv の論文ともうまく機能します。
以下をインストールします。
# flash-attn エラーが発生した場合は、autoawq[kernels] を「autoawq autoawq-kernels」に変更しますpip install annotateai autoawq[kernels]# macOS ユーザーは代わりにこれを実行してくださいpip install annotateai llama-cpp-python
主な入力パラメータは LLM へのパスです。このプロジェクトは txtai によって支援されており、txtai がサポートするすべての LLM をサポートしています。
from annotateai import Annotate# このモデルは医学および科学文献でうまく機能しますannotate = Annotate("NeuML/Llama-3.1_OpenScholar-8B-AWQ")# macOS ユーザーは代わりにこれを実行する必要がありますannotate = Annotate( "bartowski/Llama-3.1_OpenScholar-8B-GGUF/Llama-3.1_OpenScholar-8B-Q4_K_M.gguf")この論文は、私たちのほとんどが RAG の必要性を認識する前に、RAG を提案しました。
annotate("https://arxiv.org/pdf/2005.11401")出典: https://arxiv.org/pdf/2005.11401
この論文では、最大のオープンソースビデオ生成モデルを構築します。 2024 年 12 月の時点で Papers With Code でトレンドになっています。
annotate("https://arxiv.org/pdf/2412.03603v2")出典: https://arxiv.org/pdf/2412.03603v2
この論文は38th Conference on Neural Information Processing Systems (NeurIPS 2024) Track on Datasets and Benchmarksで発表されました。
annotate("https://arxiv.org/pdf/2406.14657")出典: https://arxiv.org/pdf/2406.14657
前述したように、このプロジェクトは txtai でサポートされる LLM をサポートします。以下にいくつかの例を示します。
pip install txtai[pipeline-llm]
# LLM API サービスsannotate = Annotate("gpt-4o")annotate = Annotate("claude-3-5-sonnet-20240620")# Ollama エンドポイントannotate = Annotate("ollama/llama3.1")# ハギングからの llama.cpp GGUF顔の Hubannotate = Annotate( "bartowski/Llama-3.1_OpenScholar-8B-GGUF/Llama-3.1_OpenScholar-8B-Q4_K_M.gguf")annotateインスタンスのデフォルトのモードでは、検索する主要な概念が自動的に生成されます。ただし、これらの概念はkeywordsパラメーターを介して提供できます。
annotate("https://arxiv.org/pdf/2005.11401", キーワード=["幻覚", "llm"])これは、大量の論文があり、レビューに役立つ特定の概念セットを特定したい場合に便利です。
プログレスバーは次のように無効にできます。
annotate("https://arxiv.org/pdf/2005.11401", progress=False)neuml/annotateai は、Docker Hub で利用できる Web アプリケーションです。
以下のようにデフォルト設定で実行できます。
docker run -d --gpus=all -it -p 8501:8501 neuml/annotateai
LLM は ENV パラメータを介して設定することもできます。
docker run -d --gpus=all -it -p 8501:8501 -e LLM=bartowski/Llama-3.2-1B-Instruct-GGUF/Llama-3.2-1B-Instruct-Q4_K_M.gguf neuml/annotateai
このアプリケーションのコードは、app フォルダーにあります。
AnnotateAI の紹介
