annotateai

使用法學碩士自動註釋論文

annotateai使用大型語言模型 (LLM) 自動註解論文。雖然法學碩士可以總結論文、搜尋論文並建立有關論文的生成文本，但該計畫的重點是為人類讀者提供閱讀時的上下文。

建築學

單行調用執行以下操作：

• 讀論文

• 尋找標題和重要的關鍵概念

• 瀏覽每一頁並找到最能強調關鍵概念的部分

• 閱讀該部分並建立一個簡潔的簡短主題

• 對論文進行註釋並突出顯示這些部分

安裝

最簡單的安裝方法是透過 pip 和 PyPI

pip install annotateai

支援 Python 3.9+。推薦使用Python虛擬環境。

annotateai也可以直接從 GitHub 安裝，以存取最新的、未發布的功能。

pip install git+https://github.com/neuml/annotateai

範例

annotateai可以註釋任何 PDF，但它對於醫學和科學論文尤其有效。下面展示了一系列使用 arXiv 論文的範例。

該專案還可以與 PubMed、bioRxiv 和 medRxiv 的論文很好地配合！

設定

安裝以下內容。

 # 如果出現 flash-attn 錯誤，請將 autoawq[kernels] 變更為「autoawq autoawq-kernels」pip install annotateai autoawq[kernels]# macOS 使用者應該執行此指令 pip install annotateai llama-cpp-python

主要輸入參數是 LLM 的路徑。該專案由 txtai 支持，並且支援任何 txtai 支援的 LLM。

 from annotateai import Annotate# 此模型適用於醫學和科學文獻annotate = Annotate("NeuML/Llama-3.1_OpenScholar-8B-AWQ")# macOS 使用者應執行此版本annotate = Annotate( "bartowski/Llama-3.1_OpenScholar-3.1. - GGUF/Llama-3.1_OpenScholar-8B-Q4_K_M.gguf")

註釋論文《知識密集型 NLP 任務的檢索增強生成》

在我們大多數人知道我們需要 RAG 之前，這篇論文就提出了它。

註（「https://arxiv.org/pdf/2005.11401」）

資料來源：https://arxiv.org/pdf/2005.11401

註釋論文《HunyuanVideo: A Systematic Framework For Large Video Generative Models》

本文建構了最大的開源視訊生成模型。截至 2024 年 12 月，它是 Papers With Code 上的熱門話題。

註（「https://arxiv.org/pdf/2412.03603v2」）

資料來源：https://arxiv.org/pdf/2412.03603v2

註釋論文“OpenDebateEvidence：大規模論證挖掘和總結資料集”

該論文已在38th Conference on Neural Information Processing Systems (NeurIPS 2024) Track on Datasets and Benchmarks發表。

註（「https://arxiv.org/pdf/2406.14657」）

資料來源：https://arxiv.org/pdf/2406.14657

LLM API 和 llama.cpp

如前所述，該專案支援任何 txtai 支援的 LLM。下面是一些例子。

pip install txtai[pipeline-llm]

 # LLM API servicesannotate = Annotate("gpt-4o")annotate = Annotate("claude-3-5-sonnet-20240620")# Ollama端點annotate = Annotate("ollama/llama3.1")# llama.cpp. Hugging Face Hubannotate = Annotate(“bartowski/Llama-3.1_OpenScholar-8B-GGUF/Llama-3.1_OpenScholar-8B-Q4_K_M.gguf”)

附加參數

annotate實例的預設模式是自動產生要搜尋的關鍵概念。但這些概念可以透過keywords參數提供。

註（“https://arxiv.org/pdf/2005.11401”，關鍵字= [“幻覺”，“llm”]）

這對於我們擁有大量論文並且希望它識別一組特定概念來幫助審查的情況非常有用。

可以如下停用進度條：

註（“https://arxiv.org/pdf/2005.11401”，進度= False）

Docker 網路應用程式

neuml/annotateai 是 Docker Hub 上可用的 Web 應用程式。

這可以使用預設設定運行，如下所示。

docker run -d --gpus=all -it -p 8501:8501 neuml/annotateai

LLM 也可以透過 ENV 參數進行設定。

docker run -d --gpus=all -it -p 8501:8501 -e LLM=bartowski/Llama-3.2-1B-Instruct-GGUF/Llama-3.2-1B-Instruct-Q4_K_M.gguf neuml/annotateai

該應用程式的程式碼可以在應用程式資料夾中找到。

進一步閱讀

• 介紹 AnnotateAI