AIrXiv

AIrXiv

AIrXiv — это прототип научного сотрудника ArXiv на базе LLM. Это приложение Electron с серверной частью Flask, работающей на базе API OpenAI. AIrXiv использует API-ключ OpenAI, ориентированный на пользователя.

Содержание

• Замечания по реализации
• Установка
• Использование
• Лицензия

Замечания по реализации

• AIrXiv пытается извлечь исходный текст документов в формате TeX при их добавлении в базу данных. Если это не удается, используется извлечение PDF.
• AIrXiv использует простой поиск по сходству по топ-k (по умолчанию k = 3 ) из векторного хранилища FAISS. k можно установить в config.yml вместе с размером фрагмента и длиной шага фрагментов (по умолчанию 512 и 384).
• Элементы внешнего интерфейса находятся в static , а элементы внутренней части — в util и main.py

Установка

Пожалуйста, откройте вопрос, если у вас возникли проблемы с установкой.

0. (Предварительные требования) Убедитесь, что у вас установлен Node.js (рекомендуется версия LTS) и Python >=3.7.
1. Клонируйте и cd в репозиторий:

 git clone https://github.com/smsharma/AIrXiv.git
cd AIrXiv

2. Установите необходимые пакеты Python, используя предоставленный файл Environment.yml. Вы можете использовать Conda или любой другой менеджер среды по вашему выбору:

 conda env create -f environment.yml
conda activate airxiv

3. Установите необходимые пакеты Node.js, выполнив следующую команду:

 npm install

Использование

Запустите приложение Electron с помощью

 npm run dev

который запускает серверную часть Python/Flask ( python main.py или npm run start-flask ), а также внешний интерфейс ( npm start ). Если это не помогло, попробуйте запустить две команды отдельно. Добавьте один или два идентификатора arXiv, введите свой ключ API OpenAI в текстовое поле внизу и начните задавать вопросы!

Примечания по использованию:

• В настройках приложения можно выбрать gpt-3.5-turbo или gpt-4 . gpt-4 значительно лучше, в частности, при реализации кода, но он примерно на порядок дороже (~ 0,02 доллара США/1000 токенов) по сравнению с gpt-3.5-turbo , и, кроме того, доступ к API подлежит списку ожидания.
• Запрос бумаги можно отключить, установив флажок «Не запрашивать бумаги» в настройках. Тогда это просто зависит от общих возможностей модели.
• Все выходные данные должны быть проверены на целостность.

Лицензия

AIrXiv лицензируется по лицензии MIT.