paperai

---

paperai — это приложение для семантического поиска и документооборота медицинских/научных статей.

Приложения варьируются от индексов семантического поиска, которые находят совпадения по медицинским/научным запросам, до полноценных приложений для составления отчетов, основанных на машинном обучении.

paperai и/или NeuML отмечены в следующих статьях:

• Эксперты по машинному обучению изучили 47 000 статей о семействе коронавирусов
• Ученые, работающие с данными, помогают медицинским исследователям в борьбе с COVID-19
• Награды CORD-19 Kaggle Challenge

Установка

Самый простой способ установки — через pip и PyPI.

 pip install paperai

Поддерживается Python 3.8+. Рекомендуется использовать виртуальную среду Python.

paperai также можно установить непосредственно с GitHub, чтобы получить доступ к новейшим, еще не выпущенным функциям.

 pip install git+https://github.com/neuml/paperai

Перейдите по этой ссылке, чтобы решить проблемы установки, связанные с конкретной средой.

Докер

Выполните приведенные ниже шаги, чтобы создать образ Docker с paperai и всеми зависимостями.

 wget https://raw.githubusercontent.com/neuml/paperai/master/docker/Dockerfile
docker build -t paperai .
docker run --name paperai --rm -it paperai

paperetl можно добавить, чтобы иметь одно изображение для индексации и запроса содержимого. Следуйте инструкциям, чтобы создать образ docker paperetl, а затем запустите следующее.

 docker build -t paperai --build-arg BASE_IMAGE=paperetl --build-arg START=/scripts/start.sh .
docker run --name paperai --rm -it paperai

Примеры

Следующие блокноты и приложения демонстрируют возможности, предоставляемые paperai.

Ноутбуки

Блокнот	Описание
Представляем бумагуай	Обзор функциональности, предоставляемой paperai

Приложения

Приложение	Описание
Поиск	Найдите в индексе paperai. Установите параметры запроса, выполняйте поиск и отображайте результаты.

Построение модели

paperai индексирует базы данных, ранее созданные с помощью paperetl. Ниже показано, как создать новый индекс paperai.

1. (Необязательно) Создайте файл index.yml.

   paperai использует конфигурацию встраивания txtai по умолчанию, если она не указана. В качестве альтернативы можно указать файл index.yml, который принимает все те же параметры, что и экземпляр встраивания txtai. Дополнительную информацию о возможных параметрах см. в документации txtai. Простой пример показан ниже.

    path: sentence-transformers/all-MiniLM-L6-v2
   content: True
   

2. Создать индекс вложений

    python -m paperai.index <path to input data> <optional index configuration>
   

Процесс paperai.index требует пути к входным данным и при необходимости принимает конфигурацию индекса. Эта конфигурация может быть либо путем векторной модели, либо файлом конфигурации index.yml.

Выполнение запросов

Самый быстрый способ запуска запросов — запустить оболочку paperai.

 paperai <path to model directory>

Появится подсказка. Запросы можно вводить прямо в консоль.

Создание файла отчета

Отчеты поддерживают создание выходных данных в нескольких форматах. Пример вызова отчета:

 python -m paperai.report report.yml 50 md <path to model directory>

Поддерживаются следующие форматы отчетов:

• Markdown (по умолчанию) — отображает отчет Markdown. Столбцы и ответы извлекаются из статей, а результаты сохраняются в файле Markdown.
• CSV — отображает отчет в формате CSV. Столбцы и ответы извлекаются из статей, а результаты сохраняются в файле CSV.
• Аннотация. Столбцы и ответы извлекаются из статей, а результаты аннотируются в исходных файлах PDF. Требуется передать путь к исходным файлам PDF.

В приведенном выше примере будет создан файл с именем report.md. Примеры файлов конфигурации отчета можно найти здесь.

Технический обзор

paperai — это комбинация индекса вложений txtai и базы данных SQLite со статьями. Каждая статья разбивается на предложения и сохраняется в SQLite вместе с метаданными статьи. Вложения строятся по всему корпусу.

Для взаимодействия с моделью существует несколько точек входа.

• paperai.report — строит отчет по серии запросов. По каждому запросу отображаются статьи с самым высоким рейтингом и совпадения с этими статьями. Существует также раздел основных моментов, показывающий наиболее релевантные результаты.
• paperai.query — запускает один запрос с терминала.
• paperai.shell — позволяет выполнять несколько запросов с терминала.