Indra

Что такое Индра?

Indra — это эффективная библиотека и сервис для обеспечения встраивания слов и семантической связи с реальными приложениями в области машинного обучения и обработки естественного языка. Он предлагает более 60 готовых моделей на 15 языках, а также несколько алгоритмов моделей и корпусов.

Indra работает на платформе Spotify-Annoy, обеспечивая эффективную функцию приближенного определения ближайших соседей.

Функции

• Эффективные приблизительные ближайшие соседи (на базе Spotify-Annoy);
• Более 60 готовых моделей на 15 языках;
• Разрешительная лицензия на коммерческое использование (MIT License);
• Поддержка транслируемой дистрибутивной связи;
• Простое развертывание: разверните инфраструктуру в 3 этапа;
• Доступ к семантическим моделям как к услуге;
• Поддерживает несколько семантических моделей распределения и мер расстояния.

Предварительно построенные модели

Indra предоставляет готовые к использованию предварительно созданные модели с использованием различных алгоритмов, наборов данных и языков. Полный список готовых моделей можно найти в Wiki.

Модельные алгоритмы

• Word2Vec (W2V)
• Глобальные векторы (перчатки)
• Явный семантический анализ (ESA)
• Встраивание слов на основе зависимостей
• Скрытый семантический анализ (LSA)

Поддерживаемые языки

• RU - английский
• DE – немецкий
• ES – испанский
• ФР – французский
• PT – португальский
• IT – итальянский
• SV – шведский
• Ж - китайский
• НЛ – голландский
• РУ - Русский
• КО – корейский
• JA – японский
• АР – арабский
• FA – персидский
• ЭЛ - греческий

Установить

Для установки используйте трехэтапный инструмент IndraCompose.

Начиная

В этом руководстве представлены основные инструкции, которые помогут вам начать использовать Indra. Более подробную информацию, включая формат ответа, дополнительные параметры, а также список доступных моделей и языков, можно найти в Wiki.

Запрос встраивания слов (POST /vectors)

{
	"corpus" : " googlenews " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"terms" : [ " love " , " mother " , " santa claus " ]
}

Дополнительные сведения см. в документации Word Embeddings.

Запрос векторов ближайших соседей (POST /neighbors/vectors)

{
	"corpus" : " googlenews " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"topk" : 10 ,
	"terms" : [ " love " , " mother " , " santa " ]
}

Для получения более подробной информации ознакомьтесь с документацией по ближайшим соседям.

Запрос связи ближайших соседей (POST /neighbors/relatedness)

{
	"corpus" : " googlenews " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"topk" : 10 ,
	"scoreFunction" : " COSINE " ,
	"terms" : [ " love " , " mother " , " santa " ]
}

Для получения более подробной информации ознакомьтесь с документацией по ближайшим соседям.

Запрос семантического сходства (пара терминов) (POST /relatedness)

{
	"corpus" : " wiki-2018 " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"scoreFunction" : " COSINE " ,
	"pairs" : [{
		"t2" : " love " ,
		"t1" : " mother "
	},
	{
		"t2" : " love " ,
		"t1" : " santa claus "
	}]
}

Более подробную информацию можно найти в документации по семантическому сходству.

Запрос семантического сходства (один ко многим) (POST /relatedness/otm)

{
	"corpus" : " wiki-2018 " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"scoreFunction" : " COSINE " ,
	"one" : " love " ,
	"many" : [ " mother " , " father " , " child " ]
}

Более подробную информацию можно найти в документации по семантическому сходству.

Вложения переведенных слов и семантическое сходство

Для встраивания переведенных слов и переведенного семантического сходства просто добавьте «mt» : true в полезные данные JSON.

Публичная конечная точка

У нас есть общедоступная конечная точка только для демонстрации, поэтому вы можете попробовать прямо сейчас с помощью cURL в командной строке.

Для встраивания слов:

 curl -X POST -H "Content-Type: application/json" -d '{
	"corpus": "wiki-2018",
	"model": "W2V",
	"language": "EN",
	"terms": ["love", "mother", "santa claus"]
}' "http://indra.lambda3.org/vectors"

По смысловому сходству:

 curl -X POST -H "Content-Type: application/json" -d '{
	"corpus": "wiki-2018",
	"model": "W2V",
	"language": "EN",
	"scoreFunction": "COSINE",
	"pairs": [{
		"t2": "love",
		"t1": "mother"
	},
	{
		"t2": "love",
		"t1": "santa claus"
	}]
}' "http://indra.lambda3.org/relatedness"

Ссылаясь на Индру

Пожалуйста, цитируйте Индру, если вы используете его в своих экспериментах или проекте.

@InProceedings{indra,
author="Sales, Juliano Efson and Souza, Leonardo and Barzegar, Siamak and Davis, Brian and Freitas, Andr{ ' e} and Handschuh, Siegfried",
title="Indra: A Word Embedding and Semantic Relatedness Server",
booktitle = {Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)},
month     = {May},
year      = {2018},
address   = {Miyazaki, Japan},
publisher = {European Language Resources Association (ELRA)},
}

Авторы (в алфавитном порядке)

• Андре Фрейтас
• Брайан Дэвис
• Джулиано Сейлз
• Леонардо Соуза
• Сиамак Барзегар
• Зигфрид Хандшу