Indra

Was ist Indra?

Indra ist eine effiziente Bibliothek und ein effizienter Dienst zur Bereitstellung von Worteinbettungen und semantischen Zusammenhängen für reale Anwendungen in den Bereichen maschinelles Lernen und Verarbeitung natürlicher Sprache. Es bietet über 60 vorgefertigte Modelle in 15 Sprachen sowie mehrere Modellalgorithmen und Korpora.

Indra wird von Spotify-Annoy unterstützt und bietet eine effiziente Funktion für die Annäherung an die nächsten Nachbarn.

Merkmale

• Effiziente ungefähre nächste Nachbarn (unterstützt von spotify-annoy);
• Über 60 vorgefertigte Modelle in 15 Sprachen;
• Permissive Lizenz für kommerzielle Nutzung (MIT-Lizenz);
• Unterstützung der übersetzten Verteilungsbezogenheit;
• Einfache Bereitstellung: Stellen Sie die Infrastruktur in drei Schritten bereit;
• Zugriff auf die semantischen Modelle als Service;
• Unterstützt mehrere semantische Verteilungsmodelle und Distanzmaße.

Vorgefertigte Modelle

Indra liefert gebrauchsfertige vorgefertigte Modelle mit verschiedenen Algorithmen, Datensatzkorpora und Sprachen. Eine vollständige Liste der vorgefertigten Modelle finden Sie im Wiki.

Modellalgorithmen

• Word2Vec (W2V)
• Globale Vektoren (GloVe)
• Explizite semantische Analyse (ESA)
• Abhängigkeitsbasierte Worteinbettungen
• Latente semantische Analyse (LSA)

Unterstützte Sprachen

• DE – Englisch
• DE – Deutsch
• ES – Spanisch
• FR – Französisch
• PT – Portugiesisch
• IT - Italienisch
• SV – Schwedisch
• ZH – Chinesisch
• NL – Niederländisch
• RU – Russisch
• KO – Koreanisch
• JA – Japanisch
• AR – Arabisch
• FA – Persisch
• EL – Griechisch

Installieren

Zur Installation nutzen Sie bitte das 3-Schritte-Tool IndraComposed.

Erste Schritte

Dieses Handbuch enthält die grundlegenden Anweisungen für den Einstieg in die Verwendung von Indra. Weitere Details, einschließlich des Antwortformats, zusätzlicher Parameter und der Liste der verfügbaren Modelle und Sprachen, finden Sie im Wiki.

Anfordern von Worteinbettungen (POST /vectors)

{
	"corpus" : " googlenews " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"terms" : [ " love " , " mother " , " santa claus " ]
}

Weitere Einzelheiten finden Sie in der Dokumentation zu Word Embeddings.

Anfordern von Vektoren für die nächsten Nachbarn (POST /neighbors/vectors)

{
	"corpus" : " googlenews " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"topk" : 10 ,
	"terms" : [ " love " , " mother " , " santa " ]
}

Weitere Einzelheiten finden Sie in der Dokumentation zu „Nearest Neighbors“.

Anfordern der Verwandtschaft der nächsten Nachbarn (POST /neighbors/relatedness)

{
	"corpus" : " googlenews " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"topk" : 10 ,
	"scoreFunction" : " COSINE " ,
	"terms" : [ " love " , " mother " , " santa " ]
}

Weitere Einzelheiten finden Sie in der Dokumentation zu „Nearest Neighbors“.

Anfordern semantischer Ähnlichkeit (Begriffspaar) (POST /relatedness)

{
	"corpus" : " wiki-2018 " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"scoreFunction" : " COSINE " ,
	"pairs" : [{
		"t2" : " love " ,
		"t1" : " mother "
	},
	{
		"t2" : " love " ,
		"t1" : " santa claus "
	}]
}

Weitere Einzelheiten finden Sie in der Dokumentation zur semantischen Ähnlichkeit.

Semantische Ähnlichkeit anfordern (Eins-zu-Viele) (POST /relatedness/otm)

{
	"corpus" : " wiki-2018 " ,
	"model" : " W2V " ,
	"language" : " EN " ,
	"scoreFunction" : " COSINE " ,
	"one" : " love " ,
	"many" : [ " mother " , " father " , " child " ]
}

Weitere Einzelheiten finden Sie in der Dokumentation zur semantischen Ähnlichkeit.

Einbettungen übersetzter Wörter und semantische Ähnlichkeit

Für übersetzte Worteinbettungen und übersetzte semantische Ähnlichkeit hängen Sie einfach „mt“ : true in die JSON-Nutzlast ein.

Öffentlicher Endpunkt

Wir haben einen öffentlichen Endpunkt nur zu Demonstrationszwecken, daher können Sie es jetzt mit cURL in der Befehlszeile ausprobieren.

Für Worteinbettungen:

 curl -X POST -H "Content-Type: application/json" -d '{
	"corpus": "wiki-2018",
	"model": "W2V",
	"language": "EN",
	"terms": ["love", "mother", "santa claus"]
}' "http://indra.lambda3.org/vectors"

Für semantische Ähnlichkeit:

 curl -X POST -H "Content-Type: application/json" -d '{
	"corpus": "wiki-2018",
	"model": "W2V",
	"language": "EN",
	"scoreFunction": "COSINE",
	"pairs": [{
		"t2": "love",
		"t1": "mother"
	},
	{
		"t2": "love",
		"t1": "santa claus"
	}]
}' "http://indra.lambda3.org/relatedness"

Unter Berufung auf Indra

Bitte zitieren Sie Indra, wenn Sie es in Ihren Experimenten oder Projekten verwenden.

@InProceedings{indra,
author="Sales, Juliano Efson and Souza, Leonardo and Barzegar, Siamak and Davis, Brian and Freitas, Andr{ ' e} and Handschuh, Siegfried",
title="Indra: A Word Embedding and Semantic Relatedness Server",
booktitle = {Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)},
month     = {May},
year      = {2018},
address   = {Miyazaki, Japan},
publisher = {European Language Resources Association (ELRA)},
}

Mitwirkende (alphabetische Reihenfolge)

• Andre Freitas
• Brian Davis
• Juliano Sales
• Leonardo Souza
• Siamak Barzegar
• Siegfried Handschuh