elasticsearch dsl py
8.16.0
Elasticsearch DSL é uma biblioteca de alto nível cujo objetivo é ajudar na escrita e execução de consultas no Elasticsearch. Ele é construído sobre o cliente oficial de baixo nível (elasticsearch-py).
Ele fornece uma maneira mais conveniente e idiomática de escrever e manipular consultas. Ele permanece próximo ao Elasticsearch JSON DSL, refletindo sua terminologia e estrutura. Ele expõe toda a gama de DSL do Python diretamente usando classes definidas ou expressões semelhantes a um conjunto de consultas.
Ele também fornece um wrapper opcional para trabalhar com documentos como objetos Python: definir mapeamentos, recuperar e salvar documentos, agrupar os dados do documento em classes definidas pelo usuário.
Para usar as outras APIs do Elasticsearch (por exemplo, integridade do cluster), basta usar o cliente subjacente.
pip instalar elasticsearch-dsl
Consulte o diretório de exemplos para ver alguns exemplos complexos usando elasticsearch-dsl .
A biblioteca é compatível com todas as versões do Elasticsearch desde 2.x mas você deve usar uma versão principal correspondente :
Para o Elasticsearch 8.0 e versões posteriores, use a versão principal 8 ( 8.xy ) da biblioteca.
Para o Elasticsearch 7.0 e posterior, use a versão principal 7 ( 7.xy ) da biblioteca.
Para o Elasticsearch 6.0 e posterior, use a versão principal 6 ( 6.xy ) da biblioteca.
Para o Elasticsearch 5.0 e versões posteriores, use a versão principal 5 ( 5.xy ) da biblioteca.
Para Elasticsearch 2.0 e versões posteriores, use a versão principal 2 ( 2.xy ) da biblioteca.
A maneira recomendada de definir seus requisitos em setup.py ou requisitos.txt é:
# Elasticsearch 8.x elasticsearch-dsl>=8.0.0,<9.0.0 # Elasticsearch 7.x elasticsearch-dsl>=7.0.0,<8.0.0 # Elasticsearch 6.x elasticsearch-dsl>=6.0.0,<7.0.0 # Elasticsearch 5.x elasticsearch-dsl>=5.0.0,<6.0.0 # Elasticsearch 2.x elasticsearch-dsl>=2.0.0,<3.0.0
O desenvolvimento está acontecendo nas ramificações main e mais antigas apenas recebem versões de correção de bugs
Vamos ter uma solicitação de pesquisa típica escrita diretamente como um dict :
from elasticsearch import Elasticsearch
client = Elasticsearch ( "https://localhost:9200" )
response = client . search (
index = "my-index" ,
body = {
"query" : {
"bool" : {
"must" : [{ "match" : { "title" : "python" }}],
"must_not" : [{ "match" : { "description" : "beta" }}],
"filter" : [{ "term" : { "category" : "search" }}]
}
},
"aggs" : {
"per_tag" : {
"terms" : { "field" : "tags" },
"aggs" : {
"max_lines" : { "max" : { "field" : "lines" }}
}
}
}
}
)
for hit in response [ 'hits' ][ 'hits' ]:
print ( hit [ '_score' ], hit [ '_source' ][ 'title' ])
for tag in response [ 'aggregations' ][ 'per_tag' ][ 'buckets' ]:
print ( tag [ 'key' ], tag [ 'max_lines' ][ 'value' ])O problema com esta abordagem é que ela é muito detalhada, propensa a erros de sintaxe como aninhamento incorreto, difícil de modificar (por exemplo, adicionar outro filtro) e definitivamente não é divertida de escrever.
Vamos reescrever o exemplo usando a DSL Python:
from elasticsearch import Elasticsearch
from elasticsearch_dsl import Search
client = Elasticsearch ( "https://localhost:9200" )
s = Search ( using = client , index = "my-index" )
. filter ( "term" , category = "search" )
. query ( "match" , title = "python" )
. exclude ( "match" , description = "beta" )
s . aggs . bucket ( 'per_tag' , 'terms' , field = 'tags' )
. metric ( 'max_lines' , 'max' , field = 'lines' )
response = s . execute ()
for hit in response :
print ( hit . meta . score , hit . title )
for tag in response . aggregations . per_tag . buckets :
print ( tag . key , tag . max_lines . value )Como você pode ver, a biblioteca cuidou de:
Query apropriados por nome (eq. "correspondência")bool compostaterm consulta em um contexto de filtro da consulta boolVamos ter uma classe Python simples representando um artigo em um sistema de blog:
from datetime import datetime
from elasticsearch_dsl import Document , Date , Integer , Keyword , Text , connections
# Define a default Elasticsearch client
connections . create_connection ( hosts = "https://localhost:9200" )
class Article ( Document ):
title = Text ( analyzer = 'snowball' , fields = { 'raw' : Keyword ()})
body = Text ( analyzer = 'snowball' )
tags = Keyword ()
published_from = Date ()
lines = Integer ()
class Index :
name = 'blog'
settings = {
"number_of_shards" : 2 ,
}
def save ( self , ** kwargs ):
self . lines = len ( self . body . split ())
return super ( Article , self ). save ( ** kwargs )
def is_published ( self ):
return datetime . now () > self . published_from
# create the mappings in elasticsearch
Article . init ()
# create and save and article
article = Article ( meta = { 'id' : 42 }, title = 'Hello world!' , tags = [ 'test' ])
article . body = ''' looong text '''
article . published_from = datetime . now ()
article . save ()
article = Article . get ( id = 42 )
print ( article . is_published ())
# Display cluster health
print ( connections . get_connection (). cluster . health ())Neste exemplo você pode ver:
.save() integrado para se conectar ao ciclo de vida de persistênciaVocê pode ver mais no capítulo sobre persistência da documentação.
elasticsearch-py Você não precisa portar todo o seu aplicativo para obter os benefícios da DSL Python, você pode começar gradualmente criando um objeto Search a partir do seu dict existente, modificando-o usando a API e serializando-o de volta para um dict :
body = {...} # insert complicated query here
# Convert to Search object
s = Search . from_dict ( body )
# Add some filters, aggregations, queries, ...
s . filter ( "term" , tags = "python" )
# Convert back to dict to plug back into existing code
body = s . to_dict ()Ative o ambiente virtual (virtualenvs):
$ virtualenv venv
$ source venv/bin/activatePara instalar todas as dependências necessárias para o desenvolvimento, execute:
$ pip install -e ' .[develop] ' Para executar todos os testes para elasticsearch-dsl-py , execute:
$ python setup.py test Alternativamente, é possível usar o script run_tests.py em test_elasticsearch_dsl , que envolve o pytest, para executar subconjuntos do conjunto de testes. Alguns exemplos podem ser vistos abaixo:
# Run all of the tests in `test_elasticsearch_dsl/test_analysis.py`
$ ./run_tests.py test_analysis.py
# Run only the `test_analyzer_serializes_as_name` test.
$ ./run_tests.py test_analysis.py::test_analyzer_serializes_as_name pytest ignorará os testes de test_elasticsearch_dsl/test_integration a menos que haja uma instância do Elasticsearch na qual uma conexão possa ocorrer. Por padrão, a conexão de teste é tentada em localhost:9200 , com base nos padrões especificados na classe Connection elasticsearch-py . Como a execução dos testes de integração causará alterações destrutivas no cluster Elasticsearch, execute-os somente quando o cluster associado estiver vazio. Dessa forma, se a instância do Elasticsearch em localhost:9200 não atender a esses requisitos, é possível especificar um servidor Elasticsearch de teste diferente por meio da variável de ambiente TEST_ES_SERVER .
$ TEST_ES_SERVER=my-test-server:9201 ./run_testsA documentação está disponível em https://elasticsearch-dsl.readthedocs.io.
Quer hackear o Elasticsearch DSL? Incrível! Temos Guia de Contribuição.
Direitos autorais 2013 Elasticsearch
Licenciado sob a Licença Apache, Versão 2.0 (a "Licença"); você não pode usar este arquivo exceto em conformidade com a Licença. Você pode obter uma cópia da Licença em
http://www.apache.org/licenses/LICENSE-2.0
A menos que exigido pela lei aplicável ou acordado por escrito, o software distribuído sob a Licença é distribuído "COMO ESTÁ", SEM GARANTIAS OU CONDIÇÕES DE QUALQUER TIPO, expressas ou implícitas. Consulte a Licença para saber o idioma específico que rege as permissões e limitações da Licença.
