VectorsInSearch

Vetores na pesquisa

Código Dice.com para implementar as ideias discutidas nas seguintes palestras:

• 'Vetores em Pesquisa' - Conferência Ativar 2018
• 'Pesquisando com Vetores' - conferência Haystack 2019

Isso amplia meu trabalho anterior sobre 'Pesquisa conceitual', que pode ser encontrado aqui - https://github.com/DiceTechJobs/ConceptualSearch (incluindo slides e links de vídeo). Nesta palestra, apresento diversas abordagens diferentes para pesquisar vetores em escala usando um índice invertido. Isso implementa abordagens para pesquisa aproximada de k-vizinho mais próximo, incluindo:

• LSH (usando o Sim Hash)
• Árvore K-Médias
• Limiar vetorial

e descreve como essas ideias podem ser implementadas e consultadas de forma eficiente em um índice invertido.

ATUALIZAÇÃO: Depois de conversar com Trey Grainger e Erik Hatcher da LucidWorks, eles recomendaram o uso de frequência de termo no lugar de cargas úteis para as soluções onde incorporo pesos de termo no índice e uso uma função especial de similaridade com reconhecimento de carga útil (que também não seria necessária). As cargas incorrem em uma penalidade significativa de desempenho. O desafio com isso são os pesos negativos, presumo que não seja possível codificar frequências de termos negativos, mas isso pode ser contornado tendo tokens diferentes para tokens ponderados positivos e negativos e fazendo ajustes semelhantes no momento da consulta (onde aumentos negativos podem ser aplicado no Solr conforme necessário).

Documentação Lucene: Filtro de frequência de termo delimitado Lucene

Também houve uma atualização recente no núcleo do Lucene que é aplicável aqui e que em breve chegará à pesquisa do Elastic no momento da escrita: Block Max WAND. Isso produz uma aceleração significativa para grandes consultas OR booleanas, nas quais você não precisa saber o número exato de resultados, mas apenas se preocupa em obter os N resultados principais o mais rápido possível. Todas as abordagens que discuto aqui geram consultas OR relativamente grandes e, portanto, isso é muito relevante. Também li que a implementação atual do mínimo deve corresponder também inclui otimizações semelhantes e, portanto, o mesmo tipo de ganho de desempenho já pode ser alcançado usando configurações mm apropriadas, algo que eu já estava experimentando em meu código.

Estrutura de diretório

• píton
  • Código para implementar a árvore k-means, algoritmos LSH sim hash e limiarização de vetor, e indexação e pesquisa de vetores no solr usando essas técnicas.
• solr_plugins
  • Código Java para implementar as classes de similaridade customizadas e o analisador payloadEdismax descritos na palestra.
• solr_configs
  • Trechos XML para importar os plug-ins solr do código java 'solr_vectors_in_search_plugins'.

Detalhes de implementação

• Versão Solr - 7.5
• Versão Python - 3.x+ (3.5 usado)

Links para palestras

• Ativar 2018: ‘Vetores em Pesquisa’

  • Apresentações
  • Vídeo

• Palheiro 2019: 'Pesquisando com Vetores'

  • Apresentações
  • Vídeo

Autor

Simon Hughes (cientista-chefe de dados, Dice.com)

• LinkedIn - https://www.linkedin.com/in/simon-hughes-data-scientist/
• Twitter - https://twitter.com/hughes_meister