selective search

Pesquisa Seletiva

A pesquisa seletiva é um projeto de recuperação de informações distribuídas (DIR) para pesquisa de texto em grande escala, no qual a coleção de documentos é particionada em subconjuntos (conhecidos como fragmentos) com base na similaridade do corpus de documentos, permitindo assim a pesquisa em menos fragmentos em vez de todos os fragmentos.

O objetivo do projeto é implementar um sistema de busca distribuída eficiente e eficaz sem afetar a qualidade da busca e visando reduzir o custo da busca.

A metodologia de decomposição de uma coleção em grande escala em subunidades com base na similaridade do conteúdo de seus registros é denominada “Particionamento Baseado em Tópico”, e a pesquisa em apenas menos fragmentos relevantes para determinada consulta de pesquisa é denominada “Pesquisa Seletiva” em uma publicação de Kulkarni et. al.

Índice

1. Arquitetura Geral
2. Implementação Atual
   1. Pilha de tecnologia
   2. Compatibilidade de versão
   3. Arquitetura de Implementação
   4. Características
3. Começando
   1. Compilar
   2. Correr
      1. Execute no IDE
      2. Execute no cluster Spark
   3. Configurar Solrcloud
4. Exemplos
5. Configuração e ajuste
6. Questões
7. Referências

Arquitetura Geral

Implementação Atual

A Pesquisa Seletiva é programada em Scala. Ele estende bibliotecas do Apache Spark MLLib para clustering não supervisionado e computação distribuída, bibliotecas Apache Solr para pesquisa e recuperação de informações.

Pilha de tecnologia

• Linguagem de programação: Scala
• Estruturas estendidas
  • Apache Spark para computação distribuída
    • Estende as bibliotecas de aprendizado de máquina do Apache Spark (MLLib) para implementação de particionamento baseado em tópicos e o algoritmo é executado no Spark Cluster.
  • Apache Solr para pesquisa distribuída
    • Estende as bibliotecas de recuperação de informações (pesquisa) do Apache Solr para implementação de vários algoritmos de pesquisa seletiva e o próprio cluster de pesquisa é configurado no Apache SolrCloud.
  • Para integração entre Apache Spark e Apache Solr, são utilizadas bibliotecas Spark-Solr.
• Ferramentas
  • Maven para construção, IntelliJ para desenvolvimento, Git para SCM

Compatibilidade de versão

1. Java JDK 8 versão "1.8.0_131"

2. Escala 2.12.2

3. Apache Spark versão 2.1.1

4. Apache Solr 6.6.2

5. Spark-Solr 3.3.0

6. ApacheMaven3.5.0

7. Apache Ivy2.4.0

8. Apache ANT versão 1.10.1

Arquitetura de Implementação

Características

• A conversão de dados textuais em vetores TF-IDF com base no dicionário de termos fornecidos como entrada ou de outra forma o dicionário é gerado a partir do conjunto de dados de treinamento aplicando pesos TF-IDF aos termos.
• Implementação do algoritmo KMeans personalizado para agrupar conjuntos de dados textuais, estendendo as bibliotecas Apache Spark MLLib, implementando ambas as medidas de cálculo de similaridade, ou seja, Cosseno e Euclidiano.
• Indexe registros no Solrcloud.
• Implementação de algoritmos de busca seletiva, a saber, CORI[6] e ReDDE[7]
• Analisadores para registros WARC Clueweb09, conjunto de dados 20newsgroup e, em geral, conjunto de dados de texto.
• Analisadores de texto que removem html, extraem o conteúdo dos textos, tokenizam, filtram por palavras irrelevantes e aplicam o KStemmer.

Começando

Compilar

Para compilar a versão atual da pesquisa seletiva, você precisará ter a seguinte lista de softwares em execução em sua máquina.

• Java, Scala, Apache Maven (versões listadas na seção de compatibilidade de versões)

Para verificar se os softwares listados acima estão sendo executados em sua máquina, confirme com os comandos abaixo.

• java -version
  • versão java "1.8.0_31"
• scala -version
  • Corredor de código Scala versão 2.11.8
• mvn -version
  • ApacheMaven3.3.9

Após a verificação da configuração dos softwares necessários, baixe o código-fonte e execute o comando abaixo.

• mvn clean install -DskipTests

Correr

Para executar o projeto de pesquisa seletiva em localhost (máquina), é necessário que o Apache SolrCloud esteja configurado. Se você ainda não o configurou, siga as instruções fornecidas aqui: ()

Após a configuração do SolrCloud, há duas maneiras de executar a pesquisa seletiva: configurá-la em um IDE - pode ser IntelliJ/Eclipse ou iniciar um Spark Cluster e executar o trabalho nele.

1. Execute no IDE

• Baixe ou clone o projeto git clone https://github.com/rajanim/selective-search.git
• Compile o código-fonte seguindo as etapas listadas na seção "Compile"
• Importe o projeto atual como projeto Maven para o IDE
• Para testar esta configuração, vá para o aplicativo de teste App.scala , clique com o botão direito e execute. Deve imprimir 'Hello World!' Isso confirma que o código scala foi compilado e executado com sucesso.
• Para testar a configuração da pesquisa seletiva, vá para TestTextFileParser.scala , modifique o caminho raiz de acordo com as configurações do diretório, execute os casos de teste (clique com o botão direito e escolha a opção de execução)
• Para executar a pesquisa seletiva 20newsgroup, navegue até org.sfsu.cs.io.newsgroup.NewsgroupRunner.scala , modifique o caminho do diretório de entrada para o caminho do diretório da máquina local e execute.
• Navegue até /test/org.sfsu.cs.* para testar várias funcionalidades implementadas.

2. Execute no Spark Cluster

Configure o Spark Cluster no host local.

• Baixe o Apache Spark (a implementação atual é executada em spark spark-2.0.0-bin-hadoop2.7 )
• Vá para o terminal e navegue até o caminho onde o spark unzip está localizado. Por exemplo, cd /Users/user_name/softwares/spark-2.0.0-bin-hadoop2.7
• Configurar faísca
  • inicie o spark master ./sbin/start-master.sh
  • configurar instâncias spark slave

    • crie o arquivo spark-env.sh usando o modelo fornecido: cp ./conf/spark-env.sh.template ./conf/spark-env.sh

    • anexe um parâmetro de configuração ao final do arquivo: echo "export SPARK_WORKER_INSTANCES=4" >> ./conf/spark-env.sh

  • start spark slaves instances ./sbin/start-slaves.sh <master_url> [master url: available or seen on spark web-ui after master is started, at: localhost:8080]

Execute o projeto de pesquisa seletiva no cluster Spark. nohup ./bin/spark-submit --master spark://RajaniM-1159:7077 --num-executors 2 --executor-memory 8g --driver-memory 12g --conf "spark.rpc.message.maxSize=2000" --conf "spark.driver.maxResultSize=2000" --class com.sfsu.cs.main.TopicalShardsCreator /Users/rajanishivarajmaski/selective-search/target/selective-search-1.0-SNAPSHOT.jar TopicalShardsCreator -zkHost localhost:9983 -collection word-count -warcFilesPath /Users/rajani.maski/rm/cluweb_catb_part/ -dictionaryLocation /Users/rajani.maski/rm/spark-solr-899/ -numFeatures 25000 -numClusters 50 -numPartitions 50 -numIterations 30 &

Configurar SolrCloud

• Baixe o Apache Solr como zip (a implementação atual é executada no solr 6.2.1)

• Acesse o terminal e navegue até o caminho onde o diretório de descompactação do solr está localizado.

• Inicie o solr no modo nuvem

  ./bin/solr start -c -m 4g

• Depois de iniciar o solr com a mensagem de boas-vindas como 'Boa pesquisa!', você poderá se conectar à interface do administrador http://localhost:8983/solr/#/ , navegar até as coleções: http://localhost:8983/solr/#/~collections

• Adicione uma coleção fornecendo um nome de coleção, escolha o conjunto de configurações, deve ser data_driven_schema_configs. Outras entradas de pares de valores-chave, conforme visto aqui na captura de tela: clique aqui

• Confirme se a coleção foi criada com sucesso navegando até a interface do usuário do administrador da nuvem http://localhost:8983/solr/#/~cloud e você poderá ver a coleção recém-criada

• Outra abordagem para criar uma coleção é via linha de comando. Comando de exemplo ./bin/solr create_collection -n data_driven_schema_configs -c collection_name -p portNumber -shards numShards

Para Selective Search , exigimos uma coleção solr com estratégia de implicit routing .

• Exemplo de comando curl para criar uma coleção de 20 fragmentos com roteamento implícito http://localhost:8983/solr/admin/collections?action=CREATE&name=NewsGroupImplicit&numShards=20&replicationFactor=1&maxShardsPerNode=20&router.name=implicit&shards=shard1,shard2,shard3,shard4,shard5,shard6,shard7,shard8,shard9,shard10,shard11,shard12,shard13,shard14,shard15,shard16,shard17,shard18,shard19,shard20&collection.configName=data_driven_schema_configs&router.field=_route_

Visualização

• Visualização de alocação de cluster utilizando o painel Banana.
• Tutorial e notas de referência aqui
• Configure o Banana em sua instância do solr e conecte-se ao painel do banana via http url http://localhost:8983/solr/banana/src/index.html#/dashboard

Exemplos

Siga as etapas listadas abaixo para executar (executar) pesquisa seletiva para qualquer outro conjunto de dados (personalizado/específico).

• Crie uma classe scala semelhante a NewsgroupRunner.scala
• Obtenha o contexto do Spark criando um novo org.sfsu.cs.main.SparkInstance e invocando o método createSparkContext val sc = sparkInstance.createSparkContext("class name")
• Transformar documentos de entrada em RDD de documentos TF, referências de exemplo listadas abaixo
  • Se o conjunto de dados de entrada for uma coleção de arquivos de texto, utilize as APIs de analisadores de texto disponíveis em org.sfsu.cs.io.text.TextFileParser.scala para obter documentos de texto mapeados para org.sfsu.cs.document.TFDocument
  • se o conjunto de dados de entrada for uma coleção de registros da Clueweb, utilize o analisador disponível em org.sfsu.cs.io.clueweb09
  • Se o conjunto de dados de entrada for um arquivo csv, utilize as APIs do analisador disponíveis em org.sfsu.cs.io.csv

Configuração e ajuste

Configurações necessárias

• Todos os softwares necessários para compilar o código-fonte, conforme listado na seção Compilar, devem ser instalados
• Solrcloud precisa ser configurado, seja na máquina local ou remota, se configurado remotamente, certifique-se de especificar o ip e a porta corretos ao executar o trabalho. Etapas de configuração aqui
• Configuração de cluster autônomo do Spark na máquina local para executar o trabalho via spark-submit.sh

Afinação

• Configuração dos parâmetros do Spark --executor-memory, -driver-memory com base na memória disponível na máquina.
• O driver Spark pode relatar a exceção maxResultSize, pode ser aumentado passando o parâmetro "spark.driver.maxResultSize=2000" e não pode exceder 2048
• Para Apache solr, aloque Xmx ao iniciar o solr. Por exemplo, para alocar 4g, ./bin/solr start -c -m 4g

Solução de problemas

• Recebi uma exceção ao criar uma coleção solr que relatou "os fragmentos solicitados são maiores que o número permitido" https://issues.apache.org/jira/browse/SOLR-4114 Correção: certifique-se de que maxShardsPerNode seja igual a numShards com base no número de nós disponíveis.

Questões

Se você tiver dúvidas adicionais relacionadas à implementação, resultados experimentais, benchmarks ou uso da Selective-Search , ficaremos felizes em ajudar. Envie um e-mail para [email protected]

Referências

1. Anagha Kulkarni. 2015. Pesquisa Seletiva: Pesquisa Eficiente e Eficaz em Grande Escala. Transações ACM em Sistemas de Informação, 33(4). ACM. 2015.
2. Anagha Kulkarni. 2010. Partições de índice baseadas em tópicos para pesquisa seletiva eficiente e eficaz. 8º Workshop sobre Sistemas Distribuídos de Grande Escala para Recuperação de Informação.
3. Rolf Jagerman, Carsten Eickhoff. Modelos de tópicos em escala web no Spark: um servidor de parâmetros assíncronos. 2016.
4. Conjunto de dados Clueweb09. Projeto Lêmure.
5. 20Grupos de notícias. Jrennie. qwone.com/~jason/20Newsgroups
6. Mon Shih Chuang e Anagha Kulkarni. Melhorando a seleção de fragmentos para pesquisa seletiva. Anais da Conferência das Sociedades de Recuperação de Informação da Ásia. Novembro de 2017
7. L. Si e J. Callan. (2003.) "Método de estimativa de distribuição de documentos relevantes para seleção de recursos." Nos Anais da Vigésima Sexta Conferência Internacional Anual ACM SIGIR sobre Pesquisa e Desenvolvimento em Recuperação de Informação. Toronto: ACM.