webbotparseR

webbotparseR

webbotparseR permite analisar os resultados do mecanismo de pesquisa que foram copiados com a extensão do navegador WebBot. Uma biblioteca python semelhante também está disponível.

Instalação

Você pode instalar a versão de desenvolvimento do webbotparseR assim:

 remotes :: install_github( " schochastics/webbotparseR " )

O pacote contém um exemplo de HTML de uma pesquisa no Google sobre mudanças climáticas.

library( webbotparseR )
ex_file <- system.file( " www.google.com_climatechange_text_2023-03-16_08_16_11.html " , package = " webbotparseR " )

Esses resultados da pesquisa podem ser analisados ​​por meio da função parse_search_results() . O engine de parâmetro é usado para especificar o mecanismo de pesquisa e o tipo de pesquisa.

 output <- parse_search_results( path = ex_file , engine = " google text " )
output
# > # A tibble: 10 × 10
# >    title              link  text  image page  position search_engine type  query
# >    <chr>              <chr> <chr> <chr> <chr>    <int> <chr>         <chr> <chr>
# >  1 What Is Climate C… http… Clim… data… 1            1 www.google.c… text  clim…
# >  2 Home – Climate Ch… http… Vita… data… 1            2 www.google.c… text  clim…
# >  3 Vital Signs of th… http… “Cli… data… 1            3 www.google.c… text  clim…
# >  4 Climate change - … http… In c… data… 1            4 www.google.c… text  clim…
# >  5 IPCC — Intergover… http… The … data… 1            5 www.google.c… text  clim…
# >  6 Climate Change | … http… Comp… data… 1            6 www.google.c… text  clim…
# >  7 Climate change: e… http… Clim… <NA>  1            7 www.google.c… text  clim…
# >  8 UNFCCC             http… What… data… 1            8 www.google.c… text  clim…
# >  9 Climate Change - … http… Clim… data… 1            9 www.google.c… text  clim…
# > 10 Causes of climate… http… This… data… 1           10 www.google.c… text  clim…
# > # ℹ 1 more variable: date <dttm>

Observe que as imagens são sempre retornadas codificadas em base64.

 output $ image [ 1 ]
# > [1] "data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABAAAAAQCAIAAACQkWg2AAAABnRSTlMAAAAAAABupgeRAAAAMklEQVR4AWMAgYYG4hEdNJAHGoCIABvBJayhgcYaIAwaakCwydUA52MKYeeSCgZh4gMAXrJ9ASggqqAAAAAASUVORK5CYII="

A função base64_to_img() pode ser usada para decodificar a imagem e salvá-la em um formato apropriado.