webbotparseR

ウェボットパースR

webbotparseR を使用すると、WebBot ブラウザ拡張機能でスクレイピングされた検索エンジンの結果を解析できます。同様の Python ライブラリも利用できます。

インストール

webbotparseR の開発バージョンは次のようにインストールできます。

 remotes :: install_github( " schochastics/webbotparseR " )

パッケージには、気候変動に関する Google 検索からのサンプル HTML が含まれています。

library( webbotparseR )
ex_file <- system.file( " www.google.com_climatechange_text_2023-03-16_08_16_11.html " , package = " webbotparseR " )

このような検索結果は、関数parse_search_results()を介して解析できます。パラメータengine検索エンジンと検索タイプを指定するために使用されます。

 output <- parse_search_results( path = ex_file , engine = " google text " )
output
# > # A tibble: 10 × 10
# >    title              link  text  image page  position search_engine type  query
# >    <chr>              <chr> <chr> <chr> <chr>    <int> <chr>         <chr> <chr>
# >  1 What Is Climate C… http… Clim… data… 1            1 www.google.c… text  clim…
# >  2 Home – Climate Ch… http… Vita… data… 1            2 www.google.c… text  clim…
# >  3 Vital Signs of th… http… “Cli… data… 1            3 www.google.c… text  clim…
# >  4 Climate change - … http… In c… data… 1            4 www.google.c… text  clim…
# >  5 IPCC — Intergover… http… The … data… 1            5 www.google.c… text  clim…
# >  6 Climate Change | … http… Comp… data… 1            6 www.google.c… text  clim…
# >  7 Climate change: e… http… Clim… <NA>  1            7 www.google.c… text  clim…
# >  8 UNFCCC             http… What… data… 1            8 www.google.c… text  clim…
# >  9 Climate Change - … http… Clim… data… 1            9 www.google.c… text  clim…
# > 10 Causes of climate… http… This… data… 1           10 www.google.c… text  clim…
# > # ℹ 1 more variable: date <dttm>

画像は常に Base64 エンコードされて返されることに注意してください。

 output $ image [ 1 ]
# > [1] "data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABAAAAAQCAIAAACQkWg2AAAABnRSTlMAAAAAAABupgeRAAAAMklEQVR4AWMAgYYG4hEdNJAHGoCIABvBJayhgcYaIAwaakCwydUA52MKYeeSCgZh4gMAXrJ9ASggqqAAAAAASUVORK5CYII="

関数base64_to_img()使用すると、画像をデコードし、適切な形式で保存できます。