webbotparseR

웹봇파싱R

webbotparseR을 사용하면 WebBot 브라우저 확장으로 스크랩한 검색 엔진 결과를 구문 분석할 수 있습니다. 유사한 Python 라이브러리도 사용할 수 있습니다.

설치

다음과 같이 webbotparseR의 개발 버전을 설치할 수 있습니다.

 remotes :: install_github( " schochastics/webbotparseR " )

패키지에는 기후 변화에 대한 Google 검색의 예제 HTML이 포함되어 있습니다.

library( webbotparseR )
ex_file <- system.file( " www.google.com_climatechange_text_2023-03-16_08_16_11.html " , package = " webbotparseR " )

이러한 검색 결과는 parse_search_results() 함수를 통해 구문 분석될 수 있습니다. 매개변수 engine 검색 엔진과 검색 유형을 지정하는 데 사용됩니다.

 output <- parse_search_results( path = ex_file , engine = " google text " )
output
# > # A tibble: 10 × 10
# >    title              link  text  image page  position search_engine type  query
# >    <chr>              <chr> <chr> <chr> <chr>    <int> <chr>         <chr> <chr>
# >  1 What Is Climate C… http… Clim… data… 1            1 www.google.c… text  clim…
# >  2 Home – Climate Ch… http… Vita… data… 1            2 www.google.c… text  clim…
# >  3 Vital Signs of th… http… “Cli… data… 1            3 www.google.c… text  clim…
# >  4 Climate change - … http… In c… data… 1            4 www.google.c… text  clim…
# >  5 IPCC — Intergover… http… The … data… 1            5 www.google.c… text  clim…
# >  6 Climate Change | … http… Comp… data… 1            6 www.google.c… text  clim…
# >  7 Climate change: e… http… Clim… <NA>  1            7 www.google.c… text  clim…
# >  8 UNFCCC             http… What… data… 1            8 www.google.c… text  clim…
# >  9 Climate Change - … http… Clim… data… 1            9 www.google.c… text  clim…
# > 10 Causes of climate… http… This… data… 1           10 www.google.c… text  clim…
# > # ℹ 1 more variable: date <dttm>

이미지는 항상 base64로 인코딩되어 반환됩니다.

 output $ image [ 1 ]
# > [1] "data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABAAAAAQCAIAAACQkWg2AAAABnRSTlMAAAAAAABupgeRAAAAMklEQVR4AWMAgYYG4hEdNJAHGoCIABvBJayhgcYaIAwaakCwydUA52MKYeeSCgZh4gMAXrJ9ASggqqAAAAAASUVORK5CYII="

base64_to_img() 함수를 사용하여 이미지를 디코딩하고 적절한 형식으로 저장할 수 있습니다.