mfqp

mfqp

문제지 검색 사이트

유용

json 파일의 논문 수

$ jq ' . | length ' data/data.json

링크가 PDF로 끝나지 않고 드라이브에 없는 문서 수 찾기

$ jq ' .[].Link ' data/data.json | awk -F ' " ' ' { if (match($2, /pdf$/) == 0 && match($2, /drive.google.com/) == 0) { print $2 } } ' | wc

중복 수 계산

 # Find the original number of papers
$ jq ' .[].Link ' data/data.json | wc
# Find the number of unique records
$ jq ' .[].Link ' data/data.json | sort | uniq | wc
# Subtract the result of the second command
# from the first to get the number of duplicates 

 # oneliner to find the number of duplicates
$ echo $(( `jq '.[].Link' data / data.json | sort | uniq - D | wc - l` - `jq '.[].Link' data / data.json | sort | uniq - d | wc - l` )) 

새로운 도서관 사이트에서 모든 종이 링크 가져오기

data 폴더에서 다음을 실행합니다.

python3 ../scripts/pdfFinder.py data.json

그러기 위해서는 BS4를 설치해야 합니다. 설치하려면 다음을 실행하세요.

pip3 install bs4 --user

그러면 data.json 파일이 도서관 사이트에 있는 pdf 링크로 업데이트됩니다. 그런 다음 저장소의 루트 디렉터리에서 다음을 실행합니다.

python3 remove_dups.py

이렇게 하면 모든 중복 항목이 정리됩니다.

도서관 사이트가 다운됐나요? ( http://10.17.32.9 )

다음 명령을 실행하고 새 data.json 파일을 커밋하고 이 저장소에 푸시합니다.

sed -ie " s/http://10.17.32.9/https://static.metakgp.org/g " data/data.json

또는 도서관 사이트로 돌아가야 하는 경우:

sed -ie " s/https://static.metakgp.org/http://10.17.32.9/g " data/data.json

특허

GNU General Public License v3.0(GPLv3)에 따라 라이센스가 부여되었습니다.

기여

자세한 내용은 CONTRIBUTING.md 가이드를 읽어보세요.