mfqp

MFQP

問題用紙検索サイト

公共事業

jsonファイル内の論文数

$ jq ' . | length ' data/data.json

リンクが PDF で終わっておらず、ドライブ上にない論文の数を検索する

$ jq ' .[].Link ' data/data.json | awk -F ' " ' ' { if (match($2, /pdf$/) == 0 && match($2, /drive.google.com/) == 0) { print $2 } } ' | wc

重複数を計算する

 # Find the original number of papers
$ jq ' .[].Link ' data/data.json | wc
# Find the number of unique records
$ jq ' .[].Link ' data/data.json | sort | uniq | wc
# Subtract the result of the second command
# from the first to get the number of duplicates 

 # oneliner to find the number of duplicates
$ echo $(( `jq '.[].Link' data / data.json | sort | uniq - D | wc - l` - `jq '.[].Link' data / data.json | sort | uniq - d | wc - l` )) 

新しい図書館サイトからすべての論文リンクを取得する

dataフォルダーから以下を実行します。

python3 ../scripts/pdfFinder.py data.json

そのためにはBS4をインストールする必要があります。インストールするには、次を実行します。

pip3 install bs4 --user

これにより、 data.jsonファイルがライブラリ サイトにある PDF リンクで更新されます。次に、リポジトリのルート ディレクトリから次のコマンドを実行します。

python3 remove_dups.py

これにより、重複するエントリがすべて削除されます。

図書館のサイトがダウンしてる？ ( http://10.17.32.9 )

次のコマンドを実行し、新しい data.json ファイルをコミットして、このリポジトリにプッシュします。

sed -ie " s/http://10.17.32.9/https://static.metakgp.org/g " data/data.json

または、図書館サイトに戻る必要がある場合:

sed -ie " s/https://static.metakgp.org/http://10.17.32.9/g " data/data.json

ライセンス

GNU General Public License v3.0 (GPLv3) に基づいてライセンスされています。

貢献する

詳細については、CONTRIBUTING.md ガイドをお読みください。