mfqp

mfqp

Site para pesquisa de documentos de perguntas

Utilitários

Número de artigos no arquivo json

$ jq ' . | length ' data/data.json

Encontre o número de artigos com link que não termina em PDF e não está no Drive

$ jq ' .[].Link ' data/data.json | awk -F ' " ' ' { if (match($2, /pdf$/) == 0 && match($2, /drive.google.com/) == 0) { print $2 } } ' | wc

Calcular o número de duplicatas

 # Find the original number of papers
$ jq ' .[].Link ' data/data.json | wc
# Find the number of unique records
$ jq ' .[].Link ' data/data.json | sort | uniq | wc
# Subtract the result of the second command
# from the first to get the number of duplicates 

 # oneliner to find the number of duplicates
$ echo $(( `jq '.[].Link' data / data.json | sort | uniq - D | wc - l` - `jq '.[].Link' data / data.json | sort | uniq - d | wc - l` )) 

Obtendo todos os links de papel do novo site da biblioteca

Execute o seguinte na pasta data :

python3 ../scripts/pdfFinder.py data.json

Você precisa instalar o BS4 para isso. Para instalá-lo, execute:

pip3 install bs4 --user

Isso atualizará o arquivo data.json com os links de PDF encontrados no site da biblioteca. Em seguida, no diretório raiz do repositório, execute:

python3 remove_dups.py

Isso eliminará todas as entradas duplicadas.

O site da biblioteca está fora do ar? ( http://10.17.32.9 )

Execute o seguinte comando, envie o novo arquivo data.json e envie para este repositório:

sed -ie " s/http://10.17.32.9/https://static.metakgp.org/g " data/data.json

ou se você precisar voltar ao site da biblioteca:

sed -ie " s/https://static.metakgp.org/http://10.17.32.9/g " data/data.json

LICENÇA

Licenciado sob GNU General Public License v3.0 (GPLv3).

Contribuindo

Leia o guia CONTRIBUTING.md para saber mais.