mfqp

mfqp

Site Web pour la recherche de documents de questions

Utilitaires

Nombre d'articles dans le fichier json

$ jq ' . | length ' data/data.json

Rechercher le nombre d'articles dont le lien ne se termine pas par PDF et n'est pas sur Drive

$ jq ' .[].Link ' data/data.json | awk -F ' " ' ' { if (match($2, /pdf$/) == 0 && match($2, /drive.google.com/) == 0) { print $2 } } ' | wc

Calculer le nombre de doublons

 # Find the original number of papers
$ jq ' .[].Link ' data/data.json | wc
# Find the number of unique records
$ jq ' .[].Link ' data/data.json | sort | uniq | wc
# Subtract the result of the second command
# from the first to get the number of duplicates 

 # oneliner to find the number of duplicates
$ echo $(( `jq '.[].Link' data / data.json | sort | uniq - D | wc - l` - `jq '.[].Link' data / data.json | sort | uniq - d | wc - l` )) 

Obtenir tous les liens papier du nouveau site de la bibliothèque

Exécutez ce qui suit à partir du dossier data :

python3 ../scripts/pdfFinder.py data.json

Vous devez installer BS4 pour cela. Pour l'installer, exécutez :

pip3 install bs4 --user

Cela mettra à jour le fichier data.json avec les liens pdf trouvés sur le site de la bibliothèque. Puis depuis le répertoire racine du dépôt, exécutez :

python3 remove_dups.py

Cela supprimera toutes les entrées en double.

Le site de la bibliothèque est en panne ? ( http://10.17.32.9 )

Exécutez la commande suivante, validez le nouveau fichier data.json et envoyez-le vers ce référentiel :

sed -ie " s/http://10.17.32.9/https://static.metakgp.org/g " data/data.json

ou si vous devez retourner sur le site de la bibliothèque :

sed -ie " s/https://static.metakgp.org/http://10.17.32.9/g " data/data.json

LICENCE

Sous licence GNU General Public License v3.0 (GPLv3).

Contribuer

Veuillez lire le guide CONTRIBUTING.md pour en savoir plus.