cs224d
1.0.0
Le contenu du problème posé pour le devoir 1 est ici avec le PDF du devoir également inclus dans ce référentiel sous le nom de mission1.pdf
Cela utilise Python 2.7. Exécutez les exercices en utilisant python q{1,2,3}_{problem}.py, exécutez essentiellement n'importe quel code en transmettant le fichier à l'interpréteur python.
Certaines fonctionnalités ont des tests mais certaines manquent encore.
Je pense qu'une grande partie de q3_word2vec.py peut bénéficier de tests de cohérence.
Cette mission bénéficie de l'utilisation de GPU, il y a donc des instructions sur la création d'une instance ponctuelle sur AWS. J'utilise une instance p2.8xlarge qui, au 4 juin, 7,20 $ de l'heure. L'instance Spot permet d'exécuter ce même type d'instance pour 1,3 $ par heure.
Pour faire une demande d'instance ponctuelle, exécutez actuellement ./aws_setup/setup.sh , cela suppose mon ordinateur portable et utilise un profil AWS que j'ai configuré pour mon compte AWS personnel. Vous auriez besoin de changer les choses et cela ne fonctionnera probablement pas aussi bien car l'AMI AWS que j'utilise se trouve dans mon propre compte. Cela ne voyage pas bien pour le moment.
config.json est un fichier enregistré à partir de ma première demande d'instance ponctuelle à l'aide de la console de gestion AWS. Les scripts config.json et setup.sh enregistrés dans le dossier aws_setup me permettent de redemander beaucoup plus facilement une instance la prochaine fois que je souhaite exécuter une formation.
Une fois l'instance lancée, il y aura un dossier cs224 dans le dossier de départ. git pull origin master et vous avez le dernier code. Exécuter avec python q3_RNNLM.py
./aws_setup contient des scripts de prise en charge pour la création d'une infrastructure d'instance spot AWS
source ./aws_setup/commands.sh pour avoir quelques commandes de base qui exécutent : describe l'environnement setup une nouvelle instance ponctuelle, login à l'instance, terminate lorsque vous avez terminé ;
Lors de l'exécution de N plusieurs instances, choisissez celle à laquelle vous connecter en fournissant un numéro d'instance compris entre 0 et N. ./aws_setup/login.sh 0 pour vous connecter à la 1ère instance
Les meilleures exécutions ont été entraînées en 90 minutes sur p2.xlarge et avaient une précision de 0,745 lors de la validation.
La mise à jour de la taille d'intégration jusqu'à 2 800 à partir des 35 de départ n'a guère modifié la précision résultante.
La régularisation l2 était, comme elle devrait être, très importante pour obtenir de bons résultats de validation.
Les précisions de l'ensemble d'entraînement et de l'ensemble de validation étaient encore très espacées, la précision de l'ensemble d'entraînement était souvent supérieure à %92.
Tous les résultats de l'exécution du devoir 3 et des rédactions individuelles se trouvent dans assignation3/output et assignation3/README.md.
