aws cost calculator

Calculateur de coûts Amazon

Ceci est basé sur la « comparaison des coûts d'Amazon » de l'État du Kansas : https://gitlab.beocat.ksu.edu/Admin-Public/amazon-cost-comparison

Notez qu'aucune considération n'est accordée aux vitesses du processeur et/ou à l'hyperthreading. L'utilisation des ressources Corase (nombre de CPU, RAM, GPU) est tout ce qui est pris en compte. Si vous avez des raisons de croire qu'il existe un facteur d'échelle cohérent entre votre cluster et AWS (par exemple, rapport entre les vitesses d'horloge du processeur, effet de performance cohérent dû à l'hyperthreading), vous devrez adapter l'estimation des coûts en conséquence.

Conditions préalables

• python3
• modules pip3
  • pymysql
  • outils de configuration
  • roue
  • demandes

Notez que cela ne fait aucune hypothèse sur la façon dont vous rendez python3 et ses modules disponibles. Vous êtes libre d'utiliser des environnements virtuels, des modules d'environnement, installés sur l'hôte, etc.

Tous les scripts Python acceptent les arguments CLI. Passez-leur l'indicateur -h pour obtenir une liste des arguments disponibles pour chaque script.

Commencer

1. Commencez par exécuter 00-prepare-mysql-onetime.sh . Cela vous demandera les noms d'utilisateur et les mots de passe MySQL afin de configurer l'environnement de la base de données. Vous devez connaître le mot de passe administrateur MYSQL pour cette étape.
2. Ensuite, importez les prix AWS actuels à l'aide de fetch-aws-pricing.py . Ce script peut être exécuté à tout moment pour mettre à jour les informations de tarification AWS à utiliser dans les calculs des coûts. Pour afficher les valeurs de tarification actuelles, exécutez print-aws-pricing-data.sh .
3. Ensuite, importez les données des travaux Slurm dans une base de données d'analyse des coûts à l'aide de 01-import-job-info.py . Ce script doit être exécuté pour que les tâches plus récentes soient importées dans la base de données.
   • Cette étape peut prendre un certain temps si vous disposez d'un historique de tâches important. Vous pouvez réduire le temps d'exécution en limitant la période pendant laquelle vous recherchez des tâches (par exemple, importez uniquement les tâches des N derniers jours). Vous pouvez obtenir une sortie d'état au fur et à mesure de sa progression en utilisant l'indicateur --verbose .
4. Ensuite, calculez les besoins en ressources par tâche et les coûts par tâche à l'aide de 02-calculate-job-costs.py .
   • Cette étape est beaucoup plus rapide que l'étape d'importation de tâches, mais peut néanmoins prendre beaucoup de temps pour un nombre important de tâches.
5. Enfin, calculez les coûts AWS cumulés avec 03-calculate-total-aws-compute-cost.py .

Indépendamment du coût de calcul AWS, vous pouvez obtenir des estimations approximatives des coûts de stockage à l'aide de 04-calculate-aws-storage-cost.py . Ce script affiche simplement les coûts de stockage AWS pour divers services de stockage (EBS, S3, Glacier) pour plusieurs systèmes de fichiers, à la fois pour la quantité de stockage actuellement utilisée ainsi que pour la capacité maximale des systèmes de fichiers.

Des informations sur les tables de la base de données MySQL peuvent être trouvées dans mysql-prereqs.txt.