aws cost calculator

アマゾンのコスト計算ツール

これはカンザス州の「Amazon Cost Comparison」に基づいています: https://gitlab.beocat.ksu.edu/Admin-Public/amazon-cost-comparison

CPU 速度やハイパースレッディングは考慮されていないことに注意してください。 Corase のリソース使用量 (CPU 数、RAM、GPU) のみが考慮されます。クラスターと AWS の間に一貫したスケールファクターがあると信じる理由がある場合 (CPU クロック速度の比、ハイパースレッディングによる一貫したパフォーマンス効果など)、それに応じてコスト見積もりをスケールする必要があります。

前提条件

• Python3
• pip3 モジュール
  • pymysql
  • セットアップツール
  • 車輪
  • リクエスト

これは、Python3 とそのモジュールを利用可能にする方法について何の仮定もしていないことに注意してください。仮想環境、環境モジュール、ホストにインストールされたものなどを自由に使用できます。

すべての Python スクリプトは CLI 引数を受け入れます。 -hフラグをそれらに渡すと、各スクリプトで使用可能な引数のリストが取得されます。

はじめる

1. まず、 00-prepare-mysql-onetime.shを実行します。これにより、データベース環境をセットアップするために mysql のユーザー名とパスワードの入力が求められます。このステップでは、MYSQL 管理者パスワードを知っている必要があります。
2. 次に、 fetch-aws-pricing.pyを使用して、現在の AWS 価格をインポートします。このスクリプトは、コスト計算に使用される AWS の価格情報を更新するためにいつでも実行できます。現在の価格設定値を表示するには、 print-aws-pricing-data.shを実行します。
3. 次に、 01-import-job-info.pyを使用して、slurm ジョブ データをコスト分析データベースにインポートします。最新のジョブをデータベースにインポートするには、このスクリプトを実行する必要があります。
   • 大量のジョブ履歴がある場合、このステップの実行にはかなりの時間がかかることがあります。ジョブを検索する期間を制限することで実行時間を短縮できます (たとえば、過去 N 日間のジョブのみをインポートします)。 --verboseフラグを使用すると、進行状況に応じてステータス出力を取得できます。
4. 次に、 02-calculate-job-costs.py使用して、ジョブごとのリソース要件とジョブごとのコストを計算します。
   • このステップはジョブのインポートステップよりもはるかに高速ですが、ジョブ数が多い場合はそれでも時間がかかる場合があります。
5. 最後に、 03-calculate-total-aws-compute-cost.pyを使用して、AWS の累積コストを計算します。

AWS の計算コストとは別に、 04-calculate-aws-storage-cost.py使用してストレージ コストの大まかな見積もりを取得できます。このスクリプトは、複数のファイルシステムのさまざまなストレージサービス (EBS、S3、Glacier) の AWS ストレージコストを、現在使用されているストレージ量とファイルシステムの最大容量の両方で表示するだけです。

MySQL データベース テーブルに関する情報は、mysql-prereqs.txt にあります。