papermillダウンロード - papermillソースコードのダウンロード

papermill

その他のソースコード

1.0.0

ダウンロード

Papermill は、 Jupyter Notebook をパラメータ化、実行、分析するためのツールです。

製紙工場では次のことが可能です。

ノートブックをパラメータ化する
ノートブックを実行する

これにより、ノートブックの使用方法に新たな可能性が広がります。例えば：

おそらく、月の初日または末日、あるいは年の初めまたは終わりに異なる値を使用して財務レポートを実行したいと考えている場合、パラメーターを使用すると、このタスクが簡単になります。
ノートブックを実行し、その結果に応じて、次に実行する特定のノートブックを選択しますか?ノートブック間で手動でコピーして貼り付ける必要がなく、プログラムでワークフローを実行できるようになりました。

Papermill は、データパイプラインでノートブックを大規模に使用した経験に基づいて、ノートブックのパラメーター化と実行に対して独自のアプローチを採用しています。

インストール

コマンドラインから:

 pip install papermill

すべてのオプションの io 依存関係については、 s3やazureなどの個別のバンドルを指定するか、 all使用できます。エクストラとして追加できるパラメーターのフォーマットに Black を使用するには、['black'] が必要です。

 pip install papermill[all]

Python バージョンのサポート

このライブラリは現在、Python 3.8 以降のバージョンをサポートしています。 Python のマイナーバージョンは Python 組織によって正式に廃止されるため、papermill も同様に将来サポートを終了します。

使用法

ノートブックのパラメータ化

ノートブックをパラメータ化するには、タグparametersでセルを指定します。

Jupyter でパラメータを有効にする

Papermill はparametersセルを検索し、このセルを実行時に渡されるパラメータのデフォルトとして扱います。 Papermill は、 parametersの値を上書きするために、入力パラメータを持つinjected-parametersでタグ付けされた新しいセルを追加します。 parametersでタグ付けされたセルがない場合、挿入されたセルはノートブックの先頭に挿入されます。

さらに、製紙工場を介してノートブックを再実行すると、前回の実行からinjected-parametersセルが再利用されます。この場合、Papermill は古いinjected-parametersセルを新しい実行の入力に置き換えます。

ノートブックの実行

パラメーターを使用してノートブックを実行するには、(1) Python API を使用する方法と (2) コマンドラインインターフェイスを使用する方法の 2 つがあります。

Python API経由で実行

 import papermill as pm

pm.execute_notebook(
   'path/to/input.ipynb',
   'path/to/output.ipynb',
   parameters = dict(alpha=0.6, ratio=0.1)
)

CLI経由で実行

以下は、ローカルノートブックが実行され、Amazon S3 アカウントに出力される例です。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -p alpha 0.6 -p l1_ratio 0.1

注:複数の AWS アカウントを使用し、AWS 認証情報を適切に設定している場合は、コマンドラインでAWS_PROFILE環境変数を設定することで、使用するアカウントを指定できます。例えば：

 $ AWS_PROFILE=dev_account papermill local/input.ipynb s3://bkt/output.ipynb -p alpha 0.6 -p l1_ratio 0.1

上記の例では、 -p使用してalphaとl1_ratio 2 つのパラメータが設定されています ( --parametersも機能します)。ブール値または数値のように見えるパラメータ値は、そのように解釈されます。ユーザーがパラメータを設定できるさまざまな方法は次のとおりです。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -r version 1.0

-rまたは--parameters_rawを使用すると、ユーザーはパラメーターを 1 つずつ設定できます。ただし、 -pとは異なり、パラメータは数値またはブール値として解釈される場合でも文字列のままです。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -f parameters.yaml

-fまたは--parameters_fileを使用すると、ユーザーはパラメーター値を読み取る YAML ファイルを提供できます。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -y "
alpha: 0.6
l1_ratio: 0.1"

-yまたは--parameters_yamlを使用すると、ユーザーはパラメーター値を含む YAML 文字列を直接指定できます。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -b YWxwaGE6IDAuNgpsMV9yYXRpbzogMC4xCg==

-bまたは--parameters_base64を使用すると、ユーザーはパラメーター値を含む、base64 エンコードされた YAML 文字列を提供できます。

YAML を使用して-y 、 -b 、または-fを通じて引数を渡す場合、パラメーター値は配列または辞書になります。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -y "
x:
    - 0.0
    - 1.0
    - 2.0
    - 3.0
linear_function:
    slope: 3.0
    intercept: 1.0"