papermill下载 - papermill源代码下载

papermill

其他源码

1.0.0

下载

papermill是一个用于参数化、执行和分析 Jupyter Notebooks 的工具。

造纸厂让您：

参数化笔记本
执行笔记本

这为笔记本电脑的使用方式开辟了新的机会。例如：

也许您有一份财务报告，希望在一个月的第一天或最后一天或在年初或年末以不同的值运行，使用参数可以使此任务变得更容易。
您想要运行笔记本并根据其结果选择接下来运行的特定笔记本吗？您现在可以以编程方式执行工作流程，而无需手动在笔记本之间复制和粘贴。

Papermill 根据我们在数据管道中大规模使用笔记本的经验，对笔记本参数化和执行采取了固执己见的方法。

安装

从命令行：

 pip install papermill

对于所有可选的 io 依赖项，您可以指定单个包，例如s3或azure - 或使用all 。要使用黑色来格式化参数，您可以添加额外的要求['black']。

 pip install papermill[all]

Python版本支持

该库当前支持 Python 3.8+ 版本。随着 Python 组织 Papermill 正式取消 Python 次要版本，将来也将同样放弃支持。

用法

参数化笔记本

要参数化您的笔记本，请指定带有标签parameters的单元格。

在 Jupyter 中启用参数

Papermill 查找parameters单元格并将该单元格视为执行时传入的参数的默认值。 Papermill 将添加一个injected-parameters标记的新单元格，以便覆盖parameters中的值。如果没有用parameters标记单元格，则注入的单元格将插入到笔记本的顶部。

此外，如果您通过造纸厂重新运行笔记本，它将重用上次运行中injected-parameters单元格。在这种情况下，Papermill 将用新运行的输入替换旧的injected-parameters单元。

执行笔记本

使用参数执行笔记本的两种方法是：(1) 通过 Python API 和 (2) 通过命令行界面。

通过Python API执行

 import papermill as pm

pm.execute_notebook(
   'path/to/input.ipynb',
   'path/to/output.ipynb',
   parameters = dict(alpha=0.6, ratio=0.1)
)

通过 CLI 执行

以下是执行本地笔记本并将其输出到 Amazon S3 账户的示例：

 $ papermill local/input.ipynb s3://bkt/output.ipynb -p alpha 0.6 -p l1_ratio 0.1

注意：如果您使用多个 AWS 账户，并且已正确配置 AWS 凭证，则可以通过在命令行设置AWS_PROFILE环境变量来指定要使用的账户。例如：

 $ AWS_PROFILE=dev_account papermill local/input.ipynb s3://bkt/output.ipynb -p alpha 0.6 -p l1_ratio 0.1

在上面的示例中，使用-p设置了两个参数： alpha和l1_ratio （ --parameters也有效）。看起来像布尔值或数字的参数值将被如此解释。以下是用户设置参数的不同方式：

 $ papermill local/input.ipynb s3://bkt/output.ipynb -r version 1.0

使用-r或--parameters_raw ，用户可以一一设置参数。但是，与-p不同的是，该参数将保留为字符串，即使它可能被解释为数字或布尔值。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -f parameters.yaml

使用-f或--parameters_file ，用户可以提供应从中读取参数值的 YAML 文件。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -y "
alpha: 0.6
l1_ratio: 0.1"

使用-y或--parameters_yaml ，用户可以直接提供包含参数值的 YAML 字符串。

 $ papermill local/input.ipynb s3://bkt/output.ipynb -b YWxwaGE6IDAuNgpsMV9yYXRpbzogMC4xCg==

使用-b或--parameters_base64 ，用户可以提供包含参数值的 Base64 编码的 YAML 字符串。

使用 YAML 传递参数时，通过-y 、 -b或-f ，参数值可以是数组或字典：

 $ papermill local/input.ipynb s3://bkt/output.ipynb -y "
x:
    - 0.0
    - 1.0
    - 2.0
    - 3.0
linear_function:
    slope: 3.0
    intercept: 1.0"