gpt j

IPU 上的 GPT-J 和 GPT-J-6B

GPT-J 是 EleutherAI 到 OpenAI 的 GPT-3 的开源替代品。 GPT-J 可供任何人下载，经过成功微调，可以在一系列 NLP 任务（包括问答、情感分析和命名实体识别）上与大型模型一样执行。

尝试使用 Graphcore 的 IPU（智能处理单元）在 Paperspace 上运行 GPT-J，IPU 是一种全新的大规模并行处理器，可加速机器智能。在 Paperspace 的云中按需访问先进、经济高效的 IPU 计算，以构建、微调和部署 GPT-J 等 AI 模型。

由 IPU 供电的 GPT-J 笔记本电脑

笔记本	框架	类型	免费试用
使用 GPT-J 的 IPU 上的文本蕴涵 - 微调	抱脸	微调
使用 GPT-J 6B 生成文本	抱脸	推理
在 IPU 上使用 4 位权重量化通过 GPT-J 更快地生成文本	抱脸	推理

在使用 GPT-J 的 IPU 上的文本蕴涵 - 微调笔记本中，我们展示了如何微调在 Paperspace 上的 16-IPU 系统上运行的预训练 GPT-J 模型。我们将解释如何在 GLUE MNLI 数据集上微调 GPT-J 的文本蕴含，以达到 SOTA 性能，同时比其较大的同类产品更具成本效益。

在使用 GPT-J 6B 笔记本生成文本中，我们演示了使用该模型的实现在 Graphcore IPU 上运行 GPT-J 是多么容易，并且？模型权重的集线器检查点。

在使用 GPT-J 在 IPU 笔记本上使用 4 位权重量化实现更快的文本生成中，我们展示了如何使用组量化将模型参数压缩到 4 位，无需微调，使用少 4 倍的内存并加速 GPT 上的推理 - J 约 1.5 倍。

GPT-J 资源

• 抱脸模型
• 博客
• 操作方法演练博客
• 原纸

如需进一步了解 GPT-J 在 IPU 上的使用，或咨询专家，请随时联系我们。

议会联盟社区

加入我们不断壮大的社区，与人工智能专家、IPU 开发人员和研究人员互动。聆听最新的 IPU 新闻并了解我们的最新型号。

执照

该存储库的内容根据 MIT 许可证的条款提供。有关详细信息，请参阅随附的许可证文件。