oreilly optimizing llms

自然语言生成和 GPT 实践

此存储库包含 O'Reilly Live Online Training for Hands on Natural Language Generation 和 GPT 的代码

本次培训将重点关注如何将 GPT 系列模型用于 NLP 任务，包括抽象文本摘要和自然语言生成。培训将首先介绍必要的概念，包括屏蔽自注意力、语言模型和转换器，然后基于这些概念介绍 GPT 架构。然后，我们将通过使用预先训练的 GPT-2 模型以及在自定义语料库上微调这些模型的实践示例，介绍如何将 GPT 用于多种自然语言处理任务。

GPT 模型是当今最相关的 NLP 架构之一，它与 BERT 等其他重要的 NLP 深度学习模型密切相关。这两个模型都源自新发明的变压器架构，代表了机器处理语言和上下文的拐点。

采用下一代 Transformer 架构的自然语言处理系列在线培训全面概述了最先进的自然语言处理 (NLP) 模型，包括源自现代注意力驱动 Transformer 架构的 GPT 和 BERT这些模型如今用于解决的应用程序。该系列中的所有培训都通过可视化数学解释、Jupyter Notebook 演示中简单实用的 Python 示例以及以 NLP 模型可解决的现代问题为特色的综合案例研究的结合，将理论与应用融为一体。

笔记本电脑

GPT2简介

摄取新语料库

使用 GPT2 进行多任务学习

Dolly Lite 笔记本

• 原始博客链接：这里

快速工程 101

更多第三方微调GPT模型

讲师

Sinan Ozdemir是 LoopGenius 的创始人兼首席技术官，他使用最先进的人工智能来帮助人们创建和经营自己的业务。 Sinan 曾任约翰霍普金斯大学数据科学讲师，也是多本数据科学和机器学习教科书的作者。此外，他还是最近收购的 Kylie.ai 的创始人，这是一个具有 RPA 功能的企业级对话人工智能平台。他拥有约翰·霍普金斯大学纯数学硕士学位，居住在加利福尼亚州旧金山。