oreilly optimizing llms

自然語言生成與 GPT 實踐

此儲存庫包含 O'Reilly Live Online Training for Hands on Natural Language Generation 和 GPT 的程式碼

本次培訓將重點放在如何將 GPT 系列模型用於 NLP 任務，包括抽象文字摘要和自然語言生成。訓練將首先介紹必要的概念，包括屏蔽自註意力、語言模型和轉換器，然後基於這些概念介紹 GPT 架構。然後，我們將透過使用預先訓練的 GPT-2 模型以及在自訂語料庫上微調這些模型的實踐範例，介紹如何將 GPT 用於多種自然語言處理任務。

GPT 模型是當今最相關的 NLP 架構之一，它與 BERT 等其他重要的 NLP 深度學習模型密切相關。這兩個模型都源自於新發明的變壓器架構，代表了機器處理語言和上下文的轉折點。

採用下一代 Transformer 架構的自然語言處理系列線上培訓全面概述了最先進的自然語言處理 (NLP) 模型，包括源自現代注意力驅動 Transformer 架構的 GPT 和 BERT這些模型如今用於解決的應用程式。該系列中的所有培訓都透過視覺化數學解釋、Jupyter Notebook 演示中簡單實用的 Python 範例以及以 NLP 模型可解決的現代問題為特色的綜合案例研究的結合，將理論與應用融為一體。

筆記型電腦

GPT2簡介

攝取新語料庫

使用 GPT2 進行多任務學習

Dolly Lite 筆記本

• 原始部落格連結：這裡

快速工程 101

更多第三方微調GPT模型

講師

Sinan Ozdemir是 LoopGenius 的創始人兼首席技術官，他使用最先進的人工智慧來幫助人們創建和經營自己的業務。 Sinan 曾任約翰霍普金斯大學資料科學講師，也是多本資料科學與機器學習教科書的作者。此外，他也是最近收購的 Kylie.ai 的創始人，這是一個具有 RPA 功能的企業級對話人工智慧平台。他擁有約翰霍普金斯大學純數學碩士學位，居住在加州舊金山。