quick start guide to llms

大規模言語モデルのクイック スタート ガイド - 第 2 版

今すぐこのコピーを入手し、評価/レビューを残して感想を教えてください。

「大規模言語モデルのクイック スタート ガイド - 第 2 版」の GitHub リポジトリへようこそ。このリポジトリには、本書で使用されているコード スニペットとノートブックが含まれており、Transformer モデルと大規模言語モデル (LLM) を操作する際のさまざまなアプリケーションと高度なテクニックを示しています。初版のコードはこちらからご覧ください

リポジトリ構造

ディレクトリ

• notebooks : この本の各章の Jupyter ノートブックが含まれています。
• data : ノートブックで使用されるデータセットが含まれます。
• images : ノートブックで使用される画像とグラフが含まれます。

ノート

以下は、ブックの章ごとに整理された、 notebooksディレクトリに含まれるノートブックのリストです。

パート I - 大規模言語モデルの概要

• 第 2 章: LLM を使用したセマンティック検索

  • 02_semantic_search.ipynb : OpenAI とオープンソース モデルを使用したセマンティック検索の概要。

• 第 3 章: プロンプトエンジニアリングによる最初のステップ

  • 03_prompt_engineering.ipynb : 命令に合わせた LLM のための効果的なプロンプト エンジニアリングのガイド。

• 第 4 章: AI エコシステム: 要素をまとめる

  • 04_rag_retrieval.ipynb : 検索拡張生成 (RAG) パイプラインの構築。
  • 04_agent.ipynb : LLM およびその他のツールを使用して AI エージェントを構築します。

パート II - LLM を最大限に活用する

• 第 5 章: カスタマイズされた微調整による LLM の最適化

  • 05_bert_app_review.ipynb : アプリレビュー分類用の BERT モデルを微調整します。
  • 05_openai_app_review_fine_tuning.ipynb : アプリレビュー分類用の OpenAI モデルを微調整します。

• 第 6 章: 高度なプロンプト エンジニアリング

  • 06_adv_prompt_engineering.ipynb : 出力検証やセマンティックな少数ショット学習など、プロンプト エンジニアリングの高度なテクニック。

• 第 7 章: 埋め込みとモデル アーキテクチャのカスタマイズ

  • 07_recommendation_engine.ipynb : カスタムの微調整された LLM と埋め込みを使用してレコメンデーション エンジンを構築します。

パート III - 高度な LLM の使用法

• 第 9 章: 基礎モデルを超えて

  • 09_constructing_a_vqa_system.ipynb : GPT-2 と Vision Transformer を使用して Visual Question Answering (VQA) システムを構築するためのステップバイステップ ガイド。
  • 09_using_our_vqa.ipynb : 前のノートブックに組み込まれた VQA システムを使用します。
  • 09_flan_t5_rl.ipynb : 強化学習 (RL) を使用して FLAN-T5 モデルの出力を改善します。

• 第 10 章: 高度なオープンソース LLM 微調整

  • 10_SAWYER_LLAMA_SFT.ipynb : Llama-3 モデルを微調整して SAWYER ボットを作成します。
  • 10_SAWYER_Reward_Model.ipynb : SAWYER ボットの人間の好みに基づいた報酬モデルをトレーニングします。
  • 10_SAWYER_RLF.ipynb : ヒューマン フィードバックからの強化学習 (RLHF) を適用して SAWYER ボットを調整します。
  • 10_SAWYER_USE_SAWYER.ipynb : SAWYER ボットの使用。
  • 10_anime_category_classification_model_freezing.ipynb : アニメ カテゴリ分類用に BERT モデルを微調整し、レイヤー フリーズ技術を比較します。
  • 10_latex_gpt2.ipynb : LaTeX 数式を生成するために GPT-2 を微調整します。
  • 10_optimizing_fine_tuning.ipynb : 変圧器モデルの微調整を最適化するためのベスト プラクティス。

• 第 11 章: LLM の運用環境への移行

  • 11_distillation_example_1.ipynb : 変圧器モデルの知識蒸留技術を探索します。
  • 11_distillation_example_2.ipynb : 高度な蒸留方法とアプリケーション。
  • 11_llama_quantization.ipynb : 効率的な展開のための Llama モデルの量子化。

• 第 12 章: LLM の評価

  • 12_llm_calibration.ipynb : LLM 出力を校正するための手法。
  • 12_llm_gen_eval.ipynb : LLM の生成機能を評価するためのメソッド。
  • 12_cluster.ipynb : LLM 出力を分析するためのクラスタリング手法。
  • プローブ - プローブ用のノートブックが十数個あるため、ここではいくつかの主要なものだけを共有します。
    • ラマ-3 8B 「{名前}は誰ですか？」というプロンプトで指示します
    • BERT - 大文字小文字 - プロンプトなし
    • Mistral-7B-Instruct-v0.3 とプロンプト「{NAME} は誰ですか」

使用方法

このリポジトリを使用するには:

1. リポジトリのクローンをローカル マシンに作成します。

git clone https://github.com/yourusername/quick-start-llms.git

2. ノートブック ディレクトリに移動し、選択した Jupyter ノートブックを開きます。

 cd quick-start-llms

3. 必要なライブラリをインストールします。

pip install -r requirements.txt

注: 一部のノートブックでは、データ ディレクトリにある特定のデータセットが必要な場合があります。

貢献する

貢献は大歓迎です！追加、修正、機能強化がある場合は、お気軽にプル リクエストを送信してください。

免責事項

このリポジトリは教育目的であり、『大規模言語モデルのクイック スタート ガイド - 第 2 版』という書籍に付属することを目的としています。ノートブックで取り上げられているトピックの詳細な説明と議論については、本書を参照してください。

シナンのその他の作品

1. AI/LLM コンテンツの詳細については、Sinan のニュースレター AI オフィス アワーをチェックしてください。
2. Sinan は、Practically Intelligent というポッドキャストを配信しており、最新かつ最高の AI についてチャットしています。
3. O'Reilly の「Getting Started with Data, LLMs and ChatGPT」プレイリストをフォローして、Sinan の作品の厳選されたリストをご覧ください。