odsc llmops

プロトタイプから実稼働までの LLM

LLMOps、迅速なエンジニアリング、LLM のクラウドへの移行

LLMOps に関する ODSC ワークショップの GitHub リポジトリへようこそ。このワークショップは、量子化、蒸留、微調整、Kubernetes などを通じて LLM の可能性を最大限に引き出すことができるように設計されています。

これらのケーススタディのほとんどは、私の著書「LLM のクイック スタート ガイド」から引用したものです。

詳細およびワークショップへの参加については、ここをクリックしてください。

ノート/スライド

包括的なノートブックを使用して、実際のアプリケーションを深く掘り下げてください。これらのノートブックは、ワークショップで取り上げられた 2 つのケーススタディを段階的にガイドし、インタラクティブで実践的な学習体験を可能にします。

ワークショップのスライド

こちらがワークショップのスライドです。

• スライド: [ODSC LLMOps](./slides/ODSC - プロトタイプからプロダクションまでの LLM.pdf)

ケーススタディ 1: Llama 3 の量子化

• Llama-3 を動的に量子化する- ビットサンドバイトを使用して、ロード時にモデルをリアルタイムで量子化します。量子化前と後の違いを調べます

• Llama の事前量子化バージョンをロードして速度とメモリ使用量を比較する方法を参照してください。

  • GGUF での作業 (GPU なし)

  • GGUF での作業 (GPU を使用)

ケーススタディ 2: LLM の蒸留

• 速度/メモリを最適化するための BERT モデルの蒸留- タスク固有の蒸留を実行して、分類用の BERT モデルを小型化する方法をご覧ください。

ケーススタディ 3: llama.cpp を使用した量子化 Llama 3 のデプロイ

• このディレクトリは、 GPU 上で GGUF を使用した埋め込みモデルと Llama 3 を使用する K8s デモ用のディレクトリです。

ケーススタディ 4: 生成 AI の評価

• ルーブリックを使用した LLM の評価- ルーブリック プロンプトを探索して生成出力を評価する

• 調整の評価 (時間が許す限り) - LLM がエージェントの応答をどのように判断できるかを確認する

追加のノートブック

以下に、ワークショップ中に参照するノートをいくつか紹介しますが、詳しく説明する時間がありません。

ありがとう！

ケーススタディを気に入っていただけましたら、Amazon で私の本に 5 つ星の評価を与えることをご検討ください。これは著者として本当に役に立ちます。詳細およびワークショップへの参加については、ここをクリックしてください。