odsc llmops

LLM от прототипа до производства

LLMOps, оперативное проектирование и перемещение программ LLM в облако

Добро пожаловать в репозиторий GitHub семинара ODSC по LLMOps. Этот семинар призван помочь вам раскрыть весь потенциал LLM посредством квантования, дистилляции, тонкой настройки, Kubernetes и многого другого!

Большинство этих тематических исследований взяты из моей книги: Краткое руководство по программе LLM.

Чтобы узнать подробности и присоединиться к мастер-классу, нажмите здесь.

Блокноты/Слайды

Погрузитесь глубже в практическое применение с нашими комплексными блокнотами. Эти блокноты шаг за шагом проведут вас по двум тематическим исследованиям, рассмотренным на семинаре, что позволит получить интерактивный и практический опыт обучения.

Слайды семинара

Вот слайды для мастер-класса.

• Слайды: [ODSC LLMOps](./slides/ODSC - LLM от прототипа до производства.pdf)

Пример 1: Квантование Ламы 3

• Динамическое квантование Llama-3 — использование битов и байтов для квантования модели в реальном времени при загрузке. Мы исследуем различия до и после квантования.

• Посмотрите, как загрузить предварительно квантованную версию Llama, чтобы сравнить скорость и использование памяти:

  • Работа с GGUF (без графического процессора)

  • Работа с GGUF (с графическим процессором)

Практический пример 2: Получение степени магистра права (LLM)

• Очистка моделей BERT для оптимизации скорости/памяти . Узнайте, как выполнить дистилляцию для конкретной задачи, чтобы миниатюризировать модель BERT для классификации.

Пример 3. Развертывание Quantized Llama 3 с помощью llama.cpp

• В этом каталоге находится демонстрационная версия K8s с использованием моделей внедрения и Llama 3 с GGUF на графическом процессоре.

Пример 4: Оценка генеративного ИИ

• Оценка LLM с помощью рубрик — изучение подсказки по рубрикам для оценки генеративного результата.

• Оценка согласованности (если позволяет время) — посмотреть, как LLM может судить об ответах агента.

Дополнительные блокноты

Вот несколько блокнотов, к которым я обращаюсь во время семинара, но у меня нет времени разобраться:

Спасибо!

Если вам понравились тематические исследования, поставьте моей книге 5-звездочный рейтинг на Amazon, поскольку это действительно помогает мне как автору! Чтобы узнать подробности и присоединиться к мастер-классу, нажмите здесь.