Потрясающие LLMO
Оглавление
- Оглавление
- Что такое LLMOps?
- Оперативное проектирование
- Модели
- Оптимизация
- Инструменты (GitHub)
- Инструменты (Другое)
- РЛХФ
- Потрясающий
- Содействие
Что такое LLMOps?
LLMOps — это часть практики MLOps, специализированной формы MLOps, которая фокусируется на управлении всем жизненным циклом больших языковых моделей (LLM).
Начиная с 2021 года, когда LLM быстро развивались и технологии созревали, мы начали концентрироваться на методах эффективного управления LLM, и о LLMOps, которые представляют собой адаптацию традиционных практик MLOps к LLM, начали говорить.
LLMOps против MLOps
| LLMOps | МЛОпс |
|---|
| Определение | Инструменты и инфраструктура специально для разработки и развертывания больших языковых моделей. | Инструменты и инфраструктура для общих рабочих процессов машинного обучения |
| Фокус | Уникальные требования и проблемы больших языковых моделей | Общие рабочие процессы машинного обучения |
| Ключевые технологии | Языковая модель, библиотека Transformers, платформы аннотаций с участием человека | Kubeflow, MLflow, расширенный TensorFlow |
| Ключевые навыки | Опыт НЛП, знание больших языковых моделей, управление текстовыми данными. | Инженерия данных, DevOps, Разработка программного обеспечения, Опыт машинного обучения |
| Ключевые проблемы | Управление и маркировка больших объемов текстовых данных, точная настройка базовых моделей для конкретных задач, обеспечение справедливости и этики в языковых моделях. | Управление сложными конвейерами данных, обеспечение интерпретируемости и объяснимости модели, устранение предвзятости и справедливости модели. |
| Принятие в промышленности | Развивающийся, с растущим числом стартапов и компаний, специализирующихся на LLMOps. | Создан, имеет большую экосистему доступных инструментов и фреймворков. |
| Перспективы на будущее | Ожидается, что LLMOps станет все более важной областью исследования, поскольку большие языковые модели становятся все более распространенными и мощными. | MLOps продолжит оставаться важнейшим компонентом индустрии машинного обучения, уделяя особое внимание повышению эффективности, масштабируемости и надежности моделей. |
⬆️ Перейти наверх
Оперативное проектирование
- PromptBase - Торговая площадка оперативного инжиниринга
- PromptHero - Сайт для оперативного проектирования
- Prompt Search - Поисковая система для оперативного проектирования
- Prompt Perfect – автоматический оптимизатор подсказок
- Learn Prompting — обучающий веб-сайт по оперативному проектированию.
- Блог: Изучение атак с быстрым внедрением
- Блог: Оперативная утечка
- Статья: Настройка префиксов: оптимизация непрерывных подсказок для генерации
⬆️ Перейти наверх
Модели
| Имя | Размер параметра | Дата объявления |
|---|
| БЕРТ-Большой (336М) | 336 миллионов | 2018 год |
| Т5 (11Б) | 11 миллиардов | 2020 год |
| Суслик (280Б) | 280 миллиардов | 2021 год |
| ГПТ-ДЖ (6Б) | 6 миллиардов | 2021 год |
| ЛаМДА (137Б) | 137 миллиардов | 2021 год |
| Мегатрон-Тьюринг НЛГ (530B) | 530 миллиардов | 2021 год |
| Т0 (11Б) | 11 миллиардов | 2021 год |
| Ара (11Б) | 11 миллиардов | 2021 год |
| ГЛаМ (1,2Т) | 1,2 триллиона | 2021 год |
| Т5 ФЛАН (540Б) | 540 миллиардов | 2022 год |
| ОПТ-175Б (175Б) | 175 миллиардов | 2022 год |
| ЧатGPT (175B) | 175 миллиардов | 2022 год |
| ГПТ 3,5 (175Б) | 175 миллиардов | 2022 год |
| АлексаТМ (20Б) | 20 миллиардов | 2022 год |
| Блум (176B) | 176 миллиардов | 2022 год |
| Бард | Еще не объявлено | 2023 год |
| GPT 4 | Еще не объявлено | 2023 год |
| Альфакод (41.4B) | 41,4 миллиарда | 2022 год |
| Шиншилла (70Б) | 70 миллиардов | 2022 год |
| Воробей (70Б) | 70 миллиардов | 2022 год |
| ПалМ (540Б) | 540 миллиардов | 2022 год |
| НЛЛБ (54,5Б) | 54,5 миллиарда | 2022 год |
| Алекса ТМ (20Б) | 20 миллиардов | 2022 год |
| Галактика (120Б) | 120 миллиардов | 2022 год |
| УЛ2 (20Б) | 20 миллиардов | 2022 год |
| Юрский-1 (178Б) | 178 миллиардов | 2022 год |
| ЛЛАМА (65B) | 65 миллиардов | 2023 год |
| Стэнфорд Альпака (7B) | 7 миллиардов | 2023 год |
| ГПТ-НеоХ 2.0 (20Б) | 20 миллиардов | 2023 год |
| BloombergGPT | 50 миллиардов | 2023 год |
| Долли | 6 миллиардов | 2023 год |
| Юрский-2 | Еще не объявлено | 2023 год |
| OpenAssistant LLaMa | 30 миллиардов | 2023 год |
| Коала | 13 миллиардов | 2023 год |
| Викунья | 13 миллиардов | 2023 год |
| ПалМ2 | Еще не объявлено, меньше, чем PaLM1 | 2023 год |
| ЛИМА | 65 миллиардов | 2023 год |
| МПТ | 7 миллиардов | 2023 год |
| Сокол | 40 миллиардов | 2023 год |
| Лама 2 | 70 миллиардов | 2023 год |
| Гугл Близнецы | Еще не объявлено | 2023 год |
| Майкрософт Фи-2 | 2,7 миллиарда | 2023 год |
| Грок-0 | 33 миллиарда | 2023 год |
| Грок-1 | 314 миллиардов | 2023 год |
| Солнечная | 10,7 миллиардов | 2024 год |
| Джемма | 7 миллиардов | 2024 год |
| Грок-1,5 | Еще не объявлено | 2024 год |
| ДБРКС | 132 миллиарда | 2024 год |
| Клод 3 | Еще не объявлено | 2024 год |
| Джемма 1.1 | 7 миллиардов | 2024 год |
| Лама 3 | 70 миллиардов | 2024 год |
⬆️ Перейти наверх
Оптимизация
- Блог: Небольшое введение в 8-битное умножение матриц для масштабируемых преобразователей с использованием Hugging Face Transformers, Accelerate и bitsandbytes.
- Блог: Точная настройка 20B LLM с помощью RLHF на потребительском графическом процессоре с памятью 24 ГБ
- Блог: Обработка больших моделей для вывода
- Блог: Как точно настроить модель альпаки для любого языка | Альтернатива ChatGPT
- Статья: LLM.int8(): 8-битное умножение матриц для трансформаторов в масштабе
- Суть: скрипт для разложения/перекомпоновки моделей LLAMA LLM с разным количеством осколков.
⬆️ Перейти наверх
Инструменты (GitHub)
- Стэнфордская альпака — репозиторий проекта Стэнфордской альпаки, модели, доработанной на основе модели LLaMA 7B для демонстраций с 52 тысячами инструкций.
- LoRA — реализация «LoRA: низкоранговая адаптация больших языковых моделей».
- Долли — большая языковая модель, обученная на платформе машинного обучения Databricks.
- DeepSpeed — библиотека оптимизации глубокого обучения, которая делает распределенное обучение и логические выводы простыми, эффективными и результативными.
- LMFlow — расширяемый набор инструментов для точной настройки и вывода больших моделей фундамента. Большая модель для всех.
- Promptify - - Утилита/такит для оперативного проектирования.
- Auto-GPT — экспериментальная попытка с открытым исходным кодом сделать GPT-4 полностью автономным.
- Jarvis — — Система для соединения LLM с сообществом ML, соединитель композитной модели через интерфейс LLM.
- dalai — — Инструмент командной строки для запуска LLaMA на локальном компьютере.
- haystack — платформа НЛП с открытым исходным кодом для взаимодействия с данными с использованием моделей Transformer и LLM.
- langchain — — Библиотека, которая помогает в разработке приложений с помощью LLM.
- langflow — пользовательский интерфейс для LangChain, разработанный с использованием React-flow, чтобы обеспечить простой способ экспериментировать и создавать прототипы потоков.
- deeplake — Озеро данных для глубокого обучения. Создавайте, управляйте, запрашивайте, редактируйте и визуализируйте наборы данных.
- alpaca-lora — — Инструкция по настройке LLaMA на потребительском оборудовании.
- bosquet — LLMOps для приложений на основе большой языковой модели.
- llama_index — проект, который предоставляет центральный интерфейс для подключения вашего LLM к внешним данным.
- gradio — помощник пользовательского интерфейса для модели машинного обучения.
- sharegpt — расширение Chrome с открытым исходным кодом, позволяющее одним щелчком мыши делиться своими самыми дикими разговорами в ChatGPT.
- keras-nlp — библиотека обработки естественного языка, которая поддерживает пользователей на протяжении всего цикла разработки.
- Snowkel AI — Платформа данных для моделей фундаментов.
- Promptflow — набор инструментов, который упрощает разработку приложений искусственного интеллекта на основе LLM, от идеи до развертывания.
⬆️ Перейти наверх
Инструменты (Другое)
- PaLM2 API — служба API, которая делает PaLM2, большие языковые модели (LLM), доступными для Google Cloud Vertex AI.
- Perspective API — инструмент, который может помочь снизить токсичность и обеспечить здоровый диалог в Интернете.
⬆️ Перейти наверх
РЛХФ
- evals — тщательно подобранный список обучения с подкреплением с использованием ресурсов обратной связи с людьми.
- trlx — репозиторий для распределенного обучения языковых моделей с помощью обучения с подкреплением через обратную связь с человеком. (РЛХФ)
- PaLM-rlhf-pytorch — — Реализация RLHF (обучение с подкреплением с обратной связью от человека) поверх архитектуры PaLM.
⬆️ Перейти наверх
Потрясающий
- Ганнибал046/Потрясающе-LLM
- Кеннетан Сиер / awesome-llm
- f/awesome-chatgpt-prompts
- подсказки/Awesome-Prompt-Engineering
- tensorchord/awesome-open-source-llmops
- opendilab/потрясающе-RLHF
⬆️ Перейти наверх
Содействие
Мы приветствуем вклад в список Awesome LLMOps! Если вы хотите предложить дополнение или внести исправления, следуйте этим правилам:
- Создайте форк репозитория и создайте новую ветку для вашего вклада.
- Внесите изменения в файл README.md.
- Убедитесь, что ваш вклад соответствует теме LLMOps.
- Используйте следующий формат, чтобы добавить свой вклад:
[ Name of Resource ] (Link to Resource) - Description of resource
- Добавьте свой вклад в алфавитном порядке в своей категории.
- Убедитесь, что вашего вклада еще нет в списке.
- Предоставьте краткое описание ресурса и объясните, почему он важен для LLMOps.
- Создайте запрос на включение с четким названием и описанием ваших изменений.
Мы ценим ваш вклад и благодарим вас за то, что вы помогли сделать список Awesome LLMOps еще более интересным!
⬆️ Перейти наверх
