guardrails demo

Проект LLM Security с Llama Guard

Этот репозиторий предоставляет быстрый и простой способ запустить приложение Llama Guard на локальном компьютере и изучить безопасность LLM.

Что такое Лама Страж?

Llama Guard — это защитная структура, предназначенная для обнаружения и снижения потенциальных рисков безопасности, связанных с моделями большого языка (LLM). Это помогает разработчикам и исследователям создавать более безопасные и надежные приложения LLM.

Что включено?

Реализация Nemo Guardrail: папка llama-guard содержит реализацию NeMo Guardrail, обеспечивающую гибкость и настройку в соответствии с вашими конкретными потребностями. Приложения Streamlit. Для удобства тестирования предусмотрены два приложения Streamlit: llama-guard-only.py: тестируйте запросы ввода и ответы непосредственно с помощью Llama Guard. llama_2_with_llama-guard.py: запустите Llama Guard с предварительно обученной моделью Llama 2 13b для тестирования в реальных условиях.

Как запустить приложение:

• Клонировать этот репозиторий
• Установите зависимости: pip install -r require.txt
• Запустите нужное приложение:
  1. Тест Llama Guard: потоковый запуск llama-guard-only.py
  2. Тест с Llama 2 13b: потоковый запуск llama_2_with_llama-guard.py

Узнать больше:

Сообщение в блоге: Углубите свое понимание Llama Guard и безопасности LLM с помощью этого информативного сообщения в блоге: https://balavenkatesh.medium.com/securing-tomorrows-ai-world-today-llama-guard-defensive-strategies-for-llm- приложение-c29a87ba607f