скрипач-одитор
v0.0.5
Аудит больших языковых моделей стал проще!
Языковые модели позволяют компаниям создавать и запускать инновационные приложения для повышения производительности и удовлетворенности клиентов. Однако известно, что LLM могут галлюцинировать, генерировать враждебные реакции, которые могут нанести вред пользователям, и даже раскрывать личную информацию, которой они были обучены, при появлении подсказки или без подсказки. Для команд ML и программных приложений как никогда важно минимизировать эти риски и недостатки перед запуском моделей LLM и NLP. В результате вам важно включить процесс тщательного аудита языковых моделей перед их производством. Fiddler Auditor позволяет тестировать модели LLM и NLP, выявлять слабые места в моделях и смягчать потенциальные неблагоприятные последствия перед их внедрением в производство.
Поддержка Fiddler Auditor
Пример отчета, созданного Fiddler Auditor для text-davinci-003.Auditor доступен на PyPI, и мы тестируем на Python 3.8 и выше. Мы рекомендуем создать виртуальную среду Python и установить ее с помощью следующей команды.
pip install fiddler-auditorВы можете установить из исходного кода после клонирования этого репозитория, используя следующую команду
pip install . Мы постоянно обновляем эту библиотеку для поддержки языковых моделей по мере их развития.
Пошаговые инструкции приведены в Руководстве для участников.
