auditor violinista
v0.0.5
Auditar modelos de linguagem grande ficou mais fácil!
Os modelos de linguagem permitem que as empresas criem e lancem aplicações inovadoras para melhorar a produtividade e aumentar a satisfação do cliente. No entanto, sabe-se que os LLMs podem ter alucinações, gerar respostas adversárias que podem prejudicar os usuários e até mesmo expor informações privadas nas quais foram treinados quando solicitados ou não. É mais crítico do que nunca que as equipes de ML e aplicativos de software minimizem esses riscos e fraquezas antes de lançar LLMs e modelos de PNL. Como resultado, é importante incluir um processo para auditar minuciosamente os modelos de linguagem antes da produção. O Fiddler Auditor permite testar modelos LLMs e PNL, identificar pontos fracos nos modelos e mitigar possíveis resultados adversários antes de implantá-los na produção.
Fiddler Auditor suporta
Um exemplo de relatório gerado pelo Fiddler Auditor para text-davinci-003.O Auditor está disponível no PyPI e testamos no Python 3.8 e superior. Recomendamos criar um ambiente python virtual e instalar usando o seguinte comando
pip install fiddler-auditorVocê pode instalar a partir do código-fonte após clonar este repositório usando o seguinte comando
pip install . Estamos atualizando continuamente esta biblioteca para oferecer suporte aos modelos de linguagem à medida que eles evoluem.
Para obter instruções passo a passo, siga o Guia de Contribuição.
