스티어링 벡터

스티어링 벡터

Pytorch/Huggingface의 변환기 언어 모델을 위한 스티어링 벡터/표현 엔지니어링

예제 노트북을 확인해 보세요.

전체 문서: https://steering-Vectors.github.io/steering-Vectors

에 대한

이 라이브러리는 GPT, LLaMa, Gemma, Mistral, Pythia 등과 같은 Huggingface의 언어 모델(LM)에 조정 벡터를 훈련하고 적용하기 위한 유틸리티를 제공합니다.

이 라이브러리는 다음 두 논문의 아이디어와 코드에서 영감을 받았습니다. 스티어링 벡터 및 표현 엔지니어링에 대한 자세한 내용은 다음 작업을 확인하세요.

• 대조 활성화 추가를 통한 Llama 2 조종 Rimsky 외, 2023
• 표현 엔지니어링: AI 투명성에 대한 하향식 접근 방식 Zou 외, 2023

설치

 pip install steering-vectors

자세한 사용법 정보는 전체 문서를 확인하세요.

기여

이 프로젝트를 개선하기 위한 모든 기여를 환영합니다! 버그 수정/변경/개선 사항이 포함된 이슈나 풀 요청을 이 리포지토리에서 열어주세요.

이 프로젝트에서는 코드 형식 지정 및 Linting에 Ruff를 사용하고, 유형 확인에 MyPy를, 테스트에 Pytest를 사용합니다. 제출한 모든 변경 사항이 PR에서 이러한 코드 검사를 통과했는지 확인하세요. 실행하는 데 문제가 있는 경우 언제든지 끌어오기 요청을 열면 PR에서 더 자세히 논의할 수 있습니다.

특허

이 코드는 MIT 라이센스에 따라 공개됩니다.