vektor kemudi

Vektor Kemudi

Vektor kemudi / rekayasa representasi untuk model bahasa transformator di Pytorch / Huggingface

Lihat contoh buku catatan kami.

Dokumen lengkap: https://steering-vectors.github.io/steering-vectors

Tentang

Pustaka ini menyediakan utilitas untuk melatih dan menerapkan vektor pengarah ke model bahasa (LM) dari Huggingface, seperti GPT, LLaMa, Gemma, Mistral, Pythia, dan banyak lagi!

Perpustakaan ini terinspirasi oleh ide dan kode dari dua makalah berikut. Untuk info lebih lanjut tentang vektor kemudi dan rekayasa representasi, lihat karya berikut:

• Mengarahkan Llama 2 melalui Penambahan Aktivasi Kontrastif Rimsky dkk., 2023
• Rekayasa Representasi: Pendekatan Top-Down terhadap Transparansi AI Zou et al., 2023

Instalasi

 pip install steering-vectors

Lihat dokumentasi lengkap untuk info penggunaan lebih lanjut.

Berkontribusi

Setiap kontribusi untuk meningkatkan proyek ini dipersilakan! Silakan buka masalah atau tarik permintaan di repo ini dengan perbaikan bug/perubahan/peningkatan apa pun yang Anda miliki.

Proyek ini menggunakan Ruff untuk pemformatan dan linting kode, MyPy untuk pemeriksaan tipe, dan Pytest untuk pengujian. Pastikan setiap perubahan yang Anda kirimkan lolos pemeriksaan kode ini di PR Anda. Jika Anda kesulitan menjalankannya, silakan buka permintaan tarik dan kita bisa berdiskusi lebih lanjut di PR.

Lisensi

Kode ini dirilis di bawah lisensi MIT.