artkit

Tim Merah Otomatis (ART) dan perangkat pengujian

ARTKIT adalah kerangka kerja Python yang dikembangkan oleh BCG X untuk mengotomatiskan pengujian dan evaluasi aplikasi Gen AI berbasis cepat.

Memulai

• Lihat Dokumentasi ARTKIT untuk Panduan Pengguna, Contoh, Referensi API, dan lainnya.
• Lihat Berkontribusi atau kunjungi Panduan Kontributor kami untuk informasi tentang berkontribusi.
• Kami memiliki FAQ untuk pertanyaan umum. Untuk hal lain, silakan hubungi [email protected].

Perkenalan

ARTKIT adalah kerangka kerja Python untuk mengembangkan jalur pengujian dan evaluasi end-to-end otomatis untuk aplikasi Gen AI. Dengan memanfaatkan model Gen AI yang fleksibel untuk mengotomatiskan langkah-langkah penting dalam proses pengujian dan evaluasi, pipeline ARTKIT siap diadaptasi untuk memenuhi kebutuhan pengujian dan evaluasi berbagai sistem Gen AI.

ARTKIT juga mendukung percakapan multi-putaran otomatis antara bot penantang dan sistem target. Masalah dan kerentanan lebih mungkin muncul setelah interaksi yang lama dengan sistem Gen AI, sehingga pengujian multi-turn sangat penting untuk aplikasi interaktif.

Kami merekomendasikan untuk memulai dengan Panduan Pengguna kami untuk mempelajari konsep inti dan fungsi ARTKIT. Kunjungi Contoh kami untuk melihat bagaimana ARTKIT dapat digunakan untuk menguji dan mengevaluasi sistem Gen AI untuk:

1. Akurasi Tanya Jawab:

   • Hasilkan kumpulan data emas Tanya Jawab dari dokumen kebenaran dasar, tambahkan pertanyaan untuk menyimulasikan variasi masukan pengguna, dan evaluasi respons sistem untuk mengetahui kebenaran, kelengkapan, dan relevansinya.

2. Menjunjung Nilai Merek:

   • Terapkan pengujian berbasis persona untuk menyimulasikan beragam pengguna yang berinteraksi dengan sistem Anda dan mengevaluasi respons sistem untuk kesesuaian merek.

3. Kesetaraan:

   • Jalankan eksperimen kontrafaktual dengan memodifikasi indikator demografi secara sistematis di seluruh kumpulan dokumen dan mengevaluasi respons sistem secara statistik untuk mendeteksi adanya bias demografi yang tidak diinginkan.

4. Keamanan:

   • Gunakan augmentasi adversarial prompt untuk memperkuat adversarial prompt yang diambil dari perpustakaan prompt dan evaluasi respons sistem terhadap penolakan untuk terlibat dengan masukan yang bersifat adversarial.

5. Keamanan:

   • Gunakan penyerang multi-turn untuk menjalankan strategi multi-turn untuk mengekstraksi perintah sistem dari chatbot, menantang pertahanan sistem terhadap eksfiltrasi cepat.

Ini hanyalah beberapa contoh dari banyak cara ARTKIT dapat digunakan untuk menguji dan mengevaluasi sistem Gen AI dalam hal kemahiran, kesetaraan, keselamatan, dan keamanan.

Fitur Utama

Keunggulan ARTKIT adalah memungkinkan Anda melakukan banyak hal dengan sedikit: Beberapa fungsi dan kelas sederhana mendukung pengembangan pipeline yang cepat, fleksibel, dan sesuai tujuan untuk menguji dan mengevaluasi sistem Gen AI Anda. Fitur utama meliputi:

• API Sederhana: ARTKIT menyediakan serangkaian kecil fungsi sederhana namun kuat yang mendukung pipeline yang disesuaikan untuk menguji dan mengevaluasi hampir semua sistem Gen AI.
• Asynchronous: Memanfaatkan pemrosesan asynchronous untuk mempercepat proses yang sangat bergantung pada panggilan API.
• Caching: Kelola biaya pengembangan dengan menyimpan respons API dalam cache untuk mengurangi jumlah panggilan ke layanan eksternal.
• Model Agnostic: ARTKIT mendukung koneksi ke penyedia model Gen AI utama dan memungkinkan pengguna mengembangkan kelas model baru untuk terhubung ke layanan Gen AI apa pun.
• Pipeline End-to-End: Membangun alur end-to-end untuk menghasilkan perintah pengujian, berinteraksi dengan sistem target (yaitu, sistem yang sedang diuji), melakukan evaluasi kuantitatif, dan menyusun hasil untuk pelaporan.
• Percakapan Multi-Putaran: Buat dialog interaktif otomatis antara sistem target dan persona LLM yang diprogram untuk berinteraksi dengan sistem target dalam mencapai tujuan tertentu.
• Aliran Data yang Kuat: Secara otomatis melacak aliran data melalui jalur pengujian dan evaluasi, memfasilitasi penelusuran penuh dari silsilah data dalam hasilnya.
• Visualisasi: Menghasilkan diagram alur untuk memvisualisasikan struktur pipa dan memverifikasi aliran data melalui sistem.

Catatan

ARTKIT dirancang untuk disesuaikan oleh ilmuwan dan insinyur data guna meningkatkan pengujian dan evaluasi yang dilakukan secara langsung oleh manusia. Kami sengaja tidak memberikan solusi "tombol tekan" karena pengalaman telah mengajarkan kami bahwa pengujian dan evaluasi yang efektif harus disesuaikan dengan setiap kasus penggunaan Gen AI. Otomatisasi adalah strategi untuk meningkatkan dan mempercepat pengujian dan evaluasi, bukan pengganti pemetaan lanskap risiko spesifik kasus, keahlian domain, dan pemikiran kritis.

Penyedia Model yang Didukung

ARTKIT menyediakan dukungan siap pakai untuk penyedia model berikut:

• Antropis
• Batuan Dasar AWS
• Gemini dan Vertex AI dari Google
• Grok
• Memeluk Wajah
• OpenAI

Untuk terhubung ke layanan lain, pengguna dapat mengembangkan kelas model baru.

Instalasi

ARTKIT mendukung instalasi PyPI dan Conda. Kami merekomendasikan menginstal ARTKIT di lingkungan virtual khusus.

pip

MacOS dan Linux:

 python -m venv artkit
sumber artkit/bin/aktifkan
pip instal artkit

jendela:

 python -m venv artkit
artkitScriptsactivate.bat
pip instal artkit

Konda

 conda install -c conda-forge artkit

Ketergantungan opsional

Untuk mengaktifkan visualisasi diagram alur pipa, instal GraphViz dan pastikan itu ada dalam variabel PATH sistem Anda:

• Untuk pengguna MacOS dan Linux, instruksi yang diberikan pada Unduhan GraphViz secara otomatis menambahkan GraphViz ke jalur Anda.
• Pengguna Windows mungkin perlu menambahkan GraphViz secara manual ke PATH Anda (lihat prosedur instalasi Windows yang disederhanakan).
• Jalankan dot -V di Terminal atau Command Prompt untuk memverifikasi instalasi.

Variabel lingkungan

Sebagian besar pengguna ARTKIT perlu mengakses layanan dari penyedia model eksternal seperti OpenAI atau Hugging Face.

Pendekatan yang kami rekomendasikan adalah:

1. Instal python-dotenv menggunakan pip :

 pip instal python-dotenv

atau conda :

 conda install -c conda-forge python-dotenv

2. Buat file bernama .env di root proyek Anda.
3. Tambahkan .env ke .gitignore Anda untuk memastikannya tidak dikomit ke repo Git Anda.
4. Tentukan variabel lingkungan di dalam .env , misalnya, API_KEY=your_api_key
5. Di skrip atau buku catatan Python Anda, muat variabel lingkungan dengan:

 from dotenv import load_dotenv
load_dotenv ()

# Verify that the environment variable is loaded
import os
os . getenv ( 'YOUR_API_KEY' )

Repositori ARTKIT menyertakan file contoh bernama .env_example di root proyek yang menyediakan templat untuk menentukan variabel lingkungan, termasuk kredensial placeholder untuk API yang didukung.

Untuk mendorong penyimpanan kredensial yang aman, kelas model ARTKIT tidak menerima kredensial API secara langsung, namun memerlukan variabel lingkungan untuk ditentukan. Misalnya, jika kunci API OpenAI Anda disimpan dalam variabel lingkungan bernama OPENAI_API_KEY , Anda dapat menginisialisasi kelas model OpenAI seperti ini:

 import artkit . api as ak

ak . OpenAIChat (
    model_id = "gpt-4o" ,
    api_key_env = "OPENAI_API_KEY"
    )

Variabel api_key_env menerima nama variabel lingkungan sebagai string alih-alih langsung menerima kunci API sebagai parameter, sehingga mengurangi risiko paparan kunci API yang tidak disengaja dalam repositori kode karena kunci tidak disimpan sebagai objek Python yang dapat dicetak .

Mulai Cepat

Fungsi inti ARTKIT adalah:

1. run : Jalankan satu atau beberapa langkah alur
2. step : Sebuah langkah pipeline yang menghasilkan kamus atau kamus yang dapat diubah
3. chain : Serangkaian langkah yang berjalan secara berurutan
4. parallel : Serangkaian langkah yang berjalan secara paralel

Di bawah ini, kami mengembangkan contoh pipeline sederhana dengan langkah-langkah berikut:

1. Susun ulang perintah masukan untuk mendapatkan nada tertentu, baik "sopan" atau "sarkastik"
2. Kirimkan perintah yang diulang-ulang ke chatbot bernama AskChad yang diprogram untuk mencerminkan nada suara pengguna
3. Evaluasi tanggapan berdasarkan metrik "sarkasme".

Untuk memulai, impor artkit.api dan siapkan sesi dengan model OpenAI GPT-4o. Kode di bawah ini mengasumsikan Anda memiliki kunci API OpenAI yang disimpan dalam variabel lingkungan bernama OPENAI_API_KEY dan Anda ingin menyimpan respons dalam cache dalam database bernama cache/chat_llm.db .

 import artkit . api as ak

# Set up a chat system with the OpenAI GPT-4o model
chat_llm = ak . CachedChatModel (
    model = ak . OpenAIChat ( model_id = "gpt-4o" ),
    database = "cache/chat_llm.db"
)

Selanjutnya tentukan beberapa fungsi yang akan digunakan sebagai langkah pipeline. ARTKIT dirancang untuk bekerja dengan generator asinkron untuk memungkinkan pemrosesan asinkron, sehingga fungsi di bawah ini didefinisikan dengan kata kunci async , await , dan yield .

 # A function that rephrases input prompts to have a specified tone
async def rephrase_tone ( prompt : str , tone : str , llm : ak . ChatModel ):

    response = await llm . get_response (
        message = (
            f"Your job is to rephrase in input question to have a { tone } tone. n "
            f"This is the question you must rephrase: n { prompt } "
        )
    )

    yield { "prompt" : response [ 0 ], "tone" : tone }


# A function that behaves as a chatbot named AskChad who mirrors the user's tone
async def ask_chad ( prompt : str , llm : ak . ChatModel ):

    response = await llm . get_response (
        message = (
            "You are AskChad, a chatbot that mirrors the user's tone. "
            "For example, if the user is rude, you are rude. "
            "Your responses contain no more than 10 words. n "
            f"Respond to this user input: n { prompt } "
        )
    )

    yield { "response" : response [ 0 ]}


# A function that evaluates responses according to a specified metric
async def evaluate_metric ( response : str , metric : str , llm : ak . ChatModel ):

    score = await llm . get_response (
        message = (
            f"Your job is to evaluate prompts according to whether they are { metric } . "
            f"If the input prompt is { metric } , return 1, otherwise return 0. n "
            f"Please evaluate the following prompt: n { response } "
        )
    )

    yield { "evaluation_metric" : metric , "score" : int ( score [ 0 ])}

Selanjutnya, tentukan alur yang menyusun ulang perintah masukan menurut dua nada berbeda (sopan dan sarkastik), mengirimkan perintah yang disusun ulang ke AskChad, dan terakhir mengevaluasi respons untuk sarkasme.

 pipeline = (
    ak . chain (
        ak . parallel (
            ak . step ( "tone_rephraser" , rephrase_tone , tone = "POLITE" , llm = chat_llm ),
            ak . step ( "tone_rephraser" , rephrase_tone , tone = "SARCASTIC" , llm = chat_llm ),
        ),
        ak . step ( "ask_chad" , ask_chad , llm = chat_llm ),
        ak . step ( "evaluation" , evaluate_metric , metric = "SARCASTIC" , llm = chat_llm )
    )
)

pipeline . draw ()

Terakhir, jalankan alur dengan perintah input dan tampilkan hasilnya dalam tabel.

 # Input to run through the pipeline
prompt = { "prompt" : "What is a fun activity to do in Boston?" }

# Run pipeline
result = ak . run ( steps = pipeline , input = prompt )

# Convert results dictionary into a multi-column dataframe
result . to_frame ()

Dari kiri ke kanan, tabel hasil menunjukkan:

1. input : Perintah masukan asli
2. tone_rephraser : Perintah yang diutarakan ulang, yang menyusun ulang perintah asli untuk mendapatkan nada yang ditentukan
3. ask_chad : Respons dari AskChad, yang mencerminkan nada suara pengguna
4. evaluation : Skor evaluasi untuk metrik SARCASTIC, yang menandai respons sarkastik dengan angka 1

Untuk pengenalan lengkap tentang ARTKIT, silakan kunjungi Panduan Pengguna dan Contoh kami.

Berkontribusi

Kontribusi pada ARTKIT diterima dan dihargai! Silakan lihat bagian Panduan Kontributor untuk informasi.

Lisensi

Proyek ini dilisensikan di bawah Apache 2.0, memungkinkan penggunaan, modifikasi, dan distribusi gratis dengan perlindungan tambahan terhadap litigasi paten. Lihat file LISENSI untuk detail lebih lanjut atau kunjungi Apache 2.0.

BCG X

BCG X adalah unit pembangunan dan desain teknologi dari Boston Consulting Group.

Kami selalu mencari ilmuwan data dan insinyur perangkat lunak berbakat untuk bergabung dengan tim kami! Kunjungi Karir BCG X untuk mempelajari lebih lanjut.