evolveRL

Evolverl: Pembelajaran Penguatan Evolusi untuk LLMS

Memberdayakan agen AI yang benar -benar otonom melalui pembelajaran penguatan evolusioner evolusioner

Tautan

• Situs web

• Whitepaper

• Techpaper

• Dokumen

• Telegram

• Twitter/x

Daftar isi

• Ringkasan

• Fitur

• Memulai

• Instalasi

• Komponen

• Loop evolusioner

• Walkthrough terperinci

• Lisensi

• Berkontribusi

• Kutipan

Ringkasan

Evolverl adalah kerangka kerja inovatif yang memungkinkan agen AI untuk meningkatkan diri melalui mekanisme evolusi dan permusuhan. Tidak seperti pendekatan tradisional yang sangat bergantung pada rekayasa cepat manual, Evolverl memungkinkan agen untuk secara sistematis menghasilkan, menguji, dan memperbaiki petunjuk dan konfigurasi mereka sendiri, menjembatani kesenjangan antara otonomi teoritis dan kemandirian aktual.

Tantangannya

Dalam ekonomi agen AI yang muncul, banyak yang membayangkan masa depan di mana agen berjalan secara mandiri dengan pengawasan manusia minimal. Namun, jika manusia harus terus -menerus memperbarui petunjuk AI untuk menangani tugas -tugas baru atau kasus tepi, agen tidak benar -benar berdaulat. Evolverl memecahkan ini dengan memungkinkan peningkatan diri yang berkelanjutan melalui:

1. Evolusi Otonom : Agen mendeteksi kesenjangan dan memperbarui petunjuknya sendiri

2. Pengujian permusuhan : validasi yang kuat terhadap skenario yang menantang

3. Pilihan Berbasis Kinerja : Muncul Konfigurasi Optimal

4. Adaptasi Berkelanjutan : Respon waktu nyata terhadap kondisi yang berubah

Fitur

• Optimalisasi Evolusi : Evolve Prompt dan Perilaku Menggunakan Algoritma Genetika

• Domain Agnostik : Spesialisasi untuk domain apa pun

• Evaluasi Kuat : Penilaian dan Evaluasi Komprehensif

• Pengujian permusuhan : menghasilkan skenario yang menantang untuk memastikan ketahanan

• Manajemen Negara : Simpan dan memuat model yang berkembang dan negara bagian mereka

• Dukungan Model Ganda : Gunakan Openai's GPT atau Claude Anthropic, atau Run Llama secara lokal (segera hadir)

• Loop Perbaikan Diri : Evolusi Berkelanjutan Tanpa Intervensi Manusia

Instalasi

 # InstallationPIP BASIC Instal Evolverl# Instal dengan semua dependenciesPIP Instal Evolverl [Semua]

Awal yang cepat

 dari evolverl.evolution Impor Evolution, evolutionConfig dari evolverl.llm impor llmconfig dari evolverl.Agent Import Agent, AgentConfig # Configure llm backendllm_config = llmconfig (model_name = "GPT-4", model_type = "OpenAi", # orAi "," model_name = "GPT-4", Model_Type = "OpenAi", "orAi", MODOAI ", MODERAI," Model_name = "Model_name =" Model_name = -Api-key " # atau antropic_api_key for claude) # create agent dengan sistem promptagent_config = agenconfig (llm_config = llm_config) agen = agen (agen_config) agen.set_default_prompt (" " Masalah kompleks langkah demi langkah dan menunjukkan pekerjaan Anda dengan jelas. "" ")# Mengkonfigurasi Evolution ProcessConfig = EvolutionConfig (Population_Size = 5, Generasi = 10, Mutation_RATE = 0,1, Crossover_RATE = 0,8, output_dir =" Agents ")# Buat evolusi EVOLTEVOLUSI = Evolusi = Evolusi = 0,8 (config, experiment_id = "Math_solver")# Jalankan Evolution ProcessAwait Evolution.evolve (domain = "Mathematics", description = "Selesaikan masalah matematika yang kompleks dengan penjelasan terperinci")

Penggunaan agen langsung

Anda juga dapat menggunakan agen secara langsung tanpa evolusi:

 # Buat dan konfigurasi agenAgent = agen (agentConfig (llm_config = llm_config)) agent.set_default_prompt ("Anda adalah asisten ai yang membantu ...")# kirim pesan respons = Await agen.send_message ("Apa 2+2?") (tanggapan)

Penggunaan CLI

train_agent.py adalah satu file CLI yang menjalankan proses evolusi. Pastikan untuk memperbarui file konfigurasi default_config.json terlebih dahulu, serta menjaga kunci API openai atau antropik Anda sebagai variabel lingkungan atau di .env .

 # Penggunaan Dasar dengan Openaipython Train_agent.py - -Domain Math --Description "Solve Math Project" -V# Gunakan Claudepython Train_agent.py -Provider Anthropic -Domain Math -Pecahkan Masalah Matematika "# Load Domain dari Filepython train_agent.py--domain-file domain/math_solver.json# direktori output kustom train_agent.py --domain math --description "..."-output-dir ./my_agents# meningkatkan verbositas (hingga -vvvvv) python train_agent.py --Domain Math --Description "..." -VVV

Contoh domain saat ini dalam bahasa alami. Anda dapat menambahkan lebih banyak detail saat membangun kasus penggunaan Anda sendiri. Selain itu, Anda dapat memasukkan contoh apa pun yang Anda yakini penting untuk diketahui oleh agen.

Struktur output

agents/
├── {experiment_id}_gen0.json           # Best agent from generation 0
├── {experiment_id}_gen0_full.json      # All variants and scores from generation 0
├── {experiment_id}_gen1.json           # Best agent from generation 1
├── {experiment_id}_gen1_full.json      # All variants and scores from generation 1
└── {experiment_id}_best.json           # Best agent overall

Individu .json (bukan *_full.json ) berisi AgentConfig untuk agen terbaik dari generasi atau keseluruhan. Anda dapat memulai agen langsung dari file AgentConfig dengan menelepon agent.load_config(PATH_TO_CONFIG_FILE) . Pastikan untuk memperbarui kunci API karena tidak akan disimpan dalam file AgentConfig .

Format output pembuatan

 {"Population_size": 5, "Generasi": 10, "Mutation_rate": 0.1, "Crossover_rate": 0.8, "Min_Score_Threshold": 0.7, "Tournament_Size": 2, "Max_interaction_attempts": 5, "output_dir": "agents" " , "llm_config": {"model_name": "gpt-4o-mini", "model_type": "openai", "max_tokens": 500, "suhu": 0.7}
}

Struktur output

agents/
├── {experiment_id}_gen0.json           # Best agent from generation 0
├── {experiment_id}_gen0_full.json      # All variants from generation 0
├── {experiment_id}_gen1.json           # Best agent from generation 1
├── {experiment_id}_gen1_full.json      # All variants from generation 1
└── {experiment_id}_best.json           # Best agent overall

Pelacakan kemajuan

Proses evolusi menunjukkan kemajuan real-time dengan bilah kemajuan bersarang:

Generation 2/10: 100%|██████████| 6/6 [00:15<00:00, best_score=0875, avg_score=0834]
Overall Progress:  15%|██        | 12/80 [00:30<02:45, generation=2/10, best_overall=0875]

Ini mungkin memakan waktu beberapa saat tergantung pada jumlah generasi dan ukuran populasi per generasi.

Lisensi

Lisensi MIT - Lihat file lisensi untuk detailnya

Berkontribusi

1. Garpu repositori

2. Buat Cabang Fitur

3. Melakukan perubahan Anda

4. Dorong ke cabang

5. Buat Permintaan Tarik

Kutipan

 @software {evolverl2024, title = {evolverl: evolutionary penguatan pembelajaran untuk llms}, penulis = {theHandsomedev}, tahun = {2025}, url = {https://www.evolverl.com/}}}