YiVal

2.2 Klon Repositori

git clone https://github.com/YiVal/YiVal.git
cd YiVal

Pengaturan dengan puisi : Inisialisasi lingkungan virtual Python dan instal ketergantungan menggunakan puisi. Pastikan untuk menjalankan direktori CMD In /YiVal di bawah ini:

poetry install --sync

Mencoba Yival

Setelah menyiapkan, Anda dapat dengan cepat memulai dengan Yival dengan menghasilkan set data nama bisnis startup teknologi acak.

Langkah untuk menjalankan program yival pertama Anda

1. Arahkan ke Direktori Yival :

    cd /YiVal/src/yival

2. Atur Kunci API OpenAI : Ganti $YOUR_OPENAI_API_KEY dengan kunci API OpenAI Anda yang sebenarnya.

   Pada sistem macOS atau linux,

    export OPENAI_API_KEY= $YOUR_OPENAI_API_KEY

   Pada sistem windows,

   setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY

3. Tentukan konfigurasi yival : Buat file konfigurasi bernama config_data_generation.yml untuk pembuatan dataset uji otomatis dengan konten berikut:

    description : Generate test data
   dataset :
     data_generators :
       openai_prompt_data_generator :
         chunk_size : 100000
         diversify : true
         model_name : gpt-4
         input_function :
           description : # Description of the function
             Given a tech startup business, generate a corresponding landing
             page headline
           name : headline_generation_for_business
           parameters :
             tech_startup_business : str # Parameter name and type
         number_of_examples : 3
         output_csv_path : generated_examples.csv
     source_type : machine_generated

4. Jalankan Yival : Jalankan perintah berikut dari dalam direktori /YiVal/src/yival :

   yival run config_data_generation.yml

5. Periksa dataset yang dihasilkan : Dataset uji yang dihasilkan akan disimpan di generated_examples.csv .

Silakan merujuk ke halaman Yival Docs untuk detail lebih lanjut tentang Yival!

Demo

Translation.bot.mp4

Gunakan demo case	Fitur yang didukung	Tautan GitHub	Tautan Demo Video
? Buat kisah AI Anda dengan chatgpt dan midjourney	Dukungan multi-modal : Desain narasi bertenaga AI menggunakan dukungan multi-modal Yival untuk teks dan gambar simultan. Ini mendukung pembelajaran penguatan asli dan mulus dari umpan balik manusia (RLHF) dan pembelajaran penguatan dari umpan balik AI (RLAIF). Silakan tonton video di atas untuk kasus penggunaan ini.
? Evaluasi kinerja beberapa LLM dengan dataset tes T&J sendiri	Mengevaluasi dan membandingkan kinerja model pilihan Anda dengan mudah dengan 100+ model, berkat Litellm. Menganalisis tolok ukur kinerja model yang disesuaikan dengan data uji khusus Anda atau kasus penggunaan.
Bot Generasi Judul Perusahaan Startup	Merampingkan generasi tajuk utama untuk startup Anda dengan pembuatan data uji otomatis, kerajinan cepat, evaluasi hasil, dan peningkatan kinerja melalui GPT-4.
? Bangun bot panduan perjalanan khusus	Leverage permintaan otomatis yang terinspirasi oleh saran paling populer komunitas perjalanan, seperti yang berasal dari prompt yang mengagumkan.
Bangun penerjemah yang lebih murah: Gunakan GPT-3.5 untuk mengajar llama2 untuk membuat penerjemah dengan biaya inferensi yang lebih rendah	Menggunakan Replicate dan data uji GPT-3.5, Anda dapat menyempurnakan bot terjemahan Llama2. Manfaat dari penghematan 18x sambil mengalami hanya penurunan kinerja 6%.
? ️ mengobrol dengan karakter favorit Anda - Dantan ji dari sampai akhir bulan	Hidupkan karakter favorit Anda melalui penciptaan prompt dan pengambilan skrip karakter otomatis.
Evaluasi kinerja pagar pemberi pagar dalam menghasilkan output python (.py)	Pagar: Di mana pagar saya? ? <br> yival: Saya di sini. ️ <br><br> Eksperimen evaluasi terintegrasi dilakukan dengan 80 masalah leetcode di CSV, menggunakan pagar pembatas dan hanya menggunakan GPT-4. Akurasi turun dari 0,625 menjadi 0,55 dengan pagar pembatas, latensi meningkat sebesar 44%, dan biaya meningkat sebesar 140%. Guardrail masih memiliki jalan panjang dari demo ke produksi.
? Visualisasikan berbagai makanan di seluruh dunia!?	Cukup berikan tempat di mana makanan milik dan musim terbaik untuk mencicipinya, dan Anda bisa mendapatkan video makanan khusus musim!?
? Ringkasan artikel berita dengan cod	Dengan mengintegrasikan metode "rantai kerapatan", mengevaluasi kemampuan penambah dalam peringkasan teks.? Menggunakan 3 artikel poin yang dihasilkan oleh GPT-4 untuk evaluasi, skor koheren meningkat sebesar 20,03% , skor atributif meningkat 25,18%! , Penggunaan token rata -rata dari 2054.6 -> 1473.4 (-28,3%) .
? Bot Generasi Judul Tiktok Otomatis	Dengan hanya dua baris input, Anda dapat dengan mudah membuat judul video Tiktok yang ringkas dan dipoles berdasarkan ringkasan audiens target dan konten video yang Anda inginkan. Ini disajikan oleh fitur prompt otomatis kami: prosesnya otomatis, sehingga Anda dapat memasukkan kebutuhan Anda dan menikmati hasilnya bebas repot!

Pedoman Kontribusi

Jika Anda ingin berkontribusi pada Yival, pastikan untuk meninjau pedoman kontribusi. Kami menggunakan masalah GitHub untuk permintaan pelacakan dan bug. Silakan bergabung dengan saluran Discord Yival untuk pertanyaan dan diskusi umum. Bergabunglah dengan komunitas kolaboratif kami di mana keahlian unik Anda sebagai peneliti dan insinyur perangkat lunak sangat dihargai! Berkontribusi pada proyek kami dan menjadi bagian dari ruang inovatif di mana setiap baris kode dan wawasan penelitian secara aktif memicu kemajuan dalam teknologi, menumbuhkan masa depan yang terhubung secara cerdas dan dapat diakses secara universal.

Kontributor

? Yival menyambut kontribusi Anda! ?

? Terima kasih banyak untuk semua kontributor luar biasa kami?

Implementasi kertas / algoritma

Kertas	Pengarang	Topik	Kontributor Yival	Generator data	Generator variasi	Penilai	Pemilih	Penambah	Konfigurasi
Model bahasa besar adalah insinyur prompt tingkat manusia	Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han	Yival Evolver, prompt otomatis		OpenApromptDatagenerator	OpenApromptVariationGenerator	Openaipromptevaluator, OpenAeloevaluator	Ahpselector	OpenaipromptBasedCombinationenhancer	konfigurasi
Bertscore: Mengevaluasi Pembuatan Teks dengan Bert	Tianyi Zhang, Varsha Kishore, Felix Wu	Yival Evaluator, Bertscore, Rouge	@CrazyCth	-	-	Bertscoreevaluator	-	-	-
Alpacaeval	Xuechen Li, Tianyi Zhang, Yann Dubois et. al	Evaluator yival		-	-	Alpacaevalevaluator	-	-	konfigurasi
Rantai kepadatan	Griffin Adams Alexander R. Fabbri et. al	Teknik yang cepat		-	Rantai Rantai .Generator	-	-	-	konfigurasi
Model bahasa besar sebagai pengoptimal	Chengrun Yang Xuezhi Wang et. al	Teknik yang cepat	@CrazyCth	-	-	-	-	optimize_by_prompt_enhancer	konfigurasi
Lora: Adaptasi Rendah dari Model Bahasa Besar	Edward J. Hu Yelong Shen et. al	Llm finetune	@CrazyCth	-	-	-	-	sft_trainer	konfigurasi