YiVal

2.2 Klon das Repository

git clone https://github.com/YiVal/YiVal.git
cd YiVal

Einrichten mit Poesie : Initialisieren Sie die virtuelle Python -Umgebung und installieren Sie Abhängigkeiten mithilfe von Poesie. Stellen Sie sicher, dass Sie das unten stehende CMD in /YiVal -Verzeichnis ausführen:

poetry install --sync

Jival ausprobieren

Nach dem Einrichten können Sie schnell mit Yival beginnen, indem Sie Datensätze mit zufälligen Tech -Startup -Geschäftsnamen generieren.

Schritte, um Ihr erstes Yival -Programm auszuführen

1. Navigieren Sie zum Yival -Verzeichnis :

    cd /YiVal/src/yival

2. Setzen Sie die OpenAI -API -Schlüssel : Ersetzen Sie $YOUR_OPENAI_API_KEY durch Ihre tatsächliche OpenAI -API -Schlüssel.

   Auf macOS- oder Linux -Systemen,

    export OPENAI_API_KEY= $YOUR_OPENAI_API_KEY

   Unter Windows -Systemen,

   setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY

3. Definieren Sie die Yival -Konfiguration : Erstellen Sie eine Konfigurationsdatei mit dem Namen config_data_generation.yml für die automatisierte Testdatensatzgenerierung mit dem folgenden Inhalt:

    description : Generate test data
   dataset :
     data_generators :
       openai_prompt_data_generator :
         chunk_size : 100000
         diversify : true
         model_name : gpt-4
         input_function :
           description : # Description of the function
             Given a tech startup business, generate a corresponding landing
             page headline
           name : headline_generation_for_business
           parameters :
             tech_startup_business : str # Parameter name and type
         number_of_examples : 3
         output_csv_path : generated_examples.csv
     source_type : machine_generated

4. Führen Sie Yival aus : Führen Sie den folgenden Befehl aus dem Verzeichnis /YiVal/src/yival aus:

   yival run config_data_generation.yml

5. Überprüfen Sie den generierten Datensatz : Der generierte Testdatensatz wird in generated_examples.csv gespeichert.

Weitere Informationen zu Yival finden Sie auf der Seite "Yival Docs"!

Demo

Translation.bot.mp4

Anwendungsfall -Demo	Unterstützte Funktionen	Github Link	Video Demo Link
? Erstellen Sie Ihre KI -Geschichte mit Chatgpt und Midjourney	Multimodalunterstützung : Entwerfen Sie eine KI-angetriebene Erzählung mit Yivas multimodaler Unterstützung gleichzeitigem Text und Bildern. Es unterstützt ein natives und nahtloses Verstärkungslernen aus dem menschlichen Feedback (RLHF) und des Verstärkungslernens aus AI -Feedback (RLAIF). Bitte sehen Sie sich das Video oben für diesen Anwendungsfall an.
? Bewerten Sie die Leistung mehrerer LLMs mit Ihrem eigenen Q & A -Test -Datensatz	Bewerten und vergleichen Sie die Leistung Ihres Wahlmodells dank Litellm. Analysieren Sie die Modellleistung Benchmarks, die auf Ihre benutzerdefinierten Testdaten oder Anwendungsfälle zugeschnitten sind.
Startup Company Headline Generation Bot	Stromlinienerzeugung von Überschriften für Ihr Start mit automatisierten Testdatenerstellung , sofortiger Handwerk , Ergebnisbewertung und Leistungsverbesserung über GPT-4.
? Erstellen Sie einen maßgeschneiderten Reiseführer Bot	Nutzen Sie automatisierte Eingaben, die von den beliebtesten Vorschlägen der Reisegemeinschaft inspiriert sind, wie beispielsweise von Awesome-Chatgpt-Prompts.
Erstellen Sie einen billigeren Übersetzer: Verwenden Sie GPT-3.5, um LLAMA2 zu unterrichten, um einen Übersetzer mit niedrigeren Inferenzkosten zu erstellen	Mit den Testdaten von Replicate und GPT-3.5 können Sie den Übersetzungsbot von LLAMA2 feinen . Profitieren von 18 -fachen Einsparungen und verzeichneten nur eine Leistung von 6%.
? ️ chatten Sie mit Ihren Lieblingsfiguren - Dantan ji von bis zum Ende des Mondes	Erwecken Sie Ihre Lieblingscharaktere durch automatisierte schnelle Erstellung und Charakter -Skript -Abruf zum Leben.
? Bewerten Sie die Leistung von GuardRails bei der Erzeugung von Python (.py) -Angängen	Leitplanken: Wo sind meine Leitplanken? ? <br> Yival: Ich bin hier. Euen <br><br> Das integrierte Evaluierungsexperiment wird mit 80 Leetcode-Problemen in CSV unter Verwendung von Leitplanken und nur GPT-4 durchgeführt. Die Genauigkeit sinkt von 0,625 auf 0,55 mit Leitplanken, die Latenz steigt um 44%und die Kostensteigerungen um 140%. Leitplanken hat noch einen langen Weg vor sich, von Demo zur Produktion.
? Visualisieren Sie verschiedene Lebensmittel auf der ganzen Welt!?	Geben Sie einfach den Ort, an dem das Essen gehört und die beste Jahreszeit, um es zu probieren, und Sie können ein Video des saisonspezifischen Essens erhalten!?
"Nachrichtenartikel Zusammenfassung mit Kabeljau	Bewerten Sie durch die Integration der "Kette der Dichte" -Methode die Fähigkeit des Enhancer in der Textübersicht. Unter Verwendung von 3 Artikeln, die von GPT-4 für die Bewertung erzeugt wurden, stieg der kohärente Score um 20,03% , der Attributive Score stieg um 25,18%! , die durchschnittliche Token -Nutzung von 2054,6 -> 1473,4 (-28,3%) .
? Automatisierter Tiktok Titelgenerierung Bot	Mit nur zwei Eingangszeilen können Sie problemlos präzise und polierte Tiktok -Video -Titel erstellen, die auf den gewünschten Zielgruppen- und Videoinhaltenszusammenfassungen basieren. Dies wird von unserer automatischen Funktionsfunktion dargestellt: Der Prozess ist automatisiert, sodass Sie Ihre Anforderungen eingeben und die Ergebnisse problemlos genießen können!

Beitragsrichtlinien

Wenn Sie zum Yival beitragen möchten, überprüfen Sie unbedingt die Beitragsrichtlinien. Wir verwenden GitHub -Probleme für die Verfolgung von Anforderungen und Fehler. Bitte schließen Sie sich Yivals Discord -Kanal für allgemeine Fragen und Diskussionen bei. Treten Sie unserer kollaborativen Community bei, in der Ihr einzigartiges Fachwissen als Forscher und Software -Ingenieure hoch geschätzt wird! Tragen Sie zu unserem Projekt bei und seien Sie Teil eines innovativen Raums, in dem jede Zeile von Code und Forschungserkenntnissen aktiv Fortschritte in der Technologie an Kraftbeanspruchung treibt und eine Zukunft fördert, die intelligent miteinander verbunden und universell zugänglich ist.

Mitwirkende

? Yival begrüßt Ihre Beiträge! ?

? Vielen Dank an alle unsere erstaunlichen Mitwirkenden?

Papier- / Algorithmus -Implementierung

Papier	Autor	Themen	Yiva -Mitarbeiter	Datengenerator	Variationsgenerator	Bewerter	Wähler	Enhancer	Konfiguration
Große Sprachmodelle sind sofortige Ingenieure auf menschlicher Ebene	Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han	Yival Evolver, Auto-Förderung		OpenaipromptDatagenerator	Openaipromptvariationgenerator	Openaipromptevaluator, openaieloevaluator	Ahpselector	OpenaipromptbasedCombinationNeHancer	Konfiguration
Bertscore: Bewertung der Textgenerierung mit Bert	Tianyi Zhang, Varsha Kishore, Felix Wu	Yival Evaluator, Bertscore, Rouge	@crazycth	- -	- -	Bertscorevaluator	- -	- -	- -
Alpakaeval	Xuechen Li, Tianyi Zhang, Yann Dubois et. al	Yival Evaluator		- -	- -	Alpacaevalevaluator	- -	- -	Konfiguration
Dichtekette	Griffin Adams Alexander R. Fabbri et. al	Schnelltechnik		- -	ChainofdensityGenerator	- -	- -	- -	Konfiguration
Großsprachenmodelle als Optimierer	Chengrun Yang Xuezhi Wang et. al	Schnelltechnik	@crazycth	- -	- -	- -	- -	optimize_by_prompt_enhancer	Konfiguration
LORA: Niedrige Anpassung von Großsprachmodellen	Edward J. Hu Yelong Shen et. al	LLM Finetune	@crazycth	- -	- -	- -	- -	sft_trainer	Konfiguration