YiVal

2.2 Clon el repositorio

git clone https://github.com/YiVal/YiVal.git
cd YiVal

Configuración con poesía : inicialice el entorno virtual de Python e instale dependencias utilizando poesía. Asegúrese de ejecutar el siguiente directorio CMD In /YiVal :

poetry install --sync

Probar Yival

Después de configurar, puede comenzar rápidamente con Yival generando conjuntos de datos de nombres comerciales de inicio de tecnología aleatoria.

Pasos para ejecutar su primer programa de Yival

1. Navegue al directorio de Yival :

    cd /YiVal/src/yival

2. Establezca la tecla API de OpenAI : reemplace $YOUR_OPENAI_API_KEY con su tecla API OpenAI real.

   En sistemas macOS o Linux,

    export OPENAI_API_KEY= $YOUR_OPENAI_API_KEY

   En los sistemas de Windows,

   setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY

3. Define la configuración de Yival : cree un archivo de configuración llamado config_data_generation.yml para la generación de conjuntos de datos de prueba automatizados con el siguiente contenido:

    description : Generate test data
   dataset :
     data_generators :
       openai_prompt_data_generator :
         chunk_size : 100000
         diversify : true
         model_name : gpt-4
         input_function :
           description : # Description of the function
             Given a tech startup business, generate a corresponding landing
             page headline
           name : headline_generation_for_business
           parameters :
             tech_startup_business : str # Parameter name and type
         number_of_examples : 3
         output_csv_path : generated_examples.csv
     source_type : machine_generated

4. Ejecutar Yival : ejecute el siguiente comando desde el directorio /YiVal/src/yival :

   yival run config_data_generation.yml

5. Verifique el conjunto de datos generado : el conjunto de datos de prueba generado se almacenará en generated_examples.csv .

¡Consulte la página de Yival Docs para obtener más detalles sobre Yival!

Manifestación

Traducción.bot.mp4

Demo del caso de uso	Características compatibles	Enlace Github	Enlace de demostración de video
? Crea tu historia de IA con Chatgpt y MidJourney	Soporte multimodal : diseñe una narrativa con AI utilizando el soporte multimodal de texto e imágenes simultáneas de Yival. Apoya el aprendizaje de refuerzo nativo y sin problemas de la retroalimentación humana (RLHF) y el aprendizaje de refuerzo de la retroalimentación de IA (RLAIF). Mire el video de arriba para este caso de uso.
? Evaluar el rendimiento de múltiples LLM con su propio conjunto de datos de prueba de preguntas y respuestas	Evalúe y compare convenientemente el rendimiento de su modelo de elección contra más de 100 modelos, gracias a Litellm. Analice los puntos de referencia de rendimiento del modelo adaptados a sus datos de prueba o caso de uso personalizados .
Bot de generación de titulares de la empresa de inicio	Aligue la generación de titulares para su inicio con la creación de datos de prueba automatizada, la elaboración de información, evaluación de resultados y mejora del rendimiento a través de GPT-4.
? Construir una guía de viaje personalizada bot bot	Aproveche las indicaciones automatizadas inspiradas en las sugerencias más populares de la comunidad de viajes, como las de Awesome-CHATGPT-ProMPTS.
Construya un traductor más barato: use GPT-3.5 para enseñar LLAMA2 para crear un traductor con menor costo de inferencia	Usando datos de prueba de Replicate y GPT-3.5, puede ajustar el bot de traducción de Llama2. Beneficiarse de los ahorros de 18x mientras experimenta solo una disminución del rendimiento del 6%.
? ️ Chatear con tus personajes favoritos - Dantan Ji de hasta el final de la luna	Da vida a tus personajes favoritos a través de la creación automatizada y la recuperación de guiones de personajes .
Evaluar el rendimiento de GuardRails en la generación de salidas de Python (.py)	Guardarrails: ¿Dónde están mis barandillas? ? <br> Yival: Estoy aquí. ️ <br><br> El experimento de evaluación integrado se lleva a cabo con 80 problemas de CSV en CSV, usando GuardRail y usando solo GPT-4. La precisión cae de 0.625 a 0.55 con barandilla, la latencia aumenta en un 44%y el costo aumenta en un 140%. Guardrail todavía tiene un largo camino por recorrer de demostración a producción.
¿Visualizar diferentes alimentos en todo el mundo?	¡Simplemente dé el lugar donde pertenece la comida y la mejor temporada para probarlo, y puede obtener un video de la comida específica de la temporada?
? Resumen del artículo de noticias con bacalao	Al integrar el método de "cadena de densidad", evalúe la capacidad del potenciador en el resumen del texto. Usando 3 puntos de artículos generados por GPT-4 para la evaluación, la puntuación coherente aumentó en un 20.03% , ¡la puntuación atributiva aumentó en un 25.18%! , el uso promedio de tokens de 2054.6 -> 1473.4 (-28.3%) .
? Bot de generación de títulos de Tiktok automatizado	Con solo dos líneas de entrada, puede crear fácilmente títulos de video de Tiktok concisos y pulidos basados ​​en su público objetivo deseado y resúmenes de contenido de video. Esto es presentado por nuestra función Auto-Prompt : el proceso está automatizado, por lo que puede ingresar sus requisitos y disfrutar de los resultados sin problemas.

Pautas de contribución

Si desea contribuir a Yival, asegúrese de revisar las pautas de contribución. Utilizamos problemas de GitHub para rastrear solicitudes y errores. Únase al canal Discord de Yival para preguntas generales y discusión. ¡Únase a nuestra comunidad colaborativa, donde su experiencia única como investigadores e ingenieros de software es muy valorada! Contribuir a nuestro proyecto y ser parte de un espacio innovador donde cada línea de código e investigación de información alimenta activamente los avances en tecnología, fomentando un futuro que está de manera inteligente y accesible universalmente.

Colaboradores

? ¡Yival da la bienvenida a sus contribuciones! ?

? ¿Muchas gracias a todos nuestros increíbles contribuyentes?

Implementación de papel / algoritmo

Papel	Autor	Temas	Colaborador de Yival	Generador de datos	Generador de variaciones	Evaluador	Selector	Potenciador	Configuración
Los modelos de idiomas grandes son ingenieros de inmediato a nivel humano	Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han	Yival Evolver, Prompting automático		OpenAipromptDatagenerator	OpenAiprompptVariationGenerator	OpenAiprompptEvaluator, OpenAielovaluator	Ahpelector	OpenAipromptBasedCombinationenHancer	configuración
Bertscore: Evaluación de la generación de texto con Bert	Tianyi Zhang, Varsha Kishore, Felix Wu	Evaluador de Yival, Bertscore, Rouge	@CrazyCth	-	-	Bertscoreevaluator	-	-	-
Alpacaeval	Xuechen Li, Tianyi Zhang, Yann Dubois et. Alabama	Evaluador de Yival		-	-	Alpacaevalevaluator	-	-	configuración
Cadena de densidad	Griffin Adams Alexander R. Fabbri et. Alabama	Ingeniería rápida		-	Grayofdensitygenerator	-	-	-	configuración
Modelos de idiomas grandes como optimizadores	Chengrun Yang Xuezhi Wang et. Alabama	Ingeniería rápida	@CrazyCth	-	-	-	-	optimize_by_promppt_enhancer	configuración
Lora: adaptación de bajo rango de modelos de idiomas grandes	Edward J. Hu Yelong Shen et. Alabama	LLM Finetune	@CrazyCth	-	-	-	-	sft_trainer	configuración