YiVal
v0.1.0a10
2.2 Clone o repositório
git clone https://github.com/YiVal/YiVal.git
cd YiVal Configure com poesia : inicialize o ambiente virtual do Python e instale dependências usando poesia. Certifique -se de executar o diretório CMD abaixo do /YiVal :
poetry install --syncApós a configuração, você pode começar rapidamente com o Yival gerando conjuntos de dados de nomes de negócios de inicialização aleatória de tecnologia.
Navegue até o diretório Yival :
cd /YiVal/src/yival Defina a chave da API OpenAI : substitua $YOUR_OPENAI_API_KEY pela sua tecla API OpenAI real.
Em macos ou sistemas Linux,
export OPENAI_API_KEY= $YOUR_OPENAI_API_KEYNos sistemas Windows,
setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY Defina a configuração do Yival : Crie um arquivo de configuração chamado config_data_generation.yml para geração automatizada de conjuntos de dados de teste com o seguinte conteúdo:
description : Generate test data
dataset :
data_generators :
openai_prompt_data_generator :
chunk_size : 100000
diversify : true
model_name : gpt-4
input_function :
description : # Description of the function
Given a tech startup business, generate a corresponding landing
page headline
name : headline_generation_for_business
parameters :
tech_startup_business : str # Parameter name and type
number_of_examples : 3
output_csv_path : generated_examples.csv
source_type : machine_generated Execute Yival : Execute o seguinte comando de dentro do diretório /YiVal/src/yival :
yival run config_data_generation.yml Verifique o conjunto de dados gerado : o conjunto de dados de teste gerado será armazenado em generated_examples.csv .
Por favor, consulte a página do Yival Docs para obter mais detalhes sobre Yival!
| Use a demonstração do caso | Recursos suportados | Link do github | Link de demonstração em vídeo |
|---|---|---|---|
| ? Crie sua história de IA com chatgpt e midjourney | Suporte multimodal : projete uma narrativa movida a IA usando o suporte multimodal de Yival de texto e imagens simultâneos. Ele suporta o aprendizado de reforço nativo e contínuo com o feedback humano (RLHF) e o aprendizado de reforço com o feedback da IA (RLAIF). Assista ao vídeo acima para este caso de uso. | ||
| ? Avalie o desempenho de múltiplos LLMs com seu próprio conjunto de dados de perguntas e perguntas e volta | Avalie convenientemente e compare o desempenho do seu modelo de escolha em mais de 100 modelos, graças a Litellm. Analise os benchmarks de desempenho do modelo adaptados aos seus dados de teste personalizados ou de uso. | ||
| Bot de geração de manchete da empresa de startups | Atuar a geração de manchetes para sua inicialização com criação automatizada de dados de teste, criação imediata, avaliação de resultados e aprimoramento do desempenho via GPT-4. | ||
| ? Construa um bot de guia de viagem personalizado | Aproveite os avisos automatizados inspirados nas sugestões mais populares da comunidade de viagens, como as de promoções impressionantes-chatgpt. | ||
| Construa um tradutor mais barato: use GPT-3.5 para ensinar LLAMA2 para criar um tradutor com menor custo de inferência | Usando os dados de teste e o GPT-3.5, você pode ajustar o bot de tradução do LLAMA2. Beneficie -se com a economia de 18x ao experimentar apenas uma diminuição de 6% no desempenho. | ||
| ? ️ conversar com seus personagens favoritos - Dantan ji de até o final da lua | Dê vida aos seus personagens favoritos através da criação rápida automatizada e da recuperação de scripts de personagem . | ||
| ? Avalie o desempenho do Guardrails na geração de saídas Python (.py) | Guardrails: Onde estão meus corrimãos? ? <br> Yival: Estou aqui. ️ <br><br> O experimento de avaliação integrado é realizado com 80 problemas de código de leet no CSV, usando o Guardrail e usando apenas o GPT-4. A precisão cai de 0,625 para 0,55 com o corrimão, a latência aumenta em 44%e o custo aumenta em 140%. O Guardrail ainda tem um longo caminho a percorrer da demonstração para a produção. | ||
| ? Visualize alimentos diferentes em todo o mundo!? | Basta dar o lugar onde a comida pertence e a melhor temporada para provar, e você pode obter um vídeo da comida específica da temporada!? | ||
| ? Resumo do artigo de notícias com COD | Ao integrar o método "cadeia de densidade", avalie a capacidade do intensificador no resumo do texto. Usando 3 pontos de artigos gerados pelo GPT-4 para avaliação, a pontuação coerente aumentou 20,03% , a pontuação atribuível aumentou 25,18%! , o uso médio de token de 2054,6 -> 1473.4 (-28,3%) . | ||
| ? Bot de geração de título automatizado Tiktok | Com apenas duas linhas de entrada, você pode criar facilmente títulos de vídeo conciso e polido Tiktok com base nos resumos desejados de público -alvo e conteúdo de vídeo. Isso é apresentado pelo nosso recurso de promoção automática : o processo é automatizado, para que você possa inserir seus requisitos e aproveitar os resultados sem complicações! |
Se você deseja contribuir para o Yival, não deixe de revisar as diretrizes de contribuição. Utilizamos problemas do GitHub para rastrear solicitações e bugs. Junte -se ao canal de discórdia de Yival para perguntas e discussões gerais. Junte -se à nossa comunidade colaborativa, onde sua experiência única, pois pesquisadores e engenheiros de software são altamente valorizados! Contribua para o nosso projeto e faça parte de um espaço inovador, onde todas as linhas de código e insight de pesquisa alimentam ativamente os avanços da tecnologia, promovendo um futuro que está inteligentemente conectado e universalmente acessível.
? Yival recebe suas contribuições! ?
? Muito obrigado a todos os nossos incríveis colaboradores?
| Papel | Autor | Tópicos | Colaborador de Yival | Gerador de dados | Gerador de variação | Avaliador | Seletor | Intensificador | Config |
|---|---|---|---|---|---|---|---|---|---|
| Modelos de idiomas grandes são engenheiros rápidos em nível humano | Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han | Yival Evolver, criação automática | OpenAipromptDataGenerator | OpenAipromptVariationGenerator | OpenAipromPtEvaluator, OpenAIeloEvaluator | AhpSelector | OpenAiprompt BasedcombinationHancer | Config | |
| BertScore: Avaliando a geração de texto com Bert | Tianyi Zhang, Varsha Kishore, Felix Wu | Avaliador de Yival, Bertscore, Rouge | @crazycth | - | - | BertScoreEvaluator | - | - | - |
| ALPACAEVAL | Xuechen Li, Tianyi Zhang, Yann Dubois et. al | Avaliador de Yival | - | - | AlpacaevaleValuator | - | - | Config | |
| Cadeia de densidade | Griffin Adams Alexander R. Fabbri et. al | Engenharia rápida | - | ChainOfDensionGenerator | - | - | - | Config | |
| Grandes modelos de linguagem como otimizadores | Chengrun Yang Xuezhi Wang et. al | Engenharia rápida | @crazycth | - | - | - | - | otimize_by_prompt_enhancer | Config |
| Lora: adaptação de baixo rank de grandes modelos de linguagem | Edward J. Hu Yelong Shen et. al | LLM Finetune | @crazycth | - | - | - | - | sft_trainer | Config |
