Open Assistant

Assistente aberto

NOTA : O OpenAssistant está concluído e o projeto está concluído. Obrigado a todos que contribuíram! Confira nossa postagem no blog para obter mais informações. O conjunto de dados final do OASST2 publicado pode ser encontrado no Huggingface no OpenAssistant/Oasst2

Índice

• O que é assistente aberto?
• Links úteis
• Como experimentar
• A visão
• O plano
• Como você pode ajudar

---

O que é assistente aberto?

O Open Assistant é um projeto destinado a dar a todos o acesso a um ótimo modelo de idioma baseado em bate -papo.

Acreditamos que, ao fazer isso, criaremos uma revolução na inovação na linguagem. Da mesma maneira que a difusão estável ajudou o mundo a tornar arte e imagens de novas maneiras, esperamos que o Assistente Open possa ajudar a melhorar o mundo, melhorando a própria linguagem.

Links úteis

• Coleta de dados

• Bater papo

• Documentação do projeto

Como experimentar

Conversando com a IA

O front -end de bate -papo agora está ao vivo aqui. Faça login e comece a conversar! Tente reagir com um polegar para cima ou para baixo para as respostas do assistente ao conversar.

Contribuindo para a coleta de dados

O frontend da coleta de dados está agora ao vivo aqui. Faça login e comece a assumir tarefas! Queremos coletar um alto volume de dados de qualidade. Ao enviar, classificar e rotular, prompts e respostas do modelo, você estará ajudando diretamente a melhorar os recursos do assistente aberto.

Executando a configuração de desenvolvimento localmente (sem bate -papo)

Você não precisa executar o projeto localmente, a menos que esteja contribuindo para o processo de desenvolvimento. O link do site acima o levará ao site público, onde você pode usar o aplicativo de coleta de dados e o bate -papo.

Se você deseja executar o aplicativo de coleta de dados localmente para desenvolvimento, poderá configurar uma pilha inteira necessária para executar os serviços abertos , incluindo o site, back-end e serviços dependentes associados, com o Docker.

Para iniciar a demonstração, execute isso no diretório raiz do repositório (verifique esta FAQ se você tiver problemas):

docker compose --profile ci up --build --attach-dependencies

NOTA: Ao executar no macOS com um chip M1, você deve usar: DB_PLATFORM=linux/x86_64 docker compose ...

Em seguida, navegue para http://localhost:3000 (pode levar algum tempo para inicializar) e interaja com o site.

NOTA: Se ocorrer um problema com a compilação, vá para as perguntas frequentes e confira as entradas sobre o Docker.

Nota: Ao fazer login por e -mail, navegue para http://localhost:1080 para obter o link de login de e -mail mágico.

NOTA: Se você deseja executar isso em um ambiente de desenvolvimento padronizado (um "devContainer") usando o VSCode localmente ou em um navegador da Web usando o GitHub Codespaces, você pode usar a pasta .devcontainer fornecida.

Executando a configuração de desenvolvimento localmente para chat

Você não precisa executar o projeto localmente, a menos que esteja contribuindo para o processo de desenvolvimento. O link do site acima o levará ao site público, onde você pode usar o aplicativo de coleta de dados e o bate -papo.

Observe também que a configuração local é apenas para desenvolvimento e não deve ser usada como um chatbot local, a menos que você saiba o que está fazendo.

Se você souber o que está fazendo, consulte a pasta inference para colocar o sistema de inferência em funcionamento e dê uma olhada em --profile inference , além de --profile ci no comando acima.

A visão

Não vamos parar em replicar o chatgpt. Queremos criar o assistente do futuro, capaz de não apenas escrever email e cartas de cobertura, mas fazer um trabalho significativo, usar APIs, pesquisar informações dinamicamente e muito mais, com a capacidade de ser personalizado e estendido por qualquer pessoa. E queremos fazer isso de uma maneira que seja aberta e acessível, o que significa que não devemos não apenas criar um ótimo assistente, mas também torná -lo pequeno e eficiente o suficiente para executar o hardware do consumidor.

O plano

Queremos chegar a um MVP inicial o mais rápido possível, seguindo as 3 etapas descritas no artigo InstructGPT

1. Colete amostras de atendimento de instruções de alta qualidade geradas humanas (prompt + resposta), objetivo> 50k. Projetamos um processo de crowdsourcing para coletar e revisar os avisos. Não queremos treinar sobre inundações/dados tóxicos/spam/lixo/informações pessoais. Teremos uma tabela de classificação para motivar a comunidade que mostra o progresso e os usuários mais ativos. Os ganhos serão entregues aos principais clientes.
2. Para cada um dos avisos coletados, amostraremos várias conclusões. As conclusões de um prompt serão mostradas aleatoriamente aos usuários para classificá -los do melhor para o pior. Novamente, isso deve acontecer de origem da multidão, por exemplo, precisamos lidar com usuários potencialmente maliciosos não confiáveis. Pelo menos vários votos de usuários independentes devem ser coletados para medir o contrato geral. Os dados do ranking reunidos serão usados ​​para treinar um modelo de recompensa.
3. Agora segue a fase de treinamento do RLHF com base nos avisos e no modelo de recompensa.

Podemos então pegar o modelo resultante e continuar com a amostragem de conclusão Etapa 2 para uma próxima iteração.

Decks de deslizamento

Vision & Roadmap

Estruturas de dados importantes

Como você pode ajudar

Todos os projetos de código aberto começam com pessoas como você. O código aberto é a crença de que, se colaborarmos, podemos oferecer juntos nosso conhecimento e tecnologia ao mundo em benefício da humanidade.

Confira nosso guia contribuinte para começar.