Open Assistant

Assisté

Remarque : OpenAssistant est terminé et le projet est maintenant terminé. Merci à tous ceux qui ont contribué! Consultez notre article de blog pour plus d'informations. L'ensemble de données OASST2 publié final peut être trouvé sur Huggingface sur OpenAssistant / OASST2

Table des matières

• Qu'est-ce que l'assistant ouvert?
• Liens utiles
• Comment l'essayer
• La vision
• Le plan
• Comment vous pouvez aider

---

Qu'est-ce que l'assistant ouvert?

L'assistant ouvert est un projet destiné à donner à chacun accès à un excellent modèle de langue basé sur un chat.

Nous pensons qu'en faisant cela, nous créerons une révolution de l'innovation dans le langage. De la même manière que la diffusion stable a aidé le monde à faire de l'art et des images de nouvelles manières, nous espérons que l'assistant ouvert peut aider à améliorer le monde en améliorant le langage lui-même.

Liens utiles

• Collecte de données

• Chat

• Documentation du projet

Comment l'essayer

Discuter avec l'IA

Le frontend de chat est maintenant en direct ici. Connectez-vous et commencez à discuter! Veuillez essayer de réagir avec un coup de pouce vers le haut ou vers le bas pour les réponses de l'assistant lors du chat.

Contribution à la collecte de données

Le Frontend de collecte de données est maintenant en direct ici. Connectez-vous et commencez à assumer des tâches! Nous voulons collecter un volume élevé de données de qualité. En soumettant, en classement et en étiquetant les invites et les réponses du modèle, vous contribuerez directement à améliorer les capacités de l'assistant ouvert.

Exécution de la configuration du développement localement (sans chat)

Vous n'avez pas besoin d'exécuter le projet localement, sauf si vous contribuez au processus de développement. Le lien du site Web ci-dessus vous mènera sur le site Web public où vous pouvez utiliser l'application de collecte de données et le chat.

Si vous souhaitez exécuter l'application de collecte de données localement pour le développement, vous pouvez configurer une pile entière nécessaire pour exécuter l'assistance ouverte , y compris le site Web, le backend et les services dépendants associés, avec Docker.

Pour démarrer la démo, exécutez ceci dans le répertoire racine du référentiel (vérifiez cette FAQ si vous avez des problèmes):

docker compose --profile ci up --build --attach-dependencies

Remarque: Lors de l'exécution sur macOS avec une puce M1, vous devez utiliser: DB_PLATFORM=linux/x86_64 docker compose ...

Ensuite, accédez à http://localhost:3000 (cela peut prendre un certain temps pour démarrer) et interagir avec le site Web.

Remarque: Si un problème se produit avec la construction, veuillez vous rendre à la FAQ et consulter les entrées sur Docker.

Remarque: Lors de la connexion par e-mail, accédez à http://localhost:1080 pour obtenir le lien de connexion par e-mail magique.

Remarque: Si vous souhaitez exécuter cela dans un environnement de développement standardisé (un "DevContainer") en utilisant VScode localement ou dans un navigateur Web à l'aide de GitHub Codespaces, vous pouvez utiliser le dossier .devcontainer fourni.

Exécution de la configuration du développement localement pour le chat

Vous n'avez pas besoin d'exécuter le projet localement, sauf si vous contribuez au processus de développement. Le lien du site Web ci-dessus vous mènera sur le site Web public où vous pouvez utiliser l'application de collecte de données et le chat.

Notez également que la configuration locale est uniquement pour le développement et n'est pas censée être utilisée comme chatbot local, sauf si vous savez ce que vous faites.

Si vous savez ce que vous faites, consultez le dossier inference pour mettre en fonction le système d'inférence en cours d'exécution, ou consultez --profile inference en plus de --profile ci dans la commande ci-dessus.

La vision

Nous n'allons pas nous arrêter de reproduire le chatppt. Nous voulons construire l'assistant du futur, capable non seulement d'écrire des e-mails et des lettres de motivation, mais de faire un travail significatif, d'utiliser des API, des informations de recherche dynamiquement, et bien plus encore, avec la possibilité d'être personnalisée et étendue par quiconque. Et nous voulons le faire d'une manière ouverte et accessible, ce qui signifie que nous devons non seulement construire un excellent assistant, mais aussi le rendre suffisamment petit et efficace pour fonctionner sur le matériel de consommation.

Le plan

Nous voulons atteindre un MVP initial le plus rapidement possible, en suivant les 3 étapes décrites dans le papier InstructGpt

1. Collectez des échantillons de réalisation de l'enseignement généré par l'homme de haute qualité (invite + réponse), objectif> 50k. Nous concevons un processus de crowdsource pour collecter et examiner les invites. Nous ne voulons pas nous entraîner sur les données d'inondation / toxiques / spam / indésirables / personnelles. Nous aurons un classement pour motiver la communauté qui montre les progrès et les utilisateurs les plus actifs. Swag sera donné aux principaux contributeurs.
2. Pour chacune des invites collectées, nous goûterons plusieurs complétions. Les achèvement d'une invite seront ensuite affichés au hasard aux utilisateurs pour les classer du meilleur au pire. Encore une fois, cela devrait se produire sur la foule, par exemple, nous devons faire face à des utilisateurs peu fiables potentiellement malveillants. Au moins plusieurs votes par les utilisateurs indépendants doivent être collectés pour mesurer l'accord global. Les données de classement rassemblées seront utilisées pour former un modèle de récompense.
3. Suit maintenant la phase de formation RLHF basée sur les invites et le modèle de récompense.

Nous pouvons ensuite prendre le modèle résultant et continuer avec l'échantillonnage d'achèvement l'étape 2 pour une prochaine itération.

Discs de glissière

Vision et feuille de route

Structures de données importantes

Comment vous pouvez aider

Tous les projets open source commencent par des gens comme vous. L'open source est la conviction que si nous collaborons, nous pouvons ensemble offrir ensemble nos connaissances et notre technologie au monde au profit de l'humanité.

Consultez notre guide de contribution pour commencer.