GenossGPT

Genoss GPT

Remplacement d'une ligne pour Openai Chatgpt & Embeddings alimenté par les modèles OSS

Genoss est une initiative open source pionnière qui vise à offrir une alternative transparente aux modèles OpenAI tels que GPT 3.5 et 4, en utilisant des modèles open-source comme GPT4ALL.

Project Bootstrapé à l'aide de sicarator

Caractéristiques

• Open-source : Genoss est construit sur des modèles open source comme GPT4ALL.
• Remplacement d'une ligne : Genoss est un remplacement d'une ligne pour l'API Openai ChatGPT.

Démo

Chat Achèvement et intégration avec GPT4ALL

Genoss-Demo-Last.mp4

Modèles pris en charge

• Modèle et intégres GPT4ALL
• Plus de modèles à venir bientôt!

Démarrage

Avant d'embarquer, assurez-vous que Python 3.11 ou supérieur est installé sur votre machine.

Installer le serveur

Utilisation de PIP (recommandé)

️ Nous sommes actuellement en prépublish.

pip install genoss

Installez la dernière version de ce référentiel

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

Exécuter le serveur

genoss-server
# To know more
genoss-server --help

Accédez aux documents API via http: // localhost: 4321 / docs.

Installation de modèles

Installer le modèle GPT4ALL

La première étape consiste à installer GPT4ALL, qui est le seul modèle pris en charge pour le moment. Vous pouvez le faire en suivant ces étapes:

1. Clone le référentiel:

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. Accédez au répertoire backend:

 cd gpt4all/gpt4all-backend/

3. Créez un nouveau répertoire de construction et naviguez-y:

mkdir build && cd build

4. Configurer et construire le projet à l'aide de CMake:

cmake ..
cmake --build . --parallel

5. Vérifiez que LibllModel. * Existe dans gpt4all-backend/build .

6. Revenez à la racine et installez le package Python:

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. Téléchargez-le sur votre machine locale à partir d'ici et mettez-le dans le répertoire local_models en tant que local_models/ggml-gpt4all-j-v1.3-groovy.bin

Exécution de l'application

Vous devez installer la poésie et une version Python valide (3.11 *).

poetry install

Pour en savoir plus, sur une installation complète à des fins de développement, vous pouvez vérifier le contribution.md. Si vous souhaitez simplement démarrer le serveur, vous pouvez installer avec les groupes de poésie correspondants:

poetry install --only main,llms

Une fois le package Python installé, vous pouvez exécuter l'application. Le serveur ASGI Uvicorn peut être utilisé pour exécuter votre application:

uvicorn main:app --host 0.0.0.0 --port 4321

Cette commande lance l'application Genoss sur le port 4321 de votre machine.

Exécution de la démo WebApp

Dans la demo/

cp .env.example .env

Remplacer les valeurs et ensuite

PYTHONPATH=. streamlit run demo/main.py

Utilisation de l'API Genoss

L'API Genoss est un remplacement en une ligne de l'API Openai Chatgpt. Il prend en charge les mêmes paramètres et renvoie le même format de réponse que l'API OpenAI.

Remplacez simplement le point de terminaison de l'API OpenAI par le point de terminaison de l'API Genoss et vous êtes prêt à partir!

Modifiez les modèles dans la liste prise en charge des modèles et vous êtes prêt à partir!

Vous pouvez trouver la documentation de l'API sur /docs ou /redoc .

Développements à venir

Bien que GPT4ALL soit le seul modèle actuellement pris en charge, nous prévoyons d'ajouter plus de modèles à l'avenir. Alors, restez à l'écoute pour des mises à jour plus excitantes.

La vision:

• Autoriser l'exécution des modèles LLM localement
• Autoriser LLM à être exécuté localement à l'aide de HuggingFace
• Autorisez LLM à être exécuté sur Hugging Face et soyez simplement un emballage autour de l'API d'inférence.
• Autoriser une installation facile des modèles LLM localement
• Permettez aux utilisateurs d'utiliser des solutions de fournisseur de cloud telles que GCP, AWS, Azure, etc ...
• Autoriser la gestion des utilisateurs avec des clés API
• Ont toutes sortes de modèles disponibles pour une utilisation (texte au texte, texte à l'image, texte à l'audio, audio au texte, etc.)
• Soyez compatible avec l'API OpenAI pour les modèles compatibles avec l'API OpenAI

Histoire

Genoss a été imaginé par Stan Girard lorsqu'une caractéristique de Quivr est devenue trop grande et compliquée à maintenir.

L'idée était de créer une API simple qui permettrait d'utiliser n'importe quel modèle avec la même API que l'API ChatGPT d'Openai.

Ensuite, @mattzcarey, @MaxiMethoOnsen, @Wirg et @stangirard ont commencé à travailler sur le projet et c'est devenu une réalité.

Contributions

Vos contributions à Genoss sont extrêmement appréciées! N'hésitez pas à soumettre des problèmes ou à des demandes de traction.

Merci à ces gens merveilleux:

Sponsors ❤️

Ce projet ne pourrait pas être possible sans le soutien de nos sponsors. Merci pour votre soutien!

Licence

Genoss est concédé sous licence Apache2. Pour plus de détails, reportez-vous au fichier de licence.