SmallLanguageModel

PetitModèleLangue

Ce référentiel contient tous les éléments nécessaires pour créer votre propre LLM à partir de zéro. Suivez simplement les instructions. Inspiré du générateur nanoGPT et Shakespeare de Karpathy, j'ai créé ce référentiel pour créer mon propre LLM. Il contient tout, de la collecte de données pour le modèle au fichier d'architecture, en passant par le tokenizer et le fichier de train.

Structure des pensions

Ce dépôt contient :

1. Collecteur de données : répertoire contenant Web-Scrapper, au cas où vous souhaiteriez collecter les données à partir de zéro au lieu de les télécharger.
2. Traitement des données : répertoire contenant du code pour prétraiter certains types de fichiers, comme la conversion de fichiers Parquet en fichiers .txt et .csv et l'ajout de codes de fichiers.
3. Modèles : contient tout le code nécessaire pour entraîner votre propre modèle. Un modèle BERT, un modèle GPT et un modèle Seq-2-Seq ainsi qu'un tokenizer et des fichiers d'exécution.

Conditions préalables

Avant de configurer SmallLanguageModel, assurez-vous que les conditions préalables suivantes sont installées :

1. Python 3.8 ou supérieur
2. pip (installateur du paquet Python)

Comment utiliser :

Suivez ces étapes pour entraîner votre propre tokenizer ou générer des sorties à partir du modèle formé :

1. Clonez ce dépôt :

   git clone https://github.com/shivendrra/SmallLanguageModel-project
   cd SLM-clone

2. Installer les dépendances :

   pip install requirements.txt

3. Entraîner : lisez le training.md pour plus d’informations. Suivez-le.

Histoire des étoiles

Contribuer

Les demandes de tirage sont les bienvenues. Pour les changements majeurs, veuillez d'abord ouvrir un ticket pour discuter de ce que vous souhaitez changer. Veuillez vous assurer de mettre à jour les tests le cas échéant.

Licence

Licence MIT. Consultez License.md pour plus d’informations.