SmallLanguageModel

Model Bahasa Kecil

Repositori ini berisi semua item yang diperlukan untuk membangun LLM Anda sendiri dari awal. Ikuti saja instruksinya. Terinspirasi dari generator nanoGPT dan Shakespeare Karpathy, saya membuat repositori ini untuk membangun LLM saya sendiri. Ia memiliki segalanya mulai dari pengumpulan data untuk Model hingga file arsitektur, tokenizer, dan file kereta.

Struktur Repo

Repo ini berisi:

1. Pengumpul Data: Web-Scrapper yang berisi direktori, jika Anda ingin mengumpulkan data dari awal alih-alih mengunduh.
2. Pemrosesan Data: Direktori yang berisi kode untuk melakukan pra-proses jenis file tertentu seperti mengonversi file parket menjadi file .txt dan .csv serta kode penambahan file.
3. Model: Berisi semua kode yang diperlukan untuk melatih model Anda sendiri. Model BERT, model GPT & model Seq-2-Seq bersama dengan tokenizer dan file yang dijalankan.

Prasyarat

Sebelum menyiapkan SmallLanguageModel, pastikan Anda telah menginstal prasyarat berikut:

1. Python 3.8 atau lebih tinggi
2. pip (penginstal paket Python)

Cara menggunakan:

Ikuti langkah-langkah berikut untuk melatih tokenizer Anda sendiri atau menghasilkan keluaran dari model yang dilatih:

1. Kloning repositori ini:

   git clone https://github.com/shivendrra/SmallLanguageModel-project
   cd SLM-clone

2. Instal Ketergantungan:

   pip install requirements.txt

3. Kereta: Baca training.md untuk informasi lebih lanjut. Ikuti itu.

Sejarah Bintang

Berkontribusi

Permintaan tarik dipersilakan. Untuk perubahan besar, silakan buka terbitan terlebih dahulu untuk mendiskusikan apa yang ingin Anda ubah. Harap pastikan untuk memperbarui pengujian sebagaimana mestinya.

Lisensi

Lisensi MIT. Lihat Lisensi.md untuk info lebih lanjut.