lad gpt

Latih Model Bahasa di Obrolan WhatsApp Anda

Ringkasan

Repositori ini memfasilitasi pelatihan model bahasa tingkat karakter atau tingkat kata hanya berdasarkan pesan obrolan WhatsApp. Setelah pelatihan model, seseorang dapat memulai percakapan sintetis dengan grup obrolan Whatsapp yang terlatih.

• Pesan obrolan: Saya telah melatih model secara pribadi pada obrolan Whatsapp dari grup dengan >8 karakter Mio. assets/input/chat.txt hanyalah pengganti, yang akan diganti dengan korpus pesan obrolan sebenarnya.
• Model bahasa: Model ini mengikuti arsitektur yang diperkenalkan dalam "Attention Is All You Need" (2017) oleh Vaswani et. al.. Juga implementasi model pytorch sangat terinspirasi oleh video tutorial oleh Andrew Kaparty.
• Hasil: Meskipun performa keseluruhan model yang saya latih secara privat jelas tidak sebanding dengan model bahasa sota, teks yang dihasilkan dengan jelas menunjukkan pola linguistik dan kosa kata yang dapat dikenali.

Struktur Folder

 |-- assets
|   |-- input
|   |   |-- chat.txt
|   |-- output
|   |   |-- contacts.txt
|   |   |-- vocab.txt
|   |   |-- train.pt
|   |   |-- valid.pt
|   |-- models
|   |   |--model.pt
|-- src
|   |-- chat.py
|   |-- model.py
|   |-- preprocess.py
|   |-- train.py
|   |-- utils.py
|-- config.py
|-- run.py

Deskripsi Aset:

• assets/input/chat.txt: File input harus berupa obrolan WhatsApp yang diekspor (tanpa media).
• assets/output/: Data pelatihan/validasi yang dikodekan dan model yang dilatih akan ditulis ke lokalsi ini.
• assets/models/model.pt: Objek model pytorch terlatih.

Deskripsi Modul:

• src/preprocess.py: Mengubah pesan obrolan menjadi tensor PyTorch yang dikodekan. Data dibagi menjadi set pelatihan dan validasi.
• src/model.py: Mendefinisikan kelas model bahasa.
• src/train.py: Berisi kode untuk melatih model bahasa.
• src/chat.py: Berisi fungsi interaksi percakapan dengan model.
• src/utils.py: Fungsi utilitas berguna lainnya.
• run.py: Skrip utama dengan parser argumen untuk memanggil salah satu dari tiga tindakan ("preprocess", "train", "chat").
• config.py: Parameter untuk prapemrosesan dan pelatihan model dicatat.

Bagaimana Memulai

Instalasi:

 git clone https://github.com/bernhard-pfann/lad-gpt.git
cd lad-gpt
pip install -r requirements.txt

Untuk memanfaatkan proyek ini sepenuhnya, Anda memerlukan file .txt yang berisi pesan dari obrolan WhatsApp. Berikut langkah-langkah untuk mengekspor obrolan grup WhatsApp Anda menjadi file .txt:

Untuk Pengguna Android:

1. Buka WhatsApp dan Navigasi ke Obrolan Grup: Buka aplikasi WhatsApp di perangkat Android Anda dan buka obrolan grup yang ingin Anda ekspor.
2. Ketuk Tiga Titik: Ini biasanya berada di sudut kanan atas jendela obrolan.
3. Lainnya -> Ekspor Obrolan: Pilih 'Lainnya' dari drop-down lalu pilih 'Ekspor obrolan'.
4. Pilih Tanpa Media: Anda akan mendapatkan opsi untuk menyertakan atau mengecualikan media. Pilih 'Tanpa Media' untuk mengekspor pesan teks saja.
5. Pilih Metode Ekspor: Anda akan diminta untuk memilih bagaimana Anda ingin mengekspor obrolan. Anda dapat mengirimkannya ke email Anda, dan dari sana, mendownloadnya sebagai file .txt.

Untuk Pengguna iPhone:

1. Buka WhatsApp dan Navigasi ke Obrolan Grup: Buka aplikasi WhatsApp di iPhone Anda dan navigasikan ke obrolan grup yang ingin Anda ekspor.
2. Ketuk Nama Grup: Ini ada di bagian atas jendela obrolan untuk membuka 'Info Grup'.
3. Gulir ke Bawah dan Ekspor Obrolan: Gulir ke bawah dan Anda akan melihat opsi 'Ekspor Obrolan'. Ketuk di atasnya.
4. Pilih Tanpa Media: Sebuah pop-up akan muncul menanyakan apakah Anda ingin memasukkan file media. Pilih 'Tanpa Media'.
5. Pilih Metode Ekspor: Pilih opsi untuk mengekspor obrolan, misalnya melalui Mail. Anda kemudian dapat mengunduh file teks dari email Anda.

Setelah Anda memiliki file .txt, letakkan di direktori assets/input , bernama chat.txt . Maka Anda siap berangkat!

Petunjuk Terminal

Setelah data masukan tersedia, obrolan perlu dikodekan ke dalam tensor numerik. Data yang dikodekan juga dibagi menjadi set pelatihan dan validasi:

 python run.py preprocess

Untuk melatih model bahasa dari awal dan hanya berdasarkan data obrolan yang dikodekan. Setel --update jika Anda ingin melanjutkan pelatihan model yang sudah ada.

 python run.py train --update

Untuk memulai obrolan dengan model terlatih:

 python run.py chat