Selamat datang di Teori dan Pengalaman Langsung NLP.
Dalam repositori ini, saya telah membahas hampir semua yang Anda perlukan untuk memulai dunia NLP, mulai dari Tokenizer hingga Arsitektur Transformer. Pada saat Anda menyelesaikan ini, Anda akan memiliki pemahaman yang kuat tentang konsep inti NLP.
Motif penyimpanan ini adalah untuk memberi Anda intuisi inti dan pada akhirnya Anda akan mengetahui bagaimana segala sesuatunya berevolusi selama bertahun-tahun dan mengapa hal tersebut terjadi.
Gambar Dihasilkan oleh Ideogram
Daftar isi
1. Tokenisasi
2. Pemrosesan awal
3. Kumpulan Kata dan Persamaannya
4. TF-IDF dan Pencarian Dokumen
5. Klasifikasi Teks Naive Bayes
6. Pemodelan Topik LDA
7. Penyematan Kata
8. Jaringan Neural Berulang (RNN) dan Pemodelan Bahasa
9. Terjemahan Mesin dan Perhatian
10. Transformator
Bagaimana cara menggunakan repositori ini?
Mengingat kekuatan komputasi yang diperlukan untuk ML dan DL, disarankan untuk menggunakan Google Colab atau Kaggle Kernels.
Anda dapat mengklik untuk membuka buku catatan di Colab.
Anda dapat mengklik untuk membuka buku catatan di Kaggle.
Untuk beberapa notebook, kumpulan data Kaggle digunakan, dan beberapa di antaranya dalam satuan Gigabytes.
Untuk memuat kumpulan data tersebut dengan lebih cepat, disarankan untuk membukanya di Kaggle menggunakan tag yang sesuai.
Membuka Kernel Kaggle tidak secara langsung melampirkan kumpulan data yang diperlukan untuk notebook.
Anda diminta untuk melampirkan kumpulan data yang tautannya telah disediakan di buku catatan masing-masing, yang akan Anda temukan seiring kemajuan Anda.
Mulailah dengan Notebook Tokenization dan lanjutkan secara berurutan.
Luangkan waktu Anda untuk memahami konsep dan kode. Ini dirancang khusus agar mudah dipahami dan dilakukan sesuai keinginan Anda.
Pastikan Anda memiliki pemahaman dasar tentang pemrograman Python sebelum memulai.
Jika Anda mengalami masalah atau memiliki pertanyaan, silakan buka masalah di repositori GitHub.
Jangan lupa memberi bintang pada repositori jika Anda merasa terbantu!
Berkontribusi
Anda dipersilakan untuk berkontribusi pada repositori ini. Anda bisa memulai dengan membuka masalah atau mengirimkan permintaan penarikan. Jika Anda memiliki pertanyaan, jangan ragu untuk menghubungi saya di X
Jika Anda memiliki sumber daya yang menurut Anda berguna bagi orang lain, jangan ragu untuk membuka terbitan atau mengirimkan permintaan penarikan.
Lisensi
Proyek ini dilisensikan di bawah Lisensi MIT - lihat file LISENSI untuk detailnya.
