magikarp

Kode untuk makalah "Memancing Magikarp"

Repositori ini berisi kode dan hasil tambahan untuk makalah Fishing for Magikarp: Secara Otomatis Mendeteksi Token yang Kurang Terlatih dalam Model Bahasa Besar

Menjelajahi Hasil

Hal yang paling menarik dalam repositori ini mungkin adalah laporan rinci dan tabel ringkasan yang terdapat di results/. Untuk setiap model, terdapat laporan 'lengkap' dan 'mini'. Versi 'mini' selalu dapat dibuka di github, tetapi versi lengkap mungkin memerlukan pengunduhan dan penayangan secara lokal karena keterbatasan ukuran file.

Dalam laporan ini:

• ▁ spasi (tetapi bukan _ )
• ¿entry? mewakili token dengan entry kosakata yang tidak dikodekan seperti yang diharapkan.

Berjalan pada model lain

Pengaturan

Ini adalah proyek puisi standar.

poetry shell   # make/activate your virtual environment
poetry install # only the first time or on updates

Untuk beberapa model yang lebih baru, Anda mungkin perlu menginstal versi transformator yang lebih baru menggunakan pip install git+https://github.com/huggingface/transformers.git

Berlari

Lihat run_verification.sh untuk beberapa contoh perintah untuk menjalankan model baru. Skrip itu sendiri terutama merupakan referensi untuk reproduktifitas dan tidak disarankan untuk dijalankan.

Untuk model dengan penyematan terikat, atau untuk visualisasi dan hasil yang lebih bagus, Anda perlu melakukan hard-code pada beberapa id token yang tidak digunakan di magikarp/unused_tokens.py .

• Jika model terkait sudah ada, menyalin id token kemungkinan akan berfungsi dengan baik.
• Untuk penyematan yang tidak terikat, Anda biasanya dapat membiarkan verifikasi selesai, dan memperbarui token yang tidak digunakan setelah Anda mendapatkan hasilnya.
• Untuk kasus yang jarang terjadi pada keluarga model baru dengan embeddings terikat:
  • Coba tebak, seperti [0] , atau gunakan kosakata tokenizer untuk memilih beberapa.
  • Jalankan skrip magikarp/fishing.py dan matikan skrip tersebut saat mulai memverifikasi.
  • Anda sekarang memiliki results/verifications/yourmodel.jsonl yang memungkinkan Anda melihat kosakata dan memperbarui token yang sesuai.
  • Perbarui token Anda yang tidak digunakan, dan jalankan verifikasi.

Menghasilkan hasil

• generate_results.py : Menghasilkan plot dan laporan penurunan harga. Ini terjadi secara otomatis setelah verifikasi, tetapi untuk membuat ulang Anda dapat python generate_results.py [your_model_id] dan kemudian melihat results .

Berkontribusi

Jika Anda ingin menyumbangkan hasil untuk model tambahan, harap sertakan:

• Entri UNUSED_TOKENS
  • memastikan pengujian tokenisasi (melalui pytest ) lolos untuk model baru, yang menggunakan array ini sebagai registri model.
• Sebuah baris di run_verification.sh
• Semua file dalam results yang bukan .gitignore 'd

Permintaan model

Jika Anda mengetahui model yang mungkin menarik untuk dianalisis, namun tidak memiliki sumber daya untuk menjalankannya sendiri, jangan ragu untuk membuka terbitan. Silakan tambahkan id Wajah Pelukan, beberapa informasi tentang betapa menariknya dalam hal tokenisasi, dan perlu diingat bahwa semakin besar modelnya, semakin kecil kemungkinannya untuk diprioritaskan.