beban bape
1.0.0
Membangun model AI yang besar memerlukan proses pembelajaran yang memakan waktu dan sumber daya yang intensif. Sampai baru-baru ini, kami menganggap bobot model AI terlatih sebagai susunan angka desimal 2d yang ambigu, namun bagaimana jika ada sesuatu yang lebih dari itu.
Hari ini kami ingin berbagi cara kami mengeksplorasi bobot model AI, tetapi pertama-tama mari kita lihat bagaimana kami sampai di sini.
Kami membaca makalah penting ini
Klasifikasi ImageNet dengan jaringan saraf konvolusional yang dalam
Perhatian Adalah Yang Anda Butuhkan
Kesimpulan / Sorotan
Pertanyaan Kunci
Apa lagi yang berfungsi dengan matriks dan data float 32 resolusi tinggi? (gambar TIFF)?
Mengapa kita tidak dapat menggunakan kembali teknik serupa dari sistem yang memiliki kumpulan data besar dan beresolusi tinggi untuk menavigasi “bobot” dengan jenis iterator yang berbeda? Dengan kinerja karat dan mmap saat ini yang memuat file 100 GB pada disk, siapa tahu mungkin pendekatan ini dapat bekerja tanpa GPU untuk model yang lebih kecil yang dibatasi hanya pada CPU.
Bagian teknis apa yang hilang/diperlukan untuk memulai?
Apa
Kami telah membuat prototipe untuk mengekstraksi dan semoga mengidentifikasi berapa bobotnya:
menghubungkan kembali ke data pelatihan sumber asli
berubah selama banyak generasi pelatihan
tampaknya mewakili bidang pengetahuan pelatihan 3d padat yang disimpan sebagai “bobot” yang tertanam (tidak terbukti tetapi ini adalah hipotesis kami berdasarkan teknik yang tampaknya berhasil)
Mengapa
Kami ingin memahami mengapa LLM istimewa dan bagaimana bobotnya sesuai dengan teknologi inovatif ini.
Dengan memilih untuk menghabiskan waktu mencoba melihat apa itu bobot LLM, kami yakin kami dapat menerapkan teknik visualisasi yang terkenal untuk menganalisis pemindaian otak manusia untuk mengekstrak, mengidentifikasi, menggunakan kembali, dan mengaudit bobot tersebut.
Sebelum bobot AI Transformer generatif yang besar tersedia secara luas, jenis kumpulan data pelatihan yang padat dan beresolusi tinggi ini sangat mahal dan jarang dibagikan.
Bagaimana
Kami membangun prototipe ini menggunakan algoritma pemrosesan sinyal digital (DSP) untuk analisis volumetrik data resolusi tinggi dan menggabungkan mesin analisis dengan Blender (alat visualisasi sumber terbuka).
Kami akan membuka sumber dan melacak bagaimana AI belajar dari awal dan menggunakan Blender untuk mengekspor dan membagikan seperti apa bobotnya seiring berjalannya waktu.
Dengan memilih menggunakan Blender untuk menganalisis bobot model dalam volume 3D, kami membangun kemampuan animasi yang memungkinkan kami merancang API v1 awal untuk menangkap kumpulan data pelatihan deret waktu. Kumpulan data pelatihan ini difokuskan untuk menangkap bagaimana model dasar AI belajar melalui setiap fase pelatihan menggunakan analisis bobot performa tinggi pada data volumetrik.
Kami yakin kami perlu membagikan tampilan model ini sehingga kami dapat memahaminya dan melatih AI untuk membuat dan mengauditnya sendiri.
Kami juga ingin melihat seperti apa campuran para ahli (unduh versi mesh Dolphin 2.5 Mixtral 8x7B STL/glTF terbaru di bawah).
Repositori ini ditujukan untuk membuat profil, mengekstraksi, memvisualisasikan, dan menggunakan kembali bobot AI generatif agar dapat membangun model AI yang lebih akurat dan mengaudit/memindai bobot yang ada untuk mengidentifikasi domain pengetahuan untuk risiko.
Catatan: versi saat ini hanya mencakup cara membuat profil, mengekstrak, dan memvisualisasikan bobot model yang ada. Sekarang kita dapat memvisualisasikan cara model AI belajar, pelatihan model dasar adalah langkah selanjutnya. Visualisasi pelatihan akan dimulai dengan mengajarkan model AI baru tentang "bagaimana repositori bampe-weights mengintegrasikan numpy, pandas, dan Blender". Kami memiliki ~190 file python/(task,prompt,answer) untuk diatur sebelum dibagikan.
Repositori ini mengeksplorasi visualisasi pembelajaran model dari waktu ke waktu dan membangun kumpulan data pelatihan dari "bentuk bobot" yang diekstraksi untuk membangun dan memprediksi bobot model AI baru (semoga lebih cepat daripada metode pelatihan tradisional juga).
Inilah tampilan Llama 2 7B Chat GPTQ di dalam Blender dan diekspor sebagai gif menggunakan repositori ini:
Folder google drive berikut berisi indeks yang muncul dari visualisasi glTF dan STL model bahasa besar. File berkisar dari ~1 MB hingga +2 GB.
Hubungi kami jika Anda ingin melihat model/kepadatan baru!
Jika file STL cukup kecil, maka GitHub dapat secara otomatis merender jerat 3d. Catatan: melihat GitHub STL di perangkat seluler saat ini tidak ideal, namun di desktop Anda dapat memperbesar lapisan menggunakan roda mouse secara terbalik dan memutar dengan tombol kiri/kanan mouse:
Kami mencoba untuk tetap di bawah batas 50 MB dan menyimpan aset di repo kami di GitHub - https://github.com/matlok-ai/gen-ai-datasets-for-bampe-weights/docs/images/blender
Blender yang dihosting sendiri dalam sebuah wadah untuk membantu melihat seperti apa bobot AI generatif secara lokal:
Gambar Kontainer Demo Blender dengan file STL/GLB yang diekspor sudah disertakan
Gambar matlok/blender-ai-demos dibuat dari gambar LinuxServer Blender dan menyertakan file 3D STL dan GLB yang dapat Anda lihat di browser. Gambar kontainer yang diekstrak blender-ai-demos berukuran >4,0 GB pada disk dan menggunakan ram sekitar 3 GB untuk memproses file STL atau glTF >40 MB:
Visualisasi demo ditemukan di direktori ini di dalam penampung:
/config/bampe-visualisasi
Buruh pelabuhan
docker rm blender; docker-compose -f compose/blender-demos.yaml up -d
Podman
podman rm -t 0 -f blender; podman-compose -f compose/blender-demos.yaml up -d
Gambar dasar LinuxServer
Jalankan image LinuxServer/docker-blender (lscr.io/linuxserver/blender:latest) dan hasilkan file STL/GLB baru yang siap dilihat menggunakan volume yang sudah terpasang antara host dan container Blender (direktori .blender ). Gambar kontainer yang diekstraksi docker-blender berukuran ~3 GB pada disk.
Buruh pelabuhan
docker rm blender; docker-compose -f compose/blender-demos.yaml up -d
Podman
podman rm -t 0 -f blender; podman-compose -f compose/base.yaml up -d
Catatan: artefak visual yang baru dibuat (file STL dan glTF glb) hanya muncul setelah container di-restart di direktori ini di dalam container Blender:
/config/bampe
Buka Blender di browser
Blender mendengarkan url ini:
http://localhost:3000
Muat Visualisasi AI Blender 3D Secara Manual
Setelah Blender berjalan di browser, Anda dapat mengimpor file STL atau glTF dengan mengklik menu berikut:
Mengajukan
Impor
STL atau glTF
File berada dalam visualisasi /config/bampe atau /config/bampe tergantung pada versi container yang sedang berjalan
Gunakan Shift + ` untuk mengaktifkan mode navigasi dengan mouse dan W, A, S, D untuk pergerakan orang pertama.
Menahan tombol Shift juga akan bergerak dengan kecepatan turbo.
Buka Edit -> Preferensi -> Navigasi -> Terbang & Berjalan -> Berjalan Toggle Arrow
Sesuaikan Sensitivitas Mouse -> 0,1
Sesuaikan Kecepatan Berjalan -> 20 m/s
Repositori ini ditujukan untuk meneliti pendekatan alternatif untuk membangun AI menggunakan bobot AI yang telah dilatih sebelumnya. Ini sedang dalam proses jadi silakan lihat Menyiapkan Lingkungan Pengembangan untuk rincian lebih lanjut tentang menjalankan ini dari baris perintah.
Kita dapat berbagi dan melihat bentuk-bentuk ini menggunakan alat online.
Repositori ini telah diuji pada platform berikut:
