FreeChat

Freechat

Obrolan dengan LLMS di Mac Anda tanpa menginstal perangkat lunak lain. Setiap percakapan disimpan secara lokal, semua percakapan terjadi secara offline.

• Kustomisasi persona dan keahlian dengan mengubah prompt sistem
• Coba model kompatibel llama.cpp apa pun
• Tidak diperlukan koneksi internet, semua lokal (dengan opsi untuk terhubung ke model jarak jauh)

h264.screen.recording.2023-09-13.at.1.54.49.pm.mov

Memasang

Bergabunglah dengan testflight beta: https://6032904148827.gumroad.com/l/freechat-beta

Atau unduh di toko aplikasi mac: https://apps.apple.com/us/app/freechat/id6458534902

Atau Bangun dari Sumber melalui "Arsip" di Xcode setelah menyelesaikan pengaturan dev di bawah ini.

Sasaran

Tujuan utama Freechat adalah untuk membuat model -model pribadi yang terbuka, lokal, dapat diakses oleh lebih banyak orang.

Freechat adalah alat LLM asli untuk macOS yang berjalan sepenuhnya secara lokal. Unduh dan ajukan pertanyaan LLM Anda tanpa melakukan konfigurasi apa pun. Versi lokal/llama obrolan openai tanpa login atau pelacakan. Anda harus dapat menginstal dari Mac App Store dan menggunakannya segera.

• Tidak ada konfigurasi. Dapat digunakan oleh orang -orang yang belum pernah mendengar model, permintaan, atau LLMS.
• Kinerja dan kesederhanaan atas pengalaman atau fitur dev. Catatan bukan kata, Swift bukan Elektron.
• Lokal pertama. Fungsionalitas inti seharusnya tidak memerlukan koneksi internet.
• Tidak ada pelacakan percakapan. Bicara tentang apa pun yang Anda inginkan dengan Freechat, seperti halnya catatan.
• Open source. Apa gunanya menjalankan AI lokal jika Anda tidak dapat mengaudit bahwa itu benar -benar berjalan secara lokal?

Tingkatkan model Anda

Setelah Anda bangun dan berjalan, menyenangkan untuk mencoba berbagai model di Freechat. Komunitas pelatihan AI pada dasarnya merilis model baru setiap hari. Freechat kompatibel dengan model GGUF yang diformat yang bekerja dengan Llama.cpp.

Model biasanya dinamai dengan jumlah parameternya (mis. 7b) dan diformat dengan berbagai tingkat kompresi lossy diterapkan (kuantisasi). Aturan umum adalah bahwa model dengan lebih banyak parameter cenderung lebih lambat dan lebih bijaksana dan lebih banyak kuantisasi membuatnya lebih bodoh.

Untuk menemukan model, cobalah memeluk wajah. Sebagian besar model memiliki "kartu model" yang ditautkan oleh penulis yang membahas pelatihan dan kemampuannya.

Pengaturan dev

1. Buka Mac/Freechat.xcodeproj
2. Jalankan dan perbaiki kesalahan

Roadmap / Todo (secara kasar berurutan):

• Mengobrol dengan llama 3 tanpa menginstal apa pun
• Coba model kompatibel llama.cpp apa pun
• Ubah permintaan sistem untuk memodifikasi kepribadian atau keahlian
• Unduh model dari dalam aplikasi (aplikasi menyusut dari 3GB ke 10MB, jauh lebih baik untuk pembaruan)
• Pengaturan lanjutan (format cepat, suhu, penalti ulang)
• Personas - Simpan pengaturan sistem / model sistem untuk nanti dan ubah persona saat Anda membuat percakapan baru
• Cari percakapan

Berkontribusi

Kontribusi sangat disambut. Mari kita buat Freechat sederhana dan kuat.

Kredit

Proyek ini tidak akan mungkin terjadi tanpa kerja keras:

• Georgi Gerganov untuk llama.cpp
• Meta untuk Pelatihan Llama 2
• Jon Durbin untuk pelatihan Spicyboros, model default
• Thebloke (Tom Jobbins) untuk kuantisasi model
• Monica Kogler untuk logo Freechat dan konsultasi UX yang tak terhitung

Juga banyak terima kasih kepada Billy Rennekamp, ​​Elliot Hursh, Tomás Savigliano, Judd Schoenholtz, Alex Farrill untuk sesi spitballing yang tak ternilai.