local chat

Obrolan Lokal

Mengobrol dengan model bahasa generatif secara lokal di komputer Anda tanpa pengaturan apa pun. LocalChat adalah obrolan AI lokal yang sederhana, mudah diatur, dan Sumber Terbuka yang dibangun di atas llama.cpp. Hal ini tidak memerlukan pengetahuan teknis dan memungkinkan pengguna untuk merasakan perilaku seperti ChatGPT di mesin mereka sendiri — sepenuhnya sesuai dengan GDPR dan tanpa rasa takut akan kebocoran informasi secara tidak sengaja. Unduh LocalChat untuk macOS, Windows, atau Linux di sini.

Daftar isi
Ikhtisar | Dasar Pemikiran | Persyaratan Sistem | Mulai Cepat | Dokumentasi

Ringkasan

LocalChat menyediakan antarmuka seperti obrolan untuk berinteraksi dengan Model Bahasa Besar (LLM) generatif. Tampaknya dan terasa seperti percakapan obrolan apa pun, tetapi terjadi secara lokal di komputer Anda. Tidak ada data yang dikirimkan ke beberapa server cloud.

Sudah ada beberapa model bahasa generatif yang sangat mumpuni yang terlihat dan terasa hampir seperti ChatGPT. Perbedaan utamanya adalah model-model tersebut dijalankan secara lokal dan berbobot terbuka.

Penting

Seperti yang mungkin sudah Anda ketahui, mengobrol dengan LLM mungkin terasa sangat alami, namun modelnya tetap bersifat probabilistik: Mereka akan menghasilkan kemungkinan kata berikutnya berdasarkan apa yang ada di prompt. LLM tidak mengenal waktu, kausalitas, konteks, dan apa yang oleh ahli bahasa disebut pragmatik. Oleh karena itu, mereka cenderung mengarang peristiwa yang tidak pernah terjadi, mencampuradukkan fakta dari peristiwa yang berbeda, atau langsung berbohong (dikenal sebagai "halusinasi"). Hal yang sama berlaku untuk kode atau perhitungan yang dapat dihasilkan oleh model ini. Hal ini dikatakan:

• Jangan pernah mempercayai modelnya . Konfirmasikan setiap informasi yang mereka berikan dengan penelitian independen. Pencarian cepat di Google untuk banyak hal yang dihasilkannya akan memberi Anda lebih banyak informasi yang benar secara faktual.
• Jangan membabi buta menjalankan kode yang dihasilkannya . Kode tersebut tampaknya berfungsi, tetapi mungkin juga menghapus seluruh disk Anda.
• Jangan percaya perhitungannya .
• Cobalah untuk menjaga setiap percakapan pada satu topik untuk meningkatkan kualitas.

Berhati-hatilah dan gunakan model ini dengan risiko Anda sendiri. Ingatlah bahwa ini adalah mainan, bukan sesuatu yang dapat diandalkan.

Mengapa?

Saat ChatGPT diluncurkan pada November 2022, saya sangat gembira – namun di saat yang sama juga berhati-hati. Meskipun saya sangat terkesan dengan kemampuan GPT-3, saya sangat menyadari fakta bahwa model tersebut merupakan hak milik, dan, meskipun bukan hak milik, mustahil untuk dijalankan secara lokal. Sebagai warga negara Eropa yang sadar privasi, saya tidak suka membayangkan ketergantungan pada perusahaan multi-miliar dolar yang dapat memutus akses kapan saja.

Oleh karena itu, saya tidak bisa bermain-main dengan GPT dan memutuskan untuk menunggu hal yang tak terhindarkan: pengembangan alat yang lebih kecil dan lebih baik. Saat ini, ada beberapa model yang memenuhi semua kebutuhan: Mereka berjalan secara lokal dan terasa seperti ChatGPT. Dengan kuantisasi (yang pada dasarnya mengurangi resolusi dengan beberapa penurunan kualitas), mereka bahkan dapat dijalankan pada perangkat keras yang lebih lama.

Namun, jika Anda tidak memiliki pengalaman dengan LLM, akan sulit menjalankannya .

Alasan mengapa aplikasi ini ada adalah (a) Saya ingin menerapkannya sendiri untuk melihat cara kerjanya secara ergonomis, dan (b) Saya ingin menyediakan lapisan yang sangat sederhana untuk berinteraksi dengan hal-hal ini tanpa harus khawatir tentang pengaturan PyTorch dan Transformer secara lokal.

Anda hanya menginstal aplikasi, mengunduh model, dan berangkat.

Persyaratan Sistem

Aplikasi ini memerlukan komputer yang cukup baru untuk dijalankan. Namun, aplikasi ini bergantung pada LLM, yang terkenal haus kekuasaan. Oleh karena itu, perangkat keras komputer Anda akan menentukan model mana yang dapat Anda jalankan.

Model berukuran "biasa" kemungkinan memerlukan kartu grafis khusus dengan memori video antara 6 dan 18 GB, kecuali Anda bersedia menunggu lebih dari satu detik per kata.

Banyak model saat ini hadir dalam bentuk terkuantisasi, sehingga model yang lebih besar juga tersedia untuk perangkat keras yang lebih lama atau kurang bertenaga. Kuantisasi terkadang cukup mengurangi persyaratan sistem pada model yang terlalu besar tanpa terlalu banyak kehilangan kualitas (tetapi jarak tempuh Anda mungkin berbeda dari model ke model).

Penting

Sebagai model bahasa yang besar, menghasilkan respons akan memerlukan sedikit waktu. Jadi terutama jika Anda tidak memiliki GPU khusus di komputer Anda, harap bersabar, atau coba model yang lebih kecil.

Mulai Cepat

1. Unduh aplikasinya dari bagian rilis repositori ini, dan instal
2. Buka manajer model untuk menerima instruksi mengunduh model
   1. Kunjungi Huggingface.co
   2. Unduh model dalam format GGUF
   3. Tempatkan file model tersebut ke dalam direktori model aplikasi
3. Mengobrol!

Tip

Anda dapat menemukan dokumentasi lengkapnya di situs web aplikasi.

Antarmuka pengguna dipisahkan menjadi tiga komponen utama:

• Sidebar di sebelah kiri berisi daftar percakapan Anda. Anda perlu membuat percakapan baru untuk mulai mengobrol. Secara default, percakapan ini akan menggunakan model pertama yang tersedia. Anda dapat mengubahnya nanti. Percakapan dan obrolan tetap ada saat aplikasi dimulai ulang. Anda dapat menampilkan dan menyembunyikan sidebar dengan tombol menu kecil di kiri atas.
• Area utama ditempati oleh antarmuka obrolan. Di sini Anda akan melihat pesan percakapan saat ini, dapat mengetik pesan baru, dan melihat bagaimana model menghasilkan respons.
• Bilah status di bagian bawah memberi Anda beberapa indikasi status tentang kinerja aplikasi dan model.

Lisensi

Kode ini dilisensikan melalui GNU GPL 3.0. Baca selengkapnya di file LISENSI.