chat with llms

Mengobrol Dengan LLM

Mengobrol Dengan LLM adalah aplikasi web yang memungkinkan pengguna mengobrol dengan berbagai model bahasa besar (LLM) dari penyedia AI terkemuka. Hal ini memungkinkan pengguna untuk berpindah model di tengah percakapan tanpa kehilangan konteks obrolan apa pun.

Ringkasan

Proyek ini mengintegrasikan pembuatan teks berbasis API menggunakan berbagai Model Bahasa Besar (LLM). Kerangka kerja yang digunakan untuk mengatur interaksi ini adalah LangChain, yang memungkinkan integrasi tanpa batas dan pemilihan model dinamis di berbagai penyedia.

Saat ini, platform tersebut mendukung enam penyedia LLM berbeda, masing-masing menawarkan berbagai model obrolan:

Itu adalah

• OpenAI
• Antropis
• Google
• Mistral
• Kebingungan
• BersamaAI

Tumpukan Teknologi

• Bagian Belakang : Kerangka Python FastAPI
• Kerangka LLM: Python LangChain
• Bagian depan : ReactJs
• Basis Data: Basis Data Google Firestore
• Hosting : Google Cloud Run
• CI/CD : Tindakan Github

Arsitektur Sistem

Otentikasi : Aplikasi web menggunakan Google OAuth 2.0 untuk otentikasi dan login pengguna yang aman.

Server Backend : Pesan pengguna diproses, dan tanggapan dari LLM dihasilkan menggunakan kerangka FastAPI Python. Backend juga mengintegrasikan kerangka LangChain, yang bertanggung jawab untuk menghasilkan dan mengelola panggilan API ke penyedia LLM yang berbeda secara cepat.

Streaming Acara : Acara Terkirim Server (SSE) adalah standar untuk komunikasi satu arah waktu nyata dari server ke klien melalui HTTP. Dengan SSE, server dapat mengirimkan token data yang dihasilkan demi token ke klien tanpa klien harus memintanya berulang kali.

Basis Data Firestore : Informasi pengguna, detail obrolan, dan riwayat obrolan disimpan di basis data Firestore Google. Firestore dipilih karena tingkat gratisnya, performa tinggi, dan kemampuan penskalaan otomatisnya, sehingga ideal untuk aplikasi yang dinamis dan berkembang.

ReactJS Frontend : Frontend dibangun dengan ReactJS, menyediakan antarmuka pengguna yang interaktif dan responsif untuk interaksi yang lancar dengan aplikasi obrolan.

Instalasi

Buat salinan file .env.example dan ganti namanya menjadi .env :

cp .env.example .env  # For Unix/Linux
copy .env.example .env  # For Windows

Buka file .env di editor teks dan masukkan variabel yang diperlukan dengan nilainya yang sesuai. Variabel-variabel ini biasanya berupa kunci API dan konfigurasi khusus lingkungan lainnya.

Direkomendasikan : Gunakan penulisan Docker untuk memulai chat-with-llms.

docker-compose up

Semua layanan akan aktif dan berjalan pada port berikut:

Backend FastAPI : localhost:8080
ReactJS Frontend : localhost:3000

Tanpa Docker

1. Instal pipenv menggunakan pip:

pip install pipenv

2. Instal paket yang diperlukan menggunakan pipenv dan Pipfile yang disediakan:

pipenv install

3. Mulai server ujung belakang

nodemon 
or 
uvicorn app:app --port 5000

4. Buka folder web dan instal node_modules

 cd web
npm install

5. Mulai server ujung depan

 npm start

Titik akhir

Akses dokumen angkuh menggunakan tautan di bawah

http://localhost:8080/docs