Updated Langchain for GenAI Pet project v2

Membangun Chatbot Menggunakan LLM Berbayar dan Sumber Terbuka menggunakan Langchain dan Ollama

Proyek ujung ke ujung yang menyederhanakan siklus hidup aplikasi Model Bahasa Besar (LLM), termasuk pengembangan, produksi, dan penerapan. Repositori berisi folder dan file sebagai komponen proyek, seperti agen, API, rantai, chatbots, GROQ (bahasa kueri), model Hugging Face, ObjectBox (database tertanam), model OpenAI, dan Retrieval-Augmented Generation (RAG ). Proyek ini bertujuan untuk memberikan solusi komprehensif untuk bekerja dengan LLM, yang mencakup penanganan data, pengembangan chatbot, dan integrasi dengan berbagai alat dan kerangka kerja.

Proyek Langchain

---

Membangun Chatbot Menggunakan LLM Berbayar dan Sumber Terbuka dengan Langchain dan Ollama

Ikhtisar Proyek

Proyek ini mendemonstrasikan pembuatan chatbot menggunakan model bahasa skala besar (LLM) berbayar dan sumber terbuka melalui Langchain dan Ollama. Ini mencakup seluruh siklus hidup aplikasi LLM, termasuk pengembangan, produksi, dan penerapan.

Keamanan informasi:

Ya. Semua API bersifat rahasia, dengan akses pengguna terbatas dan .gitignore yang dianonimkan serta lapisan keamanan lainnya melalui Lingkungan Rahasia Github (Maaf! Anda harus menggunakan API Anda sendiri!)

Komponen Proyek Minimum

• Agen
• API / FastAPI
• Rantai
• bot obrolan
• GROQ (bahasa kueri)
• Memeluk Model Face22
• ObjectBox (database tertanam)
• model OpenAI
• Model Meta Llama2 (sumber terbuka)
• Model Pemulihan Augmented Generation (RAG).

Konfigurasi dan Instalasi

1. Konfigurasi Lingkungan

conda create -p venv python==3.10 -y
venv S cripts a ctivate
pip install -r requirements.txt

2. Konfigurasi

Konfigurasikan kunci dan pengaturan API yang diperlukan di file app.py

Menggunakan

1. Eksekusi Chatbot

python app.py

2. Akses ke Antarmuka Web

Buka browser web dan navigasikan ke (atau port progresif yang ditetapkan di komputer Anda). milikku adalah itu:

http://localhost:8502

---

Mari konfigurasikan app.py dan jalankan sesi di host lokal

• Kami membuat file dengan memanggil 3 fungsi berantai utama dari chatbot dasar kami.

• Kami memuat persyaratan untuk modul dan perpustakaan:

• Kami menjalankan app.py kami

  Kami selesai mengonfigurasi app.py dan menjalankannya
  

• Ini mengembalikan rute dan membuka host di browser pengujian

  Local URL: http://localhost:8502
  Network URL: http://192.168.100.30:8502

• Mari kita periksa halamannya:

• Mari kita tinjau proyek dalam kerangka Langchain:

• Mari kita lihat struktur keluaran saat kita mendefinisikannya:

  

• Kami melihat StrOutputParser secara detail:

  

• Kami akan bertanya kepada Anda tentang "menyediakan kode python yang menukar dua nilai" untuk mengevaluasi biaya, tokenisasi, dan waktu tunda untuk menyelesaikan pertanyaan:

• *proveeme de un código python que swapee 2 valores.* :

  

   # Definir los dos valores a intercambiar
  a = 5
  b = 10
  
  print ( "Valores originales:" )
  print ( "a =" , a )
  print ( "b =" , b )
  
  # Intercambiar los valores
  temp = a
  a = b
  b = temp
  
  print ( " n Valores intercambiados:" )
  print ( "a =" , a )
  print ( "b =" , b )

• Akhirnya kami menghasilkan kueri umum:

  “question”: “Kapan mulai menyikat gigi anak anjing?”

  

Mari konfigurasikan versi Lokal dengan Ollama

• Kami akan memuat Llamama secara khusus dengan mengunduh Llama2 ke komputer kami untuk menjalankannya dari lingkungan lokal saya

  • Saya membuka cmd

    ollama run llama2

  • kami mengunduh llama2

  

  

  • Kami akan berkonsultasi dengan 2 pertanyaan terakhir yang sama untuk mengevaluasi tingkat respons, koherensi, dan konsistensi dengan Llama2 dibandingkan dengan yang dihasilkan dengan gpt3.5 turbo
  • Kami melihat tanggapan di browser pengujian:

  

  • Mari kita tinjau langsmith di Langchain untuk meninjau penelusuran kueri, latensi, tokenisasi, dan keseluruhan proses.

  

  • “berikan saya kode python untuk menukar 2 nomor”

  

  • Bagaimana kita melihat waktu proses dan timbulnya respon
  • Jumlahnya jauh lebih tinggi, dan tokenisasi dengan cepat meroket menjadi 388 token.
  • Ukuran dan panjang jawaban dihasilkan oleh pertanyaan tersebut, tetapi lebih dari itu. Dan tingkat informasi dan kelengkapannya juga, yang berarti saya mencoba merespons model OpenAI dengan singkat dan presisi, tanpa membahas detail semantik saat model tersebut bekerja.
  • Lama 2 lebih bersifat verbal atau verbose dan dengan dampak yang terkait dengan waktu proses lokal yang bergantung pada komputer tempat model dijalankan dan kecerdasan di balik respons yang dihasilkan oleh model itu sendiri.

---

Karakteristik umum proyek

• Integrasi dengan model OpenAI GPT
• Dukungan LLM lokal menggunakan Ollama (Llama2)
• Antarmuka web untuk interaksi yang mudah
• Perbandingan kinerja antara LLM berbasis cloud dan lokal

Perbandingan Kinerja

Proyek ini mencakup perbandingan antara GPT-3.5-turbo OpenAI dan model Llama2 yang dijalankan secara lokal:

• Waktu respons (latensi)
• Penggunaan token
• Kualitas dan konsistensi tanggapan

Pemantauan dan Analisis

Kami menggunakan Langsmith di Langchain untuk memantau:

• Tata letak kueri
• Latensi
• Penggunaan token
• Alur proses umum

Kontribusi

Kontribusi untuk meningkatkan chatbot atau memperluas kemampuannya selalu diterima. Silakan kirimkan permintaan penarikan atau masalah terbuka untuk perbaikan apa pun.

#### Apakah kamu ingin belajar? kirimi saya DM!

Lisensi

Proyek ini bersifat open source dan tersedia di bawah Lisensi MIT.