llama gpt knowledgebot

Proyek: Sistem Penjawab Pertanyaan Berbasis Teks dengan Pengambilan Konteks

Proyek ini menerapkan sistem tanya jawab yang memanfaatkan model terlatih dan pencarian kesamaan semantik untuk memberikan respons informatif berdasarkan konteks tertentu.

Fitur Utama

• Pengambilan Konteks : Memanfaatkan Transformator Kalimat untuk menghasilkan penyematan untuk masukan pengguna dan dokumen yang disimpan (korpus).
• Pencarian Kesamaan Semantik : Menggunakan FAISS (Pencarian Kesamaan AI Facebook) untuk secara efisien mengidentifikasi dokumen paling relevan dengan pertanyaan pengguna.
• Pembuatan Respons Sadar Konteks : Menggabungkan konteks yang diambil dengan pertanyaan pengguna dan memasukkannya ke dalam model GPT-4 untuk menghasilkan respons.

Perincian Kode

Impor

• Flask : Kerangka web untuk membangun server API.
• Permintaan : Menangani input pengguna dari antarmuka web.
• Jsonify : Mengonversi respons ke format JSON untuk transmisi yang efisien.
• OS : Mengatur variabel lingkungan (saat ini tidak digunakan).
• Faiss : Perpustakaan untuk pencarian kesamaan cepat.
• Transformator Kalimat : Model terlatih untuk menghasilkan penyematan teks.
• GPT4all : Pustaka klien untuk mengakses model GPT-4.
• Threading : Mengaktifkan pembuatan respons berulir (saat ini diberi komentar).
• Permintaan : Perpustakaan untuk membuat permintaan HTTP (saat ini diberi komentar).

Pengaturan Aplikasi Flask

 app = Flask ( __name__ )  # Creates a Flask application instance.

Pemuatan Model Transformator Kalimat

Untuk menghasilkan penyematan teks untuk masukan pengguna dan korpus, kami menggunakan model Transformator Kalimat yang telah dilatih sebelumnya:

 model = SentenceTransformer ( 'all-MiniLM-L6-v2' )

• SentenceTransformer('all-MiniLM-L6-v2') : Perintah ini memuat model 'all-MiniLM-L6-v2', yang merupakan model ringan dan cepat yang cocok untuk menghasilkan penyematan untuk tugas kesamaan tekstual semantik.
• Model ini menghasilkan representasi vektor padat (embeddings) untuk teks, yang dapat digunakan untuk berbagai tugas, termasuk pencarian kesamaan, pengelompokan, dan klasifikasi.

Pemuatan Korpus

• data_dir : Jalur ke direktori yang berisi dokumen korpus (misal, artikel wiki Porsche).
• Kode melakukan iterasi melalui file di direktori data, membaca isinya, dan membangun korpus sebagai daftar daftar dokumen. Menanamkan Generasi

Menanamkan Generasi

 embeddings = model . encode ( corpus )  # Generates embeddings for each document in the corpus

Konstruksi Indeks FAISS

 d = len ( embeddings [ 0 ])  # Dimensionality of the embedding vectors.
nlist = 10  # Number of neighbors to consider during search.
newindex = faiss . IndexFlatL2 ( d )  # Creates a FAISS index optimized for efficient similarity search.
newindex . train ( embeddings )  # Trains the index on the generated embeddings.
newindex . add ( embeddings )  # Adds the corpus embeddings to the index.

Pemuatan Model GPT-4

 gptj = gpt4all . GPT4All ( "llama-2-7b-chat.ggmlv3.q4_0.bin" )  # Loads the GPT-4 model for text generation.

Titik Akhir API

• / : Menyajikan konten HTML statis (mungkin antarmuka web).
• /get-response : Menangani input pengguna, mengambil respons menggunakan generate_response, dan mengembalikan jawaban yang dihasilkan dalam format JSON.

Fungsi Pembuatan Respons (generate_response)

 xq = model . encode ([ user_input ])  # Generates an embedding for the user's input.
k = 1  # Specifies the number of nearest neighbors to retrieve.
D , I = newindex . search ( xq , k )  # Searches the FAISS index for the nearest neighbor (most similar document) to the user input.
most_similar_document = corpus [ I [ 0 ][ 0 ]]  # Extracts the most relevant document from the corpus based on the search results.
context = " " . join ( most_similar_document )  # Concatenates the retrieved document content into a single string.
question = user_input  # Stores the user's input as the question.
input_text = f"Context: { context } n n Question: { question } n n Answer:"  # Prepares the input text for GPT-4, combining context and question with placeholders.
max_tokens = 100  # Sets a maximum token limit for GPT-4 input (adjustable).
answer = gptj . generate ( input_text )  # Generates the response text using the GPT-4 model with the prepared context and question.

Pembuatan Respons Berulir (Berkomentar)

 def generate_response_threaded ( user_input ):
    response_thread = threading . Thread ( target = generate_response , args = ( user_input ,))
    response_thread . start ()
    response_thread . join ()

Eksekusi Aplikasi

 if __name__ == "__main__" :
    app . run ( debug = True )  # Starts the Flask application in debug mode, allowing for automatic code reloading during development.