SuperKnowa

Super Tahu

Kerangka Kerja Cepat untuk membangun Saluran Pipa Enterprise RAG (Retriever Augmented Generation) dalam Skala Besar - didukung oleh watsonx

Selamat datang di repositori SuperKnowa GitHub! Kerangka kerja SuperKnowa mempercepat aplikasi AI Generatif Perusahaan Anda untuk mendapatkan solusi siap pakai dengan cepat pada data pribadi Anda. Di sini, Anda akan menemukan beragam koleksi komponen pluggable yang dirancang untuk menangani berbagai kasus penggunaan AI Generatif menggunakan Large Language Model (LLM). Bayangkan komponen-komponen ini sebagai elemen penyusun, seperti potongan Lego, yang dapat Anda rakit untuk mengatasi berbagai tantangan dalam bidang pembuatan teks berbasis AI. Ini telah teruji pertempuran dari 1 juta hingga 200 juta basis pengetahuan pribadi & ditingkatkan hingga miliaran token retriever.

Keseluruhan alur kerangka SuperKnowa RAG & blok bangunan utama:

Komponen yang dapat dikonfigurasi untuk pipeline SuperKnowa RAG menggunakan satu file:

SuperKnowa adalah kerangka kerja canggih yang dikembangkan menggunakan watsonx (tonton video di watsonx.ai di sini) yang memanfaatkan kemampuan Model Bahasa Besar (LLM) untuk menawarkan berbagai kasus penggunaan AI Generatif tingkat lanjut. Repositori ini memperkenalkan Anda pada berbagai kasus penggunaan yang dicakup oleh SuperKnowa.

Pelajari lebih lanjut tentang SuperKnowa di postingan blog kami yang penuh wawasan:

Blog Sampul - SuperKnowa: Membangun Solusi RAG Perusahaan dalam Skala Besar https://medium.com/towards-generative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale-ca90b49be28a

Aplikasi untuk Tanya Jawab Langsung di Basis Pengetahuan Pribadi

Cobalah kerangka SuperKnowa dengan aplikasi langsung yang dibangun di atas basis pengetahuan pribadi dari 1 juta dokumen yang beragam:

https://superknowa.tsglwatson.buildlab.cloud/

(Jika Anda tidak memiliki ID IBM, silakan dapatkan di sini - https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776)

Memulai

Anda dapat memulai dengan memperbarui file config.yaml dan menjalankan skrip LLMQnA.py untuk mengonfigurasi pipeline RAG Anda dengan cepat:

 retriever:
  indexName: superknowa
  query: What is IBM Cloud?
  ....

reranker:
  query: What is IBM Data and Analytics Reference Architecture?
  ...

LLMQnA:
  question: What is IBM Data and Analytics Reference Architecture?
  ...

Untuk menjelajahi fitur dan kemampuan SuperKnowa, lihat seri blog, contoh kode, dan sumber daya yang disediakan dalam repositori ini.

Untuk petunjuk dan contoh mendetail, navigasikan ke direktori masing-masing komponen. Bebaskan potensi Model Bahasa Besar dalam proyek Anda menggunakan Komponen Lego AI Generatif SuperKnowa!

Mari kita buka potensi AI Generatif dengan SuperKnowa dan bentuk masa depan pemrosesan pengetahuan yang didukung AI!

Isi Repositori

1. Mengindeks Dokumen

   1. Pencarian Elastis

   2. Solr

   3. Penemuan Watson

2. Retriever Neural

   1. Pencarian Elastis

   2. Solr

3. Ranker Ulang

4. Pembelajaran dalam konteks menggunakan LLM

5. Evaluasi LLM

   1. Evaluasi Model LLM

   2. Integrasi MLFLOW

6. Penyempurnaan

   1. Instruksikan DB

   2. Menyempurnakan Falcon 7B menggunakan QLORA

   3. Menyempurnakan LLAMA2 7B menggunakan QLORA

7. Model RLHF

8. Terapkan & Simpulkan

   1. Bagian belakang

   2. Penyebaran

9. Alat Penyelarasan AI

   1. Tangkap Umpan Balik Manusia
   2. Dasbor Admin untuk Hasil Penyelarasan AI

10. Kasus Penggunaan LLM Perusahaan

Alat Penyelarasan AI

Ukur keselarasan model AI pada metrik manfaat, bahaya, dan akurasi dengan menangkap masukan manusia.

Dasbor Hasil

Bangun berbagai eksperimen online & offline untuk evaluasi dan bandingkan hasil penyelarasan AI menggunakan dasbor interaktif.

Perangkat Evaluasi LLM

Evaluasi_Paket

Eval_Package adalah alat yang dirancang untuk mengevaluasi kinerja LLM (Model Bahasa) pada kumpulan data yang berisi pertanyaan, konteks, dan jawaban ideal. Hal ini memungkinkan Anda menjalankan evaluasi pada berbagai kumpulan data dan menilai seberapa baik Model menghasilkan jawaban pada lusinan metrik statistik seperti BLUE, ROUGE, dll.

Fitur

• Evaluasi Model LLM pada kumpulan data khusus: Gunakan Eval_Package untuk menilai kinerja Model Anda pada kumpulan data pilihan Anda.
• Mengukur keakuratan model: Paket ini menyediakan metrik untuk mengukur keakuratan jawaban yang dihasilkan model terhadap jawaban ideal.

MLflow_Paket

MLflow_Package adalah perangkat komprehensif yang dirancang untuk mengintegrasikan hasil dari Eval_Package dan melacak serta mengelola eksperimen secara efisien. Ini juga memungkinkan Anda membuat papan peringkat untuk perbandingan evaluasi dan memvisualisasikan metrik melalui dasbor.

Fitur

• Metrik Statistik yang Didukung adalah BLEU, METEOR, ROUGE, Skor SentenceSim, Skor SimHash, Skor Perplexity, Skor BLEURT, Skor F1, dan skor BERT.
• Pelacakan eksperimen: Manfaatkan MLflow untuk menyimpan catatan eksperimen, termasuk parameter, metrik, dan artefak model yang dihasilkan selama evaluasi.
• Pembuatan papan peringkat: Paket ini memungkinkan Anda membuat papan peringkat, sehingga memudahkan untuk membandingkan kinerja Model yang berbeda di beberapa kumpulan data.
• Visualisasi metrik: Hasilkan bagan dan grafik yang mendalam melalui dasbor, memungkinkan Anda memvisualisasikan dan menganalisis metrik evaluasi dengan mudah.

Kasus Penggunaan LLM Perusahaan

Di bawah ini adalah daftar kasus penggunaan AI Generatif yang dibuat menggunakan kerangka SuperKnowa.

1. Tanya Jawab Percakapan tentang Basis Pengetahuan Pribadi

Terlibat dalam percakapan bahasa alami dengan sistem Tanya Jawab (Tanya Jawab) percakapan SuperKnowa. Ajukan pertanyaan berdasarkan basis pengetahuan perusahaan swasta, dan terima respons yang terperinci dan sesuai konteks.

2. Tanyakan PDF/Dokumen Anda

Manfaatkan fitur "Tanyakan dokumen Anda" SuperKnowa untuk membuka potensi PDF dan dokumen teks Anda. SuperKnowa dapat membantu Anda mengekstrak informasi yang relevan, menjawab pertanyaan spesifik, dan membantu pencarian informasi.

3. Ringkasan

Buat ringkasan yang koheren dan informatif dengan mudah menggunakan fitur ringkasan SuperKnowa di seluruh korpus teks besar menggunakan FlanT5 dan UL2. Ekstrak poin utama dan detail penting dari artikel, laporan, dan teks lainnya, sehingga memungkinkan pemahaman konten yang efisien.

4. Poin Penting dari PDF Anda

Fitur peringkasan abstrak SuperKnowa lebih dari sekadar ekstraksi sederhana menggunakan FlanUL2, dan LLAMA2. Itu dapat menganalisis dokumen PDF yang panjang dan menghasilkan ringkasan abstraktif yang ringkas, menangkap esensi konten. Selain itu, SuperKnowa mengidentifikasi poin-poin penting, sehingga lebih mudah untuk memahami dan mengkomunikasikan informasi yang kompleks.

5. Teks ke SQL

Rasakan kekuatan kemampuan Text-to-SQL SuperKnowa, yang mengubah kueri bahasa alami menjadi kueri SQL terstruktur. Berinteraksi dengan database menggunakan bahasa sederhana, sehingga menghilangkan kebutuhan akan keahlian dalam SQL.

Membangun Tim Lab

Dibuat & Didesain Oleh

• Kunal Sawarkar, Kepala Ilmuwan Data

Pembangun

• Shivam Solanki, Ilmuwan Data Penasihat Senior
• Michael Spriggs, Arsitek Utama
• Kevin Huang, Sr. Insinyur ML-Ops
• Abhilasha Mangal, Ilmuwan Data Senior
• Sahil Desai, Ilmuwan Data
• Amit Khandelwal- Ilmuwan Data Senior
• Himadri Talukder - Insinyur Perangkat Lunak Senior
• Tyler Benson- Ilmuwan Data

Penafian

Kerangka kerja ini dikembangkan oleh Build Lab, IBM Ecosystem. Harap diperhatikan bahwa konten ini disediakan untuk mendorong adopsi teknologi AI yang Dapat Disematkan dan melayani mitra ekosistem. Kontennya mungkin mencakup sistem & metode yang menunggu paten dari USPTO dan dilindungi berdasarkan Undang-Undang Paten AS. SuperKnowa bukanlah sebuah produk melainkan kerangka kerja yang dibangun di atas IBM watsonx bersama dengan produk lain seperti model LLAMA dari Meta & ML Flow dari Databricks. Menggunakan SuperKnowa secara implisit memerlukan persetujuan terhadap Syarat dan ketentuan produk tersebut. Kerangka kerja ini tersedia apa adanya untuk mempercepat pengembangan aplikasi Enterprise GenAI. Jika ada pertanyaan, silakan hubungi [email protected].

Hak Cipta @ 2023 IBM Corporation.