SuperKnowa
SuperKnowa RAG
用於大規模建造企業 RAG（Retriever Augmented Generation）管道的快速框架 - 由 watsonx 提供支持
歡迎來到 SuperKnowa GitHub 儲存庫！ SuperKnowa 框架可加速您的企業生成式 AI 應用程序，以便根據您的私人資料快速獲得產品就緒的解決方案。在這裡，您會發現各種可插入元件，旨在使用大型語言模型 (LLM) 處理各種生成式 AI 用例。將這些組件視為構建塊，就像樂高積木一樣，您可以將它們組裝起來以解決人工智慧驅動的文本生成領域的各種挑戰。這些都經過了從 1M 到 200M 私人知識庫的實戰測試，並可擴展到數十億個檢索器代幣。
SuperKnowa RAG 框架和關鍵構建塊的整體流程：
使用單一檔案的 SuperKnowa RAG 管道的可設定元件：
SuperKnowa 是一個使用 watsonx 開發的強大框架（在此處觀看 watsonx.ai 上的影片），它利用大型語言模型 (LLM) 的功能來提供一系列高級生成式 AI 用例。該存儲庫向您介紹 SuperKnowa 涵蓋的各種用例。
在我們富有洞察力的部落格文章中了解有關 SuperKnowa 的更多資訊：
封面部落格- SuperKnowa：大規模建構企業RAG 解決方案https://medium.com/towards-generative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale- ca90b49be28a
嘗試使用 SuperKnowa 框架和基於 100 萬個不同文件的私有知識庫建立的即時應用程式：
https://superknowa.tsglwatson.buildlab.cloud/
（如果您沒有 IBM ID，請在此處取得 - https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776）
您可以透過更新config.yaml檔案開始並執行 LLMQnA.py 腳本來快速設定 RAG 管道：
retriever:
indexName: superknowa
query: What is IBM Cloud?
....
reranker:
query: What is IBM Data and Analytics Reference Architecture?
...
LLMQnA:
question: What is IBM Data and Analytics Reference Architecture?
...
若要探索 SuperKnowa 的特性和功能，請參閱此儲存庫中提供的部落格系列、程式碼範例和資源。
有關詳細說明和範例，請導航至每個組件的目錄。使用 SuperKnowa 的生成式 AI 樂高元件在您的專案中釋放大型語言模型的潛力！
讓我們透過 SuperKnowa 釋放生成式人工智慧的潛力，塑造人工智慧驅動的知識處理的未來！
索引文檔
彈性搜尋
索爾
沃森發現
神經檢索器
彈性搜尋
索爾
重新排序
使用法學碩士進行情境學習
法學碩士評估
LLM模型評估
MLFLOW 集成
微調
指導資料庫
使用 QLORA 微調 Falcon 7B
使用 QLORA 微調 LLAMA2 7B
RLHF模型
部署和推斷
後端
部署
人工智慧對齊工具
企業法學碩士用例
透過捕捉人類輸入，衡量人工智慧模型在有用性、有害性和準確性指標上的一致性。
建立各種線上和離線實驗進行評估，並使用互動式儀表板比較 AI 對齊結果。
Eval_Package 是一款旨在評估 LLM（語言模型）在包含問題、上下文和理想答案的資料集上的表現的工具。它允許您對各種資料集進行評估，並評估模型根據 BLUE、ROUGE 等數十種統計指標產生答案的效果。
MLflow_Package 是一個綜合工具包，旨在整合 Eval_Package 的結果並有效追蹤和管理實驗。它還使您能夠創建用於評估比較的排行榜並通過儀表板視覺化指標。
以下是使用 SuperKnowa 框架建立的生成式 AI 用例清單。
使用 SuperKnowa 的對話式問答 (Q&A) 系統進行自然語言對話。根據私人企業知識庫提出問題，並獲得詳細的、上下文相關的答案。
利用 SuperKnowa 的「詢問您的文件」功能來釋放 PDF 和文字文件的潛力。 SuperKnowa 可以幫助您提取相關資訊、回答特定問題並協助資訊檢索。
使用 FlanT5 和 UL2，利用 SuperKnowa 的摘要功能在大型文字語料庫中輕鬆產生連貫且內容豐富的摘要。從文章、報告和其他文本中提取要點和基本細節，以便有效理解內容。
SuperKnowa 的抽象摘要功能不僅僅是使用 FlanUL2 和 LLAMA2 進行簡單提取。它可以分析冗長的 PDF 文件並產生簡潔的抽象摘要，捕捉內容的精髓。此外，SuperKnowa 還可以識別關鍵點，從而更容易理解和傳達複雜的訊息。
體驗 SuperKnowa 文字到 SQL 功能的強大功能，它將自然語言查詢轉換為結構化 SQL 查詢。使用簡單語言與資料庫交互，無需 SQL 專業知識。
創建和架構師
建設者
該框架由 IBM Ecosystem 的 Build Lab 開發。請注意，提供此內容是為了促進嵌入式人工智慧技術的採用並為生態系統合作夥伴提供服務。內容可能包括正在向美國專利商標局申請專利並受美國專利法保護的系統和方法。 SuperKnowa 不是產品，而是建構在 IBM watsonx 之上的框架，以及其他產品，例如來自 Meta 的 LLAMA 模型和來自 Databricks 的 ML Flow。使用 SuperKnowa 隱式要求同意這些產品的條款和條件。該框架按原樣提供，以加速企業 GenAI 應用程式的開發。如有任何疑問，請聯絡 [email protected]。
版權所有@2023 IBM 公司。
