foundationallm

Foundationa LLM ：用於在企業中部署、擴展、保護和管理生成式人工智慧的平台

Foundationa法學碩士提供了在企業中部署、擴展、保護和管理生成式人工智慧的平台。透過 Foundationa LLM，您可以：

• 建立基於企業資料（文字、半結構化或結構化資料）的 AI 代理程式。
• 透過品牌聊天介面向使用者提供 AI 代理，或將 AI 代理的 REST API 整合到您的應用程式中以獲得副駕駛體驗，或將代理 API 整合到機器對機器的自動化流程中。
• 實驗建構可以使用各種大型語言模型的代理，包括 OpenAI GPT-4、Mistral 和 Llama 2 或從提供 REST 完成端點的 Hugging Face 模型目錄中提取的任何模型。
• 使用管理入口網站集中管理、配置和保護您的 AI 代理程式及其底層資產，包括提示、資料來源、向量化資料管道、向量資料庫和大型語言模型。
• 讓企業中的每個人都能創建自己的 AI 代理。您的非開發人員用戶可以從管理入口網站以自助方式創建和部署自己的代理，但我們不會妨礙您的高級 AI 開發人員，他們可以部署在 LangChain、語義內核、提示流或任何公開完成端點的編排。
• 部署和管理可擴展的向量化資料管道，這些管道可以攝取數百萬個文件來為您的模型提供知識。
• 根據需要為您的用戶提供盡可能多的以任務為中心的 AI 代理程式。
• 使用基於角色的存取控制 (RBAC) 控制對 AI 代理程式及其存取的資源的存取。
• 透過一個整合式堆疊利用 Azure AI 和 Azure OpenAI 快速發展的功能。

筆記

Foundationa LLM並不是一個大型語言模式。它使您能夠使用您選擇的大型語言模型（例如，OpenAI GPT-4、Mistral、LLama 2 等）

Foundationa LLM將安全、全面且高度可設定的副駕駛平台部署到您的 Azure 雲端環境：

• 簡化與代理用於上下文學習的企業資料來源的整合（例如，啟用 RAG、CoT、ReAct 和內部獨白模式）。
• 透過對代理程式使用的資料進行細粒度安全控制以及防止攻擊的前/後完成過濾器來提供深度防禦。
• 從一開始就受到 LLM 紅隊攻擊的強化解決方案。
• 可擴充的解決方案在多個 LLM 端點之間進行負載平衡。
• 可擴展到新的資料來源、新的法學碩士協調器和法學碩士。

為什麼需要基礎法學碩士？

簡而言之，我們看到很多人重新發明輪子，只是為了獲得一個定制的副駕駛或人工智慧代理，這些代理是接地的，並且其響應基於他們自己的數據，而不是模型訓練有素的參數知識。我們看到的許多解決方案都是為了出色的演示而設計的，但它們實際上只是包裝對 OpenAI 端點的調用的玩具——它們並不是有意或準備在企業規模的生產中投入使用的。我們建立了Foundationa LLM來提供一個持續的旅程，一個快速上手的旅程，讓人們可以快速嘗試LLM，但之後不會因為解決方案不安全、未經許可、不靈活且功能不夠齊全而掉下懸崖。

交付企業副駕駛或AI代理的核心問題是：

• 企業級副駕駛或人工智慧代理很複雜，並且有很多移動部件（更不用說基礎設施）。
• 在填補提供這些複雜的副駕駛解決方案所需的角色方面，該行業存在技能差距。
• 個別工具無法緩解人工智慧的主要風險（不準確、網路安全、合規性、可解釋性、隱私）。
• 從頭開始交付副駕駛或人工智慧代理解決方案既耗時又昂貴，而且令人沮喪。

誤解與現實

誤解

有一種誤解，認為建立 LLM 應用程式和 AI 代理程式都是關於快速工程的，它很簡單：

對於演示和玩具場景來說可能是這樣，但對於企業中的人工智慧代理商來說，還有更多的要求，例如您如何：

• 規模和批量加載數千到數百萬個文檔作為模型的知識？與 ChatGPT 模型一起利用其他 LLM（Llama 2、Mistral）嗎？
• 將敏感知識源對授權使用者保密？
• 防止敏感資料（PII、商業機密）發送給法學碩士？
• 管理多個人工智慧代理？
• 管理令牌的使用並管理應用程式的退款？

現實

建置安全、管理良好、可擴展且可擴展的人工智慧代理需要用到很多元件，Foundationa LLM提供了一個全面的堆疊，使這個過程更快、更可重複、更可靠：

相對於其他解決方案，Foundationa LLM處於什麼位置？

生態系統中有很多很棒的工具可以幫助建立副駕駛或人工智慧代理。只有 Foundationa LLM將它們聚集在一起，提供端到端平台，用於創建具有集中管理、代理 UI 和 API 的完全可自訂的 AI 代理。

最基本的是，副駕駛或人工智慧代理使用企業提供的知識和生成式人工智慧模型來創作文字、編寫程式碼或渲染圖像，通常是透過對人類提供的提示進行推理。在這些模式中，人工智慧用於直接協助人類完成特定任務。

這個基本功能出現在兩種原型中，Foundationa LLM本身就支援這兩種原型：

• 知識管理：幫助使用者快速找到他們所尋求的信息，並以正確的等級和格式提供資訊。例如總結、改寫或重新定位以解決某個角色（例如，像我五歲一樣解釋它）、情緒分析和建議。
• 分析：幫助使用者快速獲得他們尋求的數據驅動的見解。例如建議、預測、異常檢測、統計分析以及資料查詢和報告。

Foundationa LLM簡化並簡化了在整個企業中存在的資料來源上建立知識管理（例如，問答代理）和分析（例如，自助商業智慧）代理程式。

文件

透過閱讀文件快速了解 Foundationa LLM 。這包括部署說明、快速入門、架構和 API 參考。

入門

Foundationa LLM提供了一種簡單的命令列驅動方法來啟動並執行您的第一個部署。基本上，這是兩個命令。之後，您可以自訂解決方案，在您的電腦上本地運行它並使用您的自訂更新部署。

請依照快速入門部署說明在 Azure 訂閱中部署 Foundationa LLM 。

報告問題和支持

如果您在使用 Foundationa LLM時遇到任何問題，請在 GitHub 上提出問題。我們將盡快回覆您的問題。請使用標籤（ bug 、 documentation 、 general question 、 release xxx ）對您的問題進行分類，並提供盡可能多的詳細信息，以幫助我們理解和解決問題。

為 Foundationa LLM做出貢獻

我們很高興以回饋、錯誤報告和拉取請求的形式接受對 FoundationaLLM 專案的貢獻。請參閱向 FoundationaLLM 做出貢獻以取得說明。