foundationallm

Foundationa LLM ：用于在企业中部署、扩展、保护和管理生成式人工智能的平台

Foundationa法学硕士提供了在企业中部署、扩展、保护和管理生成式人工智能的平台。通过 Foundationa LLM，您可以：

• 创建基于企业数据（文本、半结构化或结构化数据）的 AI 代理。
• 通过品牌聊天界面向用户提供 AI 代理，或将 AI 代理的 REST API 集成到您的应用程序中以获得副驾驶体验，或将代理 API 集成到机器对机器的自动化流程中。
• 实验构建可以使用各种大型语言模型的代理，包括 OpenAI GPT-4、Mistral 和 Llama 2 或从提供 REST 完成端点的 Hugging Face 模型目录中提取的任何模型。
• 使用管理门户集中管理、配置和保护您的 AI 代理及其底层资产，包括提示、数据源、矢量化数据管道、矢量数据库和大型语言模型。
• 让企业中的每个人都能创建自己的 AI 代理。您的非开发人员用户可以从管理门户以自助方式创建和部署自己的代理，但我们不会妨碍您的高级 AI 开发人员，他们可以部署在 LangChain、语义内核、提示流或任何公开完成端点的编排。
• 部署和管理可扩展的矢量化数据管道，这些管道可以摄取数百万个文档以为您的模型提供知识。
• 根据需要为您的用户提供尽可能多的以任务为中心的 AI 代理。
• 使用基于角色的访问控制 (RBAC) 控制对 AI 代理及其访问的资源的访问。
• 通过一个集成堆栈利用 Azure AI 和 Azure OpenAI 快速发展的功能。

笔记

Foundationa LLM并不是一个大型语言模型。它使您能够使用您选择的大型语言模型（例如，OpenAI GPT-4、Mistral、LLama 2 等）

Foundationa LLM将安全、全面且高度可配置的副驾驶平台部署到您的 Azure 云环境：

• 简化与代理用于上下文学习的企业数据源的集成（例如，启用 RAG、CoT、ReAct 和内部独白模式）。
• 通过对代理使用的数据进行细粒度安全控制以及防止攻击的前/后完成过滤器来提供深度防御。
• 从一开始就受到 LLM 红队攻击的强化解决方案。
• 可扩展的解决方案在多个 LLM 端点之间进行负载平衡。
• 可扩展到新的数据源、新的法学硕士协调器和法学硕士。

为什么需要基础法学硕士？

简而言之，我们看到很多人重新发明轮子，只是为了获得一个定制的副驾驶或人工智能代理，这些代理是接地的，并且其响应基于他们自己的数据，而不是模型训练有素的参数知识。我们看到的许多解决方案都是为了出色的演示而设计的，但它们实际上只是包装对 OpenAI 端点的调用的玩具——它们并不是有意或准备在企业规模的生产中投入使用的。我们建立了Foundationa LLM来提供一个持续的旅程，一个快速上手的旅程，这样人们就可以快速尝试LLM，但之后不会因为解决方案不安全、未经许可、不灵活且功能不够齐全而掉下悬崖。从原型成长为生产解决方案，而无需从头开始。

交付企业副驾驶或AI代理的核心问题是：

• 企业级副驾驶或人工智能代理很复杂，并且有很多移动部件（更不用说基础设施）。
• 在填补提供这些复杂的副驾驶解决方案所需的角色方面，该行业存在技能差距。
• 个别工具无法缓解人工智能的主要风险（不准确、网络安全、合规性、可解释性、隐私）。
• 从头开始交付副驾驶或人工智能代理解决方案既耗时又昂贵，而且令人沮丧。

误解与现实

误解

有一种误解，认为构建 LLM 应用程序和 AI 代理都是关于快速工程的，它很简单：

对于演示和玩具场景来说可能是这样，但对于企业中的人工智能代理来说，还有更多的要求，例如您如何：

• 规模和批量加载数千到数百万个文档作为模型的知识？与 ChatGPT 模型一起利用其他 LLM（Llama 2、Mistral）吗？
• 将敏感知识源对授权用户保密？
• 防止敏感数据（PII、商业秘密）发送给法学硕士？
• 管理多个人工智能代理？
• 管理令牌的使用并管理应用程序的退款？

现实

构建安全、管理良好、可扩展和可扩展的人工智能代理需要用到很多组件，Foundationa LLM提供了一个全面的堆栈，使这个过程更快、更可重复、更可靠：

相对于其他解决方案，Foundationa LLM处于什么位置？

生态系统中有很多很棒的工具可以帮助构建副驾驶或人工智能代理。只有 Foundationa LLM将它们聚集在一起，提供端到端平台，用于创建具有集中管理、代理 UI 和 API 的完全可定制的 AI 代理。

最基本的是，副驾驶或人工智能代理使用企业提供的知识和生成式人工智能模型来创作文本、编写代码或渲染图像，通常是通过对人类提供的提示进行推理。在这些模式中，人工智能用于直接协助人类完成特定任务。

这种基本功能出现在两种原型中，Foundationa LLM本身就支持这两种原型：

• 知识管理：帮助用户快速找到他们寻求的信息，并以正确的级别和格式提供信息。示例包括总结、改写或重新定位以解决某个角色（例如，像我五岁一样解释它）、情绪分析和建议。
• 分析：帮助用户快速获得他们寻求的数据驱动的见解。示例包括建议、预测、异常检测、统计分析以及数据查询和报告。

Foundationa LLM简化并简化了在整个企业中存在的数据源上构建知识管理（例如，问答代理）和分析（例如，自助商业智能）代理。

文档

通过阅读文档快速了解 Foundationa LLM 。这包括部署说明、快速入门、架构和 API 参考。

入门

Foundationa LLM提供了一种简单的命令行驱动方法来启动并运行您的第一个部署。基本上，这是两个命令。之后，您可以自定义解决方案，在您的计算机上本地运行它并使用您的自定义更新部署。

按照快速入门部署说明在 Azure 订阅中部署 Foundationa LLM 。

报告问题和支持

如果您在使用 Foundationa LLM时遇到任何问题，请在 GitHub 上提出问题。我们将尽快回复您的问题。请使用标签（ bug 、 documentation 、 general question 、 release xxx ）对您的问题进行分类，并提供尽可能多的详细信息，以帮助我们理解和解决问题。

为 Foundationa LLM做出贡献

我们很高兴以反馈、错误报告和拉取请求的形式接受对 FoundationaLLM 项目的贡献。请参阅向 FoundationaLLM 做出贡献以获取说明。