Foundationa LLM : 기업에서 생성적 AI를 배포, 확장, 보호 및 관리하기 위한 플랫폼

Foundationa LLM은 기업에서 생성적 AI를 배포, 확장, 보호 및 관리하기 위한 플랫폼을 제공합니다. Foundationa LLM을 사용하면 다음을 수행할 수 있습니다.

텍스트, 반구조적 또는 구조화된 데이터 등 기업 데이터를 기반으로 하는 AI 에이전트를 만듭니다.
브랜드 채팅 인터페이스를 통해 사용자가 AI 에이전트를 사용할 수 있도록 하거나 부조종사 경험을 위해 REST API를 AI 에이전트에 애플리케이션에 통합하거나 에이전트 API를 기계 간 자동화 프로세스에 통합하세요.
OpenAI GPT-4, Mistral 및 Llama 2를 포함한 다양한 대규모 언어 모델이나 REST 완료 엔드포인트를 제공하는 Hugging Face 모델 카탈로그에서 가져온 모든 모델을 사용할 수 있는 실험 구축 에이전트입니다.
관리 포털을 사용하여 프롬프트, 데이터 소스, 벡터화 데이터 파이프라인, 벡터 데이터베이스 및 대규모 언어 모델을 포함한 AI 에이전트와 기본 자산을 중앙에서 관리, 구성 및 보호하세요.
기업의 모든 사람이 자신만의 AI 에이전트를 만들 수 있도록 하세요. 개발자가 아닌 사용자는 관리 포털에서 셀프 서비스 방식으로 자신의 에이전트를 생성하고 배포할 수 있지만, 우리는 LangChain, Semantic Kernel에 내장된 자체 오케스트레이션을 배포할 수 있는 고급 AI 개발자를 방해하지 않습니다. 프롬프트 흐름 또는 완료 엔드포인트를 노출하는 오케스트레이션.
수백만 개의 문서를 수집하여 모델에 지식을 제공할 수 있는 확장 가능한 벡터화 데이터 파이프라인을 배포하고 관리하세요.
원하는 만큼 작업 중심의 AI 에이전트를 사용하여 사용자의 역량을 강화하세요.
역할 기반 액세스 제어(RBAC)를 사용하여 AI 에이전트 및 AI 에이전트가 액세스하는 리소스에 대한 액세스를 제어합니다.
하나의 통합 스택에서 Azure AI 및 Azure OpenAI의 빠르게 발전하는 기능을 활용하세요.

메모

Foundationa LLM은 대규모 언어 모델이 아닙니다. 이를 통해 원하는 대규모 언어 모델(예: OpenAI GPT-4, Mistral, LLama 2 등)을 사용할 수 있습니다.

Foundationa LLM은 Azure 클라우드 환경에 안전하고 포괄적이며 고도로 구성 가능한 부조종사 플랫폼을 배포합니다.

상황 내 학습(예: RAG, CoT, ReAct 및 내부 독백 패턴 활성화)을 위해 에이전트가 사용하는 엔터프라이즈 데이터 소스와의 통합을 단순화합니다.
공격으로부터 보호하는 에이전트 및 사전/사후 완료 필터에서 사용되는 데이터에 대한 세밀한 보안 제어를 통해 심층적인 방어를 제공합니다.
처음부터 LLM 레드팀의 공격을 받은 강화된 솔루션입니다.
확장 가능한 솔루션은 여러 LLM 엔드포인트에 걸쳐 로드 밸런싱을 수행합니다.
새로운 데이터 소스, 새로운 LLM 조정자 및 LLM으로 확장 가능합니다.

Foundationa LLM이 필요한 이유는 무엇입니까?

간단히 말해서 우리는 모델에 대해 훈련된 파라메트릭 지식이 아닌 기반이 있고 자체 데이터에 응답을 기반으로 하는 맞춤형 부조종사 또는 AI 에이전트를 얻기 위해 바퀴를 재창조하는 많은 사람들을 보았습니다. 우리가 본 많은 솔루션은 훌륭한 데모용으로 제작되었지만 사실상 OpenAI 엔드포인트에 대한 호출을 래핑하는 장난감에 불과했습니다. 이는 엔터프라이즈 규모로 생산할 의도가 없었거나 준비가 되어 있지 않았습니다. 우리는 지속적인 여정을 제공하기 위해 Foundationa LLM을 구축했습니다. 빠르게 시작하여 사람들이 LLM을 빠르게 실험할 수 있지만 안전하지 않고, 라이선스가 없고, 유연성이 없고, 충분한 기능을 갖추지 못한 솔루션을 사용하여 절벽에서 떨어지지 않도록 했습니다. 처음부터 다시 시작할 필요 없이 프로토타입에서 생산 솔루션으로 성장할 수 있습니다.

엔터프라이즈 부조종사 또는 AI 에이전트를 제공하는 데 있어 핵심 문제는 다음과 같습니다.

엔터프라이즈급 부조종사 또는 AI 에이전트는 복잡하고 움직이는 부분이 많습니다(인프라는 말할 것도 없고).
이러한 복잡한 부조종사 솔루션을 제공하는 데 필요한 역할을 수행하는 데 있어 업계에는 기술 격차가 있습니다.
주요 AI 위험(부정확성, 사이버 보안, 규정 준수, 설명 가능성, 개인 정보 보호)은 개별 도구로 완화되지 않습니다.
부조종사 또는 AI 에이전트 솔루션을 제공하는 것은 처음부터 시작할 때 시간이 많이 걸리고 비용이 많이 들고 실망스럽습니다.

오해와 현실

오인

LLM 앱과 AI 에이전트를 구축하는 것이 신속한 엔지니어링에 관한 것이라는 오해가 있습니다. 그 방법은 다음과 같습니다.

LLM 및 ChatGPT 오해

데모 및 장난감 시나리오에서는 그럴 수 있지만 기업의 AI 에이전트에는 다음과 같은 더 많은 요구 사항이 있습니다.

모델에 대한 지식으로 수천에서 수백만 개의 문서를 확장하고 일괄 로드하시겠습니까? ChatGPT 모델과 함께 다른 LLM(Llama 2, Mistral)을 활용하시겠습니까?
민감한 지식 소스를 승인된 사용자에게 비공개로 유지하시겠습니까?
민감한 데이터(PII, 영업 비밀)가 LLM으로 전송되지 않도록 하시겠습니까?
여러 AI 에이전트를 보유하고 있습니까?
토큰 사용을 관리하고 애플리케이션에 대한 지불 거절을 관리합니까?

현실

안전하고 잘 관리되며 확장 가능한 AI 에이전트를 구축하는 데 필요한 많은 구성 요소가 있으며 Foundationa LLM은 이 프로세스를 더 빠르고, 더 반복 가능하고, 더 안정적으로 만들기 위한 포괄적인 스택을 제공합니다.

FoundationLLM 스택

Foundationa LLM은 다른 솔루션과 비교하여 어디에 위치합니까?

생태계에는 부조종사 또는 AI 에이전트 구축의 일부를 돕는 훌륭한 도구가 많이 있습니다. 오직 Foundationa LLM 만이 이를 통합하여 중앙 집중식 관리, 에이전트 UI 및 API를 갖춘 완전히 사용자 정의 가능한 AI 에이전트를 생성하기 위한 엔드투엔드 플랫폼을 제공합니다.

FoundationLLM 플랫폼과 도구

가장 기본적으로 부조종사 또는 AI 에이전트는 기업에서 제공하는 지식과 생성적 AI 모델을 사용하여 텍스트를 작성하고, 코드를 작성하고, 이미지를 렌더링하며, 종종 사람이 제공한 프롬프트를 추론합니다. 이러한 양식 전반에 걸쳐 AI는 특정 작업을 통해 인간을 직접 지원하는 데 사용됩니다.

이 기본 기능은 두 가지 원형으로 나타나며 둘 다 Foundationa LLM이 기본적으로 지원합니다.

지식 관리: 사용자가 원하는 정보를 신속하게 찾고 적절한 수준과 형식으로 제공할 수 있도록 지원합니다. 예를 들어 요약, 페르소나를 다루기 위한 다른 표현 또는 대상 변경(예: 내가 5살인 것처럼 설명), 감정 분석 및 권장 사항이 포함됩니다.
분석: 사용자가 원하는 데이터 기반 통찰력을 빠르게 얻을 수 있도록 지원합니다. 예로는 권장 사항, 예측, 이상 탐지, 통계 분석, 데이터 쿼리 및 보고가 있습니다.

Foundationa LLM은 기업 전체에 존재하는 데이터 소스에 대한 지식 관리 (예: 질문/답변 에이전트) 및 분석 (예: 셀프 서비스 비즈니스 인텔리전스) 에이전트 구축을 단순화하고 능률화합니다.

선적 서류 비치

문서를 읽고 Foundationa LLM 에 대해 알아보세요. 여기에는 배포 지침, 빠른 시작, 아키텍처 및 API 참조가 포함됩니다.

시작하기

Foundationa LLM은 첫 번째 배포를 시작하고 실행하기 위한 간단한 명령줄 기반 접근 방식을 제공합니다. 기본적으로 두 가지 명령입니다. 그런 다음 솔루션을 사용자 지정하고, 컴퓨터에서 로컬로 실행하고, 사용자 지정 내용으로 배포를 업데이트할 수 있습니다.

빠른 시작 배포 지침에 따라 Azure 구독에 Foundationa LLM을 배포하세요.

문제 보고 및 지원

Foundationa LLM 에 문제가 발생하면 GitHub에서 문제를 열어주세요. 가능한 한 빨리 귀하의 문제에 응답해 드리겠습니다. 라벨( bug , documentation , general question , release xxx )을 사용하여 문제를 분류하고 문제를 이해하고 해결하는 데 도움이 되도록 가능한 한 많은 세부 정보를 제공하십시오.