foundationallm

Foundationa LLM : A plataforma para implantar, dimensionar, proteger e governar IA generativa nas empresas

Foundationa LLM fornece a plataforma para implantação, dimensionamento, segurança e governança de IA generativa na empresa. Com Foundationa LLM você pode:

• Crie agentes de IA baseados em dados corporativos, sejam dados de texto, semiestruturados ou estruturados.
• Disponibilize agentes de IA para seus usuários por meio de uma interface de chat de marca ou integre a API REST ao agente de IA em seu aplicativo para uma experiência de copiloto ou integre a API do agente em um processo automatizado máquina a máquina.
• Experimente agentes de construção que podem usar uma variedade de modelos de linguagem grandes, incluindo OpenAI GPT-4, Mistral e Llama 2 ou quaisquer modelos extraídos do catálogo de modelos Hugging Face que fornecem um endpoint de conclusão REST.
• Gerencie, configure e proteja centralmente seus agentes de IA E seus ativos subjacentes, incluindo prompts, fontes de dados, pipelines de dados de vetorização, bancos de dados de vetores e grandes modelos de linguagem usando o portal de gerenciamento.
• Permita que todos na sua empresa criem seus próprios agentes de IA. Seus usuários não desenvolvedores podem criar e implantar seus próprios agentes de forma self-service a partir do portal de gerenciamento, mas não atrapalhamos seus desenvolvedores avançados de IA que podem implantar suas próprias orquestrações construídas em LangChain, Kernel Semântico, Prompt Flow ou qualquer orquestração que exponha um endpoint de conclusão.
• Implante e gerencie pipelines de dados de vetorização escaláveis ​​que podem ingerir milhões de documentos para fornecer conhecimento ao seu modelo.
• Capacite seus usuários com quantos agentes de IA focados em tarefas desejarem.
• Controle o acesso aos agentes de IA e aos recursos que eles acessam usando controles de acesso baseados em funções (RBAC).
• Aproveite os recursos em rápida evolução do Azure AI e do Azure OpenAI em uma pilha integrada.

Observação

Foundationa LLM não é um grande modelo de linguagem. Ele permite que você use grandes modelos de linguagem de sua escolha (por exemplo, OpenAI GPT-4, Mistral, LLama 2, etc.)

Foundationa LLM implanta uma plataforma de copiloto segura, abrangente e altamente configurável em seu ambiente de nuvem Azure:

• Simplifica a integração com fontes de dados empresariais usadas pelo agente para aprendizagem no contexto (por exemplo, habilitando RAG, CoT, ReAct e padrões de monólogo interno).
• Fornece defesa detalhada com controles de segurança detalhados sobre os dados usados ​​pelo agente e filtros pré/pós-conclusão que protegem contra ataques.
• Solução reforçada atacada por uma equipe vermelha LLM desde o início.
• Balanceamento de carga de solução escalonável em vários endpoints do LLM.
• Extensível para novas fontes de dados, novos orquestradores LLM e LLMs.

Por que o Foundationa LLM é necessário?

Simplificando, vimos muitas pessoas reinventando a roda apenas para obter um copiloto personalizado ou agente de IA que fosse fundamentado e baseasse suas respostas em seus próprios dados, em oposição ao conhecimento paramétrico treinado do modelo. Muitas das soluções que vimos foram feitas para ótimas demonstrações, mas eram na verdade brinquedos que envolvem chamadas para endpoints OpenAI - elas não eram algo planejado ou pronto para ser colocado em produção em escala empresarial. Construímos o Foundationa LLM para fornecer uma jornada contínua, rápida para começar, para que as pessoas pudessem experimentar rapidamente os LLMs, mas não cair de um penhasco depois disso com uma solução que seria insegura, não licenciada, inflexível e sem recursos suficientes para crescer do protótipo para uma solução de produção sem ter que começar tudo de novo.

Os principais problemas para fornecer copilotos empresariais ou agentes de IA são:

• Copilotos de nível empresarial ou agentes de IA são complexos e possuem muitas peças móveis (sem mencionar a infraestrutura).
• A indústria tem uma lacuna de competências quando se trata de preencher as funções necessárias para fornecer estas soluções complexas de copiloto.
• Os principais riscos da IA ​​(imprecisão, cibersegurança, conformidade, explicabilidade, privacidade) não estão a ser mitigados por ferramentas individuais.
• A entrega de uma solução de copiloto ou agente de IA é demorada, cara e frustrante quando se começa do zero.

O Equívoco vs Realidade

Equívoco

Existe um equívoco de que construir aplicativos LLM e agentes de IA envolve engenharia imediata, é tão fácil quanto:

Isso pode ser verdade para demonstrações e cenários de brinquedo, mas para agentes de IA na empresa há muito mais requisitos, como:

• dimensionar e carregar em lote milhares a milhões de documentos como conhecimento para o modelo? aproveitar outros LLMs (Llama 2, Mistral) junto com modelos ChatGPT?
• manter fontes de conhecimento confidenciais privadas para usuários autorizados?
• impedir que dados confidenciais (PII, segredos comerciais) sejam enviados ao LLM?
• consegue ter vários agentes de IA?
• governar o uso de tokens e gerenciar estornos para aplicativos?

Realidade

Existem muitos componentes necessários para a construção de um agente de IA seguro, bem governado, escalonável e extensível, e o Foundationa LLM fornece uma pilha abrangente para tornar esse processo mais rápido, repetível e confiável:

Onde fica o Foundationa LLM em relação a outras soluções?

Existem muitas ferramentas excelentes no ecossistema que ajudam na construção de um copiloto ou agente de IA. Somente Foundationa LLM os reúne para fornecer a plataforma ponta a ponta para a criação de agentes de IA totalmente personalizáveis ​​com gerenciamento centralizado, interfaces de usuário e APIs de agentes.

Na sua forma mais básica, um copiloto ou agente de IA utiliza conhecimento fornecido pela empresa e modelos de IA generativos para criar texto, escrever código ou renderizar imagens, muitas vezes através do raciocínio sobre instruções fornecidas por humanos. Nessas modalidades, a IA é usada para auxiliar um ser humano diretamente em uma tarefa específica.

Esta capacidade básica emerge em dois arquétipos, ambos os quais o Foundationa LLM suporta nativamente:

• Gestão do Conhecimento: Ajude os usuários a encontrar rapidamente as informações que procuram e a fornecer no nível certo e no formato certo. Os exemplos incluem resumo, reformulação ou retargeting para abordar uma persona (por exemplo, explicar como se eu tivesse cinco anos), análise de sentimento e recomendações.
• Análise: ajude os usuários a obter rapidamente os insights baseados em dados que procuram. Os exemplos incluem recomendações, previsões, detecção de anomalias, análise estatística e consulta e relatórios de dados.

O Foundationa LLM simplifica e agiliza a construção de agentes de gerenciamento de conhecimento (por exemplo, agentes de perguntas/respostas) e analíticos (por exemplo, inteligência de negócios de autoatendimento) sobre as fontes de dados presentes em sua empresa.

Documentação

Familiarize-se com o Foundationa LLM lendo a documentação. Isso inclui instruções de implantação, guias de início rápido, arquitetura e referências de API.

Começando

Foundationa LLM fornece uma abordagem simples orientada por linha de comando para colocar sua primeira implantação em funcionamento. Basicamente, são dois comandos. Depois disso, você pode customizar a solução, executá-la localmente em sua máquina e atualizar a implantação com suas customizações.

Siga as instruções de implantação de início rápido para implantar o Foundationa LLM em sua assinatura do Azure.

Relatando problemas e suporte

Se você encontrar algum problema com Foundationa LLM , abra um problema no GitHub. Responderemos ao seu problema o mais breve possível. Use os rótulos ( bug , documentation , general question , release xxx ) para categorizar seu problema e fornecer o máximo de detalhes possível para nos ajudar a entender e resolver o problema.

Contribuindo para a Foundationa LLM

Estamos felizes em aceitar contribuições para o projeto FoundationaLLM na forma de feedback, relatórios de bugs e solicitações pull. Consulte Contribuindo para o FoundationaLLM para obter instruções.