você tem micronúcleo

AI MicroCore: uma base minimalista para aplicações de IA

MicroCore é uma coleção de adaptadores python para grandes modelos de linguagem e APIs de pesquisa semântica que permitem a comunicação com esses serviços de maneira conveniente, tornando-os facilmente alternáveis ​​​​e separando a lógica de negócios dos detalhes de implementação.

Ele define interfaces para recursos normalmente usados ​​em aplicativos de IA, o que permite manter seu aplicativo o mais simples possível e experimentar vários modelos e serviços sem a necessidade de alterar o código do aplicativo.

Você ainda pode alternar entre os modelos de preenchimento de texto e preenchimento de bate-papo apenas usando a configuração.

O exemplo básico de uso é o seguinte:

 from microcore import llm

while user_msg := input ( 'Enter message: ' ):
    print ( 'AI: ' + llm ( user_msg ))

? Ligações

• Referência de API
• Pacote PyPi
• Repositório GitHub

Instalação

Instale como pacote PyPi:

 pip install ai-microcore

Alternativamente, você pode simplesmente copiar a pasta microcore para a raiz das fontes do seu projeto.

git clone [email protected]:Nayjest/ai-microcore.git && mv ai-microcore/microcore ./ && rm -rf ai-microcore

? Requisitos

Pitão 3.10/3.11/3.12

Ambas as versões do pacote OpenAI v0.28+ e v1.X são suportadas.

Configurando

Configuração Mínima

Ter OPENAI_API_KEY nas variáveis ​​de ambiente do sistema operacional é suficiente para uso básico.

Os recursos de pesquisa por similaridade funcionarão imediatamente se você tiver o pacote chromadb pip instalado.

Métodos de configuração

Existem algumas opções disponíveis para configurar o microcore:

• Usar microcore.configure(**params)
  Todas as opções de configuração devem estar disponíveis nas dicas de preenchimento automático do IDE
• Crie um arquivo .env na raiz do seu projeto; exemplos: basic.env, Mistral Large.env, Anthropic Claude 3 Opus.env, Gemini em Vertex AI.env, Gemini em AI Studio.env
• Use um arquivo de configuração personalizado: mc.configure(DOT_ENV_FILE='dev-config.ini')
• Definir variáveis ​​de ambiente do SO

Para obter a lista completa de opções de configuração disponíveis, você também pode verificar microcore/config.py .

Instalando pacotes específicos do fornecedor

Para os modelos que não funcionam via API OpenAI, pode ser necessário instalar pacotes adicionais:

Claude Antrópico 3

pip install anthropic

Google Gemini via AI Studio

pip install google-generativeai

Google Gemini via Vertex AI

pip install vertexai

Além disso, para trabalhar com o Vertex AI, você precisa instalar o Google Cloud CLI e configurar a autorização.

Modelos de idioma local por meio de Hugging Face Transformers

Você precisará instalar transformadores e uma biblioteca de aprendizado profundo de sua escolha (PyTorch, TensorFlow, Flax, etc).

Veja instalação de transformadores.

Prioridade das fontes de configuração

1. As opções de configuração passadas como argumentos para microcore.configure() têm a prioridade mais alta.
2. A prioridade das opções do arquivo de configuração ( .env por padrão ou o valor de DOT_ENV_FILE ) é maior que as variáveis ​​de ambiente do sistema operacional.
   Definir USE_DOT_ENV como false desativa a leitura de arquivos de configuração.
3. As variáveis ​​de ambiente do SO têm a prioridade mais baixa.

? Funções principais

llm (prompt: str, **kwargs) → str

Executa uma solicitação para um modelo de linguagem grande (LLM).

Variante assíncrona: allm(prompt: str, **kwargs)

 from microcore import *

# Will print all requests and responses to console
use_logging ()

# Basic usage
ai_response = llm ( 'What is your model name?' )

# You also may pass a list of strings as prompt
# - For chat completion models elements are treated as separate messages
# - For completion LLMs elements are treated as text lines
llm ([ '1+2' , '=' ])
llm ( '1+2=' , model = 'gpt-4' )

# To specify a message role, you can use dictionary or classes
llm ( dict ( role = 'system' , content = '1+2=' ))
# equivalent
llm ( SysMsg ( '1+2=' ))

# The returned value is a string
assert '7' == llm ([
 SysMsg ( 'You are a calculator' ),
 UserMsg ( '1+2=' ),
 AssistantMsg ( '3' ),
 UserMsg ( '3+4=' )]
). strip ()

# But it contains all fields of the LLM response in additional attributes
for i in llm ( '1+2=?' , n = 3 , temperature = 2 ). choices :
    print ( 'RESPONSE:' , i . message . content )

# To use response streaming you may specify the callback function:
llm ( 'Hi there' , callback = lambda x : print ( x , end = '' ))

# Or multiple callbacks:
output = []
llm ( 'Hi there' , callbacks = [
    lambda x : print ( x , end = '' ),
    lambda x : output . append ( x ),
])

tpl(caminho_do_arquivo, **params) → str

Renderiza o modelo de prompt com parâmetros.

Modelos Jinja2 completos são usados ​​por padrão.

Opções de configuração relacionadas:

 from microcore import configure
configure (
    # 'tpl' folder in current working directory by default
    PROMPT_TEMPLATES_PATH = 'my_templates_folder'
)

texts.search(coleção: str, consulta: str | lista, n_resultados: int = 5, onde: dict = Nenhum, **kwargs) → lista[str]

Pesquisa de similaridade

texts.find_one(self, coleção: str, consulta: str | lista) → str | Nenhum

Encontre o texto mais semelhante

texts.get_all(self, coleção: str) -> lista[str]

Retornar coleção de textos

texts.save(coleção: str, texto: str, metadados: dict = Nenhum))

Armazene texto e metadados relacionados no banco de dados de incorporações

texts.save_many(coleção: str, itens: lista[tupla[str, dict] | str])

Armazene vários textos e metadados relacionados no banco de dados de embeddings

textos.clear (coleção: str):

Limpar coleção

Suporte a provedores e modelos de API

LLM Microcore oferece suporte a todos os modelos e provedores de API com API OpenAI.

Lista de provedores e modelos de API testados com LLM Microcore:

Provedor de API	Modelos
OpenAI	Todos os modelos GPT-4 e GTP-3.5-Turbo todos os modelos de conclusão de texto (davinci, gpt-3.5-turbo-instruct, etc)
Microsoft Azure	Todos os modelos OpenAI, Mistral Large
Antrópico	Cláudio 3 modelos
Mistral AI	Todos os modelos Mistral
Estúdio de IA do Google	Modelos do Google Gêmeos
Google Vertex AI	Gemini Pro e outros modelos
Infraestrutura Profunda	deepinfra/airoboros-70b jondurbin/airoboros-l2-70b-gpt4-1.4.1 metal-lhama/Llama-2-70b-chat-hf e outros modelos com API OpenAI
Qualquer escala	metal-lhama/Llama-2-70b-chat-hf metal-lhama/Llama-2-13b-chat-hf metal-lhama/Llama-7b-chat-hf
Groq	LLaMA2 70b Mixtral 8x7b Gema 7b
Fogos de artifício	Mais de 50 modelos de linguagem de código aberto

APIs de modelo de idioma local suportadas:

• HuggingFace Transformers (veja exemplos de configuração aqui).
• Modelos locais personalizados, fornecendo função própria para preenchimento de chat/texto, inferência sincronizada/assíncrona.

?️ Exemplos

Ferramenta de revisão de código

Executa revisão de código pelo LLM para alterações em arquivos git .patch em qualquer linguagem de programação.

Análise de imagem (Google Colab)

Determine o número de pétalas e a cor da flor a partir de uma foto (gpt-4-turbo)

Banchmark LLMs sobre problemas matemáticos (Kaggle Notebook)

Precisão de referência de mais de 20 modelos de última geração na resolução de problemas matemáticos das olimpíadas. Inferência de modelos de idioma local por meio de HuggingFace Transformers, inferência paralela.

Outros exemplos

Python funciona como ferramentas de IA

@PENDÊNCIA

? Módulos de IA

Este é um recurso experimental.

Ajusta o sistema de importação do Python para fornecer configuração automática do ambiente MicroCore com base em metadados em docstrings do módulo.

Uso:

 import microcore . ai_modules

Características:

• Registra automaticamente pastas de modelos de módulos AI no ambiente Jinja2

Contribuindo

Consulte CONTRIBUINDO para obter detalhes.

Licença

Licenciado sob a licença MIT © 2023 Vitalii Stepanenko