Download kollektiv - download kollektiv do código-fonte

kollektiv

Código-Fonte de IA

v0.1.6 - Web UI

Baixar

kollektiv - LLMs + Conhecimento atualizado

? Visão geral

kollektiv é um sistema de geração aumentada de recuperação (RAG) projetado para um propósito - permitir que você converse com seus documentos favoritos (de bibliotecas, estruturas, ferramentas principalmente) facilmente.

Este projeto tem como objetivo permitir que os LLMs obtenham o conhecimento mais atualizado em 2 cliques, para que você não precise se preocupar com respostas incorretas, alucinações ou imprecisões ao trabalhar com os melhores LLMs.

❓Por quê?

Este projeto nasceu de uma coceira pessoal - sempre que surge um novo recurso da minha biblioteca favorita, sei que não posso contar com o LLM para me ajudar a construir com ele - porque ele simplesmente não sabe disso!

A causa raiz – os LLMs não têm acesso à documentação mais recente ou ao conhecimento privado, pois são treinados com base em um conjunto de dados que foram acumulados há muito tempo (às vezes há mais de um ano).

O impacto – alucinações nas respostas, informações imprecisas, incorretas ou desatualizadas, o que diminui diretamente a produtividade e a utilidade do uso de LLMs

Mas existe uma maneira melhor...

E se os LLMs pudessem acessar uma fonte de informações atualizadas sobre bibliotecas, ferramentas e estruturas com as quais você está construindo?

Imagine que seu LLM pudesse decidir de forma inteligente quando precisa verificar a fonte da documentação e sempre fornecer uma resposta precisa?

Principais recursos

?️ Rastreamento inteligente da Web : utiliza a API FireCrawl para rastrear e extrair com eficiência conteúdo de sites de documentação específicos.
? Processamento avançado de documentos : implementa estratégias de agrupamento personalizadas para otimizar o armazenamento e a recuperação de documentos.
? Pesquisa vetorial : emprega Chroma DB para pesquisa de similaridade de alto desempenho de blocos de documentos.
Expansão de múltiplas consultas : aumenta a precisão da pesquisa gerando diversas consultas relevantes para cada entrada do usuário.
Reclassificação inteligente : utiliza a API de reclassificação do Cohere para melhorar a relevância dos resultados de pesquisa
? Respostas baseadas em IA : integra-se ao Claude 3.5 Sonnet para gerar respostas semelhantes às humanas e com reconhecimento de contexto.
? Prompt dinâmico do sistema : resume automaticamente a documentação incorporada para melhorar a tomada de decisões do RAG.

Pilha Técnica

Back-end : Python/FastAPI
Armazenar :
- Supabase (autenticação/dados)
- ChromaDB (vetores)
- Redis (filas/tempo real)
IA/ML :
- OpenAI text-embedding-3-small (incorporações)
- Soneto Antrópico Claude 3.5 (bate-papo)
- Cohere (reclassificação)
IU : Chainlit
Adicionais : tiktoken, pydantic, pytest, ruff

Início rápido

Clone o repositório:

git clone https://github.com/alexander-zuev/kollektiv.git
cd kollektiv

Configure variáveis de ambiente: Crie um arquivo .env na raiz do projeto com o seguinte:

FIRECRAWL_API_KEY= " your_firecrawl_api_key "
OPENAI_API_KEY= " your_openai_api_key "
ANTHROPIC_API_KEY= " your_anthropic_api_key "
COHERE_API_KEY= " your_cohere_api_key "

Instale dependências:
```
poetry install
```
Execute o aplicativo:
```
poetry run kollektiv 
```

Uso

Inicie o aplicativo:

 # Run both API and Chainlit UI
poetry run kollektiv

# Or run only Chainlit UI
chainlit run main.py

Adicionar documentação:
```
@docs add https://your-docs-url.com
```
O sistema irá guiá-lo através de:
- Configurando a profundidade do rastreamento
- Adicionando padrões de exclusão (opcional)
- Processamento e incorporação de conteúdo

Gerenciar documentos:

@docs list                  # List all documents
@docs remove [ID]          # Remove a document
@help                      # Show all commands

Converse com documentação: basta fazer perguntas em linguagem natural. O sistema irá:
- Pesquise documentação relevante
- Reclassifique os resultados para precisão
- Gere respostas contextuais

❤️‍? Limitações atuais

Conteúdo de imagem não suportado (incorporações somente de texto)
Sem reindexação automática de documentação
Validação de URL limitada a formatos comuns
Os padrões de exclusão devem começar com /

?️ Roteiro

Para um breve roteiro, verifique a página wiki do projeto.

? Métricas de desempenho

A avaliação é feita atualmente usando a biblioteca ragas . Existem 2 partes principais avaliadas:

Geração de ponta a ponta
- Fidelidade
- Relevância da resposta
- Correção da resposta
Recuperador (TBD)
- Recuperação de contexto
- Precisão de contexto

Licença

kollektiv está licenciado sob uma versão modificada da Licença Apache 2.0. Embora permita o uso, modificação e distribuição gratuitos para fins não comerciais, qualquer uso comercial requer permissão explícita do proprietário dos direitos autorais.

Para uso não comercial: Você é livre para usar, modificar e distribuir este software sob os termos da Licença Apache 2.0.
Para uso comercial: entre em contato com [email protected] para obter uma licença comercial.

Consulte o arquivo LICENSE para obter o texto completo da licença e condições adicionais.

Aviso de renomeação de projeto

O projeto foi renomeado de OmniClaude para kollektiv para:

evitar confusão/violação não intencional de direitos autorais da Antrópico
enfatizar o objetivo de se tornar uma ferramenta para melhorar a colaboração através da simplificação do acesso ao conhecimento
nome geral legal (não é?)

Se você tiver alguma dúvida sobre a renomeação, sinta-se à vontade para entrar em contato.