codefuse chatbot

Outro código-fonte

1.0.0

Baixar

Chinês | Inglês

CodeFuse-ChatBot: Desenvolvimento por Aumento de Conhecimento Privado

CodeFuse-ChatBot é um assistente inteligente de IA de código aberto desenvolvido pela equipe Ant CodeFuse, dedicada a simplificar e otimizar todos os aspectos do ciclo de vida de desenvolvimento de software. Este projeto combina o mecanismo de agendamento colaborativo do Multi-Agente e integra uma rica biblioteca de ferramentas, biblioteca de códigos, base de conhecimento e ambiente sandbox, permitindo que o modelo LLM execute e lide com eficácia tarefas complexas no campo DevOps.

? renovar

[2024.01.29] Estrutura multiagente aberta e configurável: codefuse-muAgent, consulte as instruções de uso para obter detalhes
[2023.12.26] A capacidade de acessar grandes modelos privatizados de código aberto e interfaces de grandes modelos baseadas em FastChat está aberta
[2023.12.14] Relatório especial da conta pública Qubit: link do artigo
[2023.12.01] As funções de pesquisa multiagente e de base de código estão abertas
[2023.11.15] Adicionado modo aprimorado de perguntas e respostas com base na base de código local
[2023.09.15] A função sandbox do ambiente local/isolado é aberta e a recuperação de conhecimento de URL especificada é implementada com base no rastreador.

Índice

? apresentar
? Vídeo de demonstração
?Rota técnica
Acesso ao modelo
Rápido de usar
? Agradecimentos
? outro
- Contate-nos
- Como história

? apresentar

Este projeto visa construir um assistente inteligente de IA para todo o ciclo de vida de desenvolvimento de software através de Retrieval Augmented Generation (RAG), Tool Learning e um ambiente sandbox, abrangendo as etapas de design, codificação, teste, implantação e operação e manutenção. Gradualmente, transforme-se do modelo tradicional de desenvolvimento e operação de consulta de dados em todos os lugares e operação de plataforma independente e descentralizada para o modelo inteligente de desenvolvimento e operação de grande modelo de perguntas e respostas, mudando os hábitos de desenvolvimento e operação das pessoas.

As principais tecnologias diferenciadoras e pontos funcionais deste projeto são:

? Núcleo de despacho inteligente: Um núcleo de despacho com links de sistema completos foi construído para suportar configuração multimodo com um clique e simplificar o processo de operação. Instruções de uso
Análise de toda a biblioteca de código: obtenha uma compreensão profunda do código em nível de warehouse, bem como escrita e geração de código em nível de arquivo do projeto, melhorando a eficiência do desenvolvimento.
? Aprimoramento da análise de documentos: Integra a base de conhecimento de documentos e o gráfico de conhecimento e fornece suporte mais profundo para análise de documentos por meio de recuperação e aprimoramento de raciocínio.
? Conhecimento exclusivo para categorias verticais: Uma base de conhecimento exclusiva customizada para a área DevOps, apoiando a construção de bases de conhecimento verticais por autoatendimento com um clique, o que é conveniente e prático.
? Compatibilidade de modelos verticais: Voltado para pequenos modelos na área de DevOps, garante compatibilidade com plataformas relacionadas a DevOps e promove a integração do ecossistema tecnológico.

? Baseando-se nos modelos LLM e Embedding de código aberto, este projeto pode realizar implantação privada offline com base no modelo de código aberto. Além disso, este projeto também oferece suporte a chamadas de API OpenAI. Acessar demonstração

A equipe principal de P&D há muito se concentra em pesquisas na área de AIOps + PNL. Lançamos o projeto Codefuse-ai e esperamos que todos contribuam amplamente com documentos de desenvolvimento e operação e manutenção de alta qualidade para melhorar conjuntamente esta solução e atingir o objetivo de "tornar o desenvolvimento mais fácil no mundo".

? Vídeo de demonstração

Para ajudá-lo a entender as funções e o uso do Codefuse-ChatBot de forma mais intuitiva, gravamos uma série de vídeos de demonstração. Você pode entender rapidamente as principais características e procedimentos operacionais deste projeto assistindo a estes vídeos.

Importação da base de conhecimento e perguntas e respostas: vídeo de demonstração
Importação de repositório local e perguntas e respostas: vídeo de demonstração

?Rota técnica

? Núcleo de agendamento multiagente: Núcleo de agendamento multiagente, que pode ser facilmente configurado para criar agentes interativos.
?️ Rastreamento da Web de várias fontes: um rastreador da Web de várias fontes que fornece a função de rastreamento para URLs especificados para coletar as informações necessárias.
Processador de dados: o processador de dados pode facilmente concluir o carregamento de documentos, limpeza de dados e segmentação de texto, além de integrar dados de diferentes fontes.
? Incorporação e índice de texto:: Índice de incorporação de texto, os usuários podem facilmente fazer upload de arquivos para recuperação de documentos, otimizando o processo de análise de documentos.
?️ Banco de dados de vetores e banco de dados de gráficos: banco de dados de vetores e gráficos, fornecendo soluções de gerenciamento de dados flexíveis e poderosas.
Controle e gerenciamento de prompt: O controle e o gerenciamento de prompt definem com precisão o contexto do agente.
? SandBox:: Um ambiente sandbox para executar ações e compilação de código com segurança.
LLM:: Cérebro do agente, suportando vários modelos de código aberto e interfaces LLM.
Gerenciamento de API:: Ferramenta de gerenciamento de API para obter rápida integração de componentes de código aberto e plataformas de operação e manutenção.

Para detalhes específicos de implementação, consulte: Detalhes do roteiro técnico e acompanhamento do plano do projeto: Projetos

Acesso ao modelo

Se você precisar integrar um modelo específico, informe-nos suas necessidades enviando um problema.

nome_modelo	tamanho_modelo	memória_gpu	quantificar	HFhub	ModelScope
chatgpt	-	-	-	-	-
codelama-34b-int4	34b	20g	int4	em breve	link

Rápido de usar

muagente-py

Para documentação completa, consulte: CodeFuse-muAgent

 pip install codefuse-muagent

Usando ChatBot

Instale você mesmo o driver nvidia. Este projeto foi testado em sistemas macOS de arquitetura Python 3.9.18, ambiente CUDA 11.7, Windows e X86.

Para instalação do Docker, acesso privatizado ao LLM e problemas de inicialização relacionados, consulte: Detalhes rápidos de uso

Para Apple Silicon, pode ser necessário preparar o qpdf primeiro.

Primeiro, preparação do ambiente python

Recomenda-se usar conda para gerenciar o ambiente python (opcional)

 # 准备 conda 环境
conda create --name devopsgpt python=3.9
conda activate devopsgpt

Instale dependências relacionadas

 cd codefuse-chatbot
# python=3.9，notebook用最新即可，python=3.8用notebook=6.5.6
pip install -r requirements.txt

2. Inicie o serviço

 # 完成server_config.py配置后，可一键启动
cd examples
bash start.sh
# 开始在页面进行相关配置，然后打开`启动对话服务`即可

Ou inicie a versão antiga através de start.py Para mais métodos de acesso LLM, veja mais detalhes...

Guia de contribuição

Muito obrigado pelo seu interesse no projeto Codefuse. Agradecemos suas sugestões, opiniões (incluindo críticas), comentários e contribuições para o projeto Codefuse.

Suas diversas sugestões, opiniões e comentários sobre o Codefuse podem ser enviados diretamente por meio de Issues no GitHub.

Há muitas maneiras de participar e contribuir com o projeto Codefuse: implementação de código, escrita de testes, melhorias em ferramentas de processo, melhorias em documentação e muito mais. Qualquer contribuição é muito bem-vinda e você será adicionado à lista de contribuidores. Consulte o Guia de Contribuição para obter detalhes...