splicing

Copiloto de IA de código aberto para construção de pipeline de dados sem esforço

Principais recursos

• Interface estilo notebook com recursos de bate-papo em uma UI da web : Trabalhe em seus pipelines de dados em uma interface familiar de notebook Jupyter, enquanto o copiloto de IA auxilia e orienta você gerando, executando e depurando código de engenharia de dados durante todo o processo.
• Sem dependência de fornecedor : crie seus pipelines de dados com qualquer pilha de dados de sua escolha e selecione o LLM de sua preferência para seu copiloto, com total flexibilidade.
• Totalmente personalizável : divida seu pipeline em vários componentes, como movimentação de dados, transformação e muito mais, e adapte cada componente às suas necessidades específicas. A emenda então monta perfeitamente esses componentes em um pipeline de dados completo e funcional.
• Seguro e gerenciável : Host Splicing em sua própria infraestrutura, com controle total sobre seus dados e LLMs. Seus dados e chaves secretas nunca são compartilhados com provedores de LLM em nenhum momento.

Início rápido

A maneira mais fácil de executar o Splicing é no Docker:

1. Instale o Docker.

2. Execute o seguinte comando para executar o Splicing:

docker run -v $( pwd ) /.splicing:/app/.splicing 
  -p 3000:3000 
  -p 8000:8000 
  -it --rm splicingai/splicing:latest

Por padrão, todos os dados do aplicativo são armazenados na pasta ./.splicing no diretório atual onde você executa o comando acima. Se você quiser persistir os dados, faça backup desta pasta.

3. Navegue para http://localhost:3000/ para acessar a interface da web.

Você também pode instalar o Splicing sem Docker para desenvolvimento seguindo as instruções no guia CONTRIBUTING.

Roteiro

• Implantação de pipeline de dados : suporte à implantação de pipelines de dados em seus ambientes de produção com uma experiência push-to-deploy.
• Mais componentes de pipeline de dados : suporte para componentes mais essenciais em pipelines de dados, como verificações de qualidade de dados e linhagem de dados.
• Mais integrações :
  • Suporte para uma ampla gama de integrações de dados em pipelines de dados (por exemplo, diversas fontes de dados e armazéns).
  • Apoiar mais LLMs como copilotos (por exemplo, Claude e modelos locais).
  • Simplifique a estrutura do código-fonte, facilitando a adição de integrações pela comunidade.
• Copiloto mais inteligente : aprimore o copiloto com mais recursos, como a geração automática de modelos semânticos e diagramas ER para dados em armazéns, facilitando a construção de pipelines de dados.

Recursos

• Documentação
• Demonstração
• Comunidade

Pilhas de tecnologia

• Front-end: Next.js, Tailwind CSS e Shadcn
• Back-end: FastAPI e Redis
• Estrutura agente: LangGraph

Contribuindo

Consulte CONTRIBUTING.md para obter mais detalhes.

Perguntas frequentes

Quais são os principais casos de uso do Splicing?

O splicing auxilia na construção de pipelines de dados, incluindo tarefas como ingestão, transformação e orquestração de dados, para preparar seus dados para processos downstream, como análise de dados e aprendizado de máquina.

Para quem é a emenda?

O Splicing foi projetado para engenheiros de dados, cientistas de dados e qualquer pessoa que precise construir pipelines de dados. Mesmo se você tiver experiência limitada em engenharia de dados, o AI Copilot da Splicing irá guiá-lo passo a passo e você poderá pedir ajuda a qualquer momento usando linguagem natural.

Qual a diferença entre o Splicing e outras ferramentas de geração de código e copilotos de IA?

A emenda foi projetada especificamente para engenharia de dados, um campo com muitas opções complexas que ainda não adotou totalmente a IA generativa para produtividade. Ao contrário das ferramentas genéricas, o Splicing se concentra na otimização de modelos de linguagem para etapas fixas comuns em pipelines de dados. Ele também está profundamente integrado a fontes de dados e ferramentas, permitindo que o copiloto entenda o contexto do seu projeto (suas configurações, dados e muito mais), levando a uma geração de código mais precisa e útil em comparação com copilotos de uso geral.

Quão seguro é o Splicing? Meus dados serão compartilhados?

O splicing é de código aberto e pode ser hospedado em sua própria infraestrutura. Seus dados e chaves secretas nunca são compartilhados conosco ou com qualquer provedor de LLM intencionalmente. Além disso, o Splicing Copilot não executa automaticamente o código gerado – você controla quando e como ele é executado.

Posso executar pipelines de dados criados com Splicing em outro lugar?

Sim! O Splicing gera código usando suas integrações e ferramentas de dados preferidas. Você pode exportar o código com um único clique e executá-lo ou implantá-lo em qualquer lugar que desejar. Não há dependência de fornecedor.