Copiloto de IA de código abierto para la creación de canales de datos sin esfuerzo
Características clave
- Interfaz estilo computadora portátil con capacidades de chat en una interfaz de usuario web : trabaje en sus canalizaciones de datos en una interfaz familiar de computadora portátil de Jupyter, mientras el copiloto de IA lo ayuda y lo guía generando, ejecutando y depurando código de ingeniería de datos durante todo el proceso.
- Sin dependencia de un proveedor : cree sus canales de datos con cualquier pila de datos de su elección y seleccione el LLM que prefiera para su copiloto, con total flexibilidad.
- Totalmente personalizable : divida su proceso en múltiples componentes (como movimiento de datos, transformación y más) y adapte cada componente a sus necesidades específicas. Luego, el empalme ensambla perfectamente estos componentes en una canalización de datos completa y funcional.
- Seguro y manejable : Host Splicing en su propia infraestructura, con control total sobre sus datos y LLM. Sus datos y claves secretas nunca se comparten con proveedores de LLM en ningún momento.
Inicio rápido
La forma más sencilla de ejecutar Splicing es en Docker:
Instale Docker.
Ejecute el siguiente comando para ejecutar Empalme:
docker run -v $( pwd ) /.splicing:/app/.splicing
-p 3000:3000
-p 8000:8000
-it --rm splicingai/splicing:latest
De forma predeterminada, todos los datos de la aplicación se almacenan en la carpeta ./.splicing
dentro del directorio actual donde ejecuta el comando anterior. Si desea conservar los datos, asegúrese de hacer una copia de seguridad de esta carpeta.
- Navegue a http://localhost:3000/ para acceder a la interfaz de usuario web.
También puede instalar Splicing sin Docker para desarrollo siguiendo las instrucciones de la guía CONTRIBUCIÓN.
Hoja de ruta
- Implementación de canalizaciones de datos : admita la implementación de canalizaciones de datos en sus entornos de producción con una experiencia push-to-implementar.
- Más componentes de canalización de datos : soporte para componentes más esenciales en canalizaciones de datos, como controles de calidad de datos y linaje de datos.
- Más integraciones :
- Soporte para una amplia gama de integraciones de datos en canalizaciones de datos (por ejemplo, varias fuentes de datos y almacenes).
- Apoyar a más LLM como copilotos (por ejemplo, Claude y modelos locales).
- Optimice la estructura del código fuente, facilitando a la comunidad agregar integraciones.
- Copiloto más inteligente : mejore el copiloto con más capacidades, como generar automáticamente modelos semánticos y diagramas ER para datos en almacenes, lo que facilita la creación de canales de datos.
Recursos
- Documentación
- Manifestación
- Comunidad
Pilas de tecnología
- Interfaz: Next.js, Tailwind CSS y Shadcn
- Servidor: FastAPI y Redis
- Marco agente: LangGraph
Contribuyendo
Consulte CONTRIBUTING.md para obtener más detalles.
Preguntas frecuentes
¿Cuáles son los principales casos de uso de empalme?
El empalme ayuda a crear canales de datos, incluidas tareas como la ingesta, transformación y orquestación de datos, para preparar sus datos para procesos posteriores, como el análisis de datos y el aprendizaje automático.
¿Para quién es el empalme?
Splicing está diseñado para ingenieros de datos, científicos de datos y cualquier persona que necesite crear canales de datos. Incluso si tiene experiencia limitada en ingeniería de datos, AI Copilot de Splicing lo guiará paso a paso y podrá pedir ayuda en cualquier momento utilizando lenguaje natural.
¿En qué se diferencia Splicing de otras herramientas de generación de código y copilotos de IA?
El empalme está diseñado específicamente para la ingeniería de datos, un campo con muchas opciones complejas que no ha adoptado completamente la IA generativa para la productividad. A diferencia de las herramientas genéricas, Splicing se centra en optimizar los modelos de lenguaje para los pasos fijos comunes en las canalizaciones de datos. También está profundamente integrado con fuentes de datos y herramientas, lo que permite al copiloto comprender el contexto de su proyecto (sus configuraciones, datos y más), lo que lleva a una generación de código más precisa y útil en comparación con los copilotos de propósito general.
¿Qué tan seguro es el empalme? ¿Se compartirán mis datos?
Splicing es de código abierto y puede alojarse en su propia infraestructura. Sus datos y claves secretas nunca se comparten con nosotros ni con ningún proveedor de LLM por diseño. Además, Splicing Copilot no ejecuta automáticamente el código generado: usted controla cuándo y cómo se ejecuta.
¿Puedo ejecutar canalizaciones de datos creadas con Splicing en otro lugar?
¡Sí! Splicing genera código utilizando sus integraciones y herramientas de datos preferidas. Puede exportar el código con un solo clic y ejecutarlo o implementarlo en cualquier lugar que desee. No hay ningún tipo de dependencia del proveedor.