splicing

开源 AI Copilot 可轻松构建数据管道

主要特点

Web UI 中具有聊天功能的笔记本式界面：在熟悉的 Jupyter 笔记本界面中处理数据管道，而 AI 副驾驶则通过在整个过程中生成、执行和调试数据工程代码来协助和指导您。
无供应商锁定：使用您选择的任何数据堆栈构建数据管道，并选择您喜欢的法学硕士作为副驾驶，具有完全的灵活性。
完全可定制：将您的管道分解为多个组件（例如数据移动、转换等），并根据您的特定需求定制每个组件。然后拼接将这些组件无缝组装成完整的、功能性的数据管道。
安全且可管理：在您自己的基础设施上托管拼接，完全控制您的数据和 LLM。您的数据和密钥永远不会在任何时候与 LLM 提供商共享。

快速入门

运行 Splicing 最简单的方法是在 Docker 中：

安装 Docker。
运行以下命令来运行拼接：

docker run -v $( pwd ) /.splicing:/app/.splicing 
  -p 3000:3000 
  -p 8000:8000 
  -it --rm splicingai/splicing:latest

默认情况下，所有应用程序数据都存储在运行上述命令的当前目录中的./.splicing文件夹中。如果您想保留数据，请务必备份此文件夹。

导航到 http://localhost:3000/ 以访问 Web UI。

您还可以按照贡献指南中的说明安装不使用 Docker 的 Splicing 进行开发。

路线图

数据管道部署：支持通过推送部署体验将数据管道部署到生产环境。
更多数据管道组件：支持数据管道中更重要的组件，例如数据质量检查和数据沿袭。
更多集成：
- 支持数据管道（例如各种数据源和仓库）中的广泛数据集成。
- 支持更多法学硕士作为副驾驶（例如克劳德和当地模特）。
- 简化源代码结构，使社区更容易添加集成。
更智能的副驾驶：为副驾驶提供更多能力，例如自动生成仓库数据的语义模型和ER图，让构建数据管道变得更加容易。

资源

文档
演示
社区

技术栈

前端：Next.js、Tailwind CSS 和 Shadcn
后端：FastAPI 和 Redis
代理框架：LangGraph

贡献

请参阅 CONTRIBUTING.md 了解更多详细信息。

常见问题解答

拼接的主要用例是什么？

拼接有助于构建数据管道，包括数据摄取、转换和编排等任务，为数据分析和机器学习等下游流程准备数据。

拼接适合谁？

拼接是为数据工程师、数据科学家和任何需要构建数据管道的人而设计的。即使您的数据工程经验有限，Splicing 的 AI Copilot 也会一步步指导您，您可以随时使用自然语言寻求帮助。

Splicing 与其他代码生成工具和 AI 副驾驶有何不同？

拼接是专门为数据工程而设计的，这个领域有许多复杂的选择，尚未完全采用生成式人工智能来提高生产力。与通用工具不同，拼接专注于针对数据管道中常见的固定步骤优化语言模型。它还与数据源和工具深度集成，使副驾驶能够了解项目的上下文（您的配置、数据等），从而与通用副驾驶相比，生成更准确、更有用的代码。

拼接的安全性如何？我的数据会被共享吗？

拼接是开源的，可以托管在您自己的基础设施上。您的数据和密钥绝不会故意与我们或任何法学硕士提供商共享。此外，Splicing Copilot 不会自动执行生成的代码，您可以控制它的运行时间和方式。

我可以在其他地方运行使用 Splicing 构建的数据管道吗？

是的！拼接使用您首选的数据集成和工具生成代码。您只需单击一下即可导出代码，然后在您喜欢的任何地方运行或部署它。没有供应商锁定。