splicing

開源 AI Copilot 可輕鬆建立資料管道

主要特點

Web UI 中具有聊天功能的筆記本式介面：在熟悉的 Jupyter 筆記本介面中處理資料管道，而 AI 副駕駛則透過在整個過程中產生、執行和偵錯資料工程程式碼來協助和指導您。
無供應商鎖定：使用您選擇的任何資料堆疊建立資料管道，並選擇您喜歡的法學碩士作為副駕駛，具有完全的靈活性。
完全可自訂：將您的管道分解為多個組件（例如資料移動、轉換等），並根據您的特定需求自訂每個組件。然後拼接將這些組件無縫組裝成完整的、功能性的資料管道。
安全且可管理：在您自己的基礎架構上託管拼接，完全控制您的資料和 LLM。您的資料和金鑰永遠不會在任何時候與 LLM 提供者共用。

快速入門

運行 Splicing 最簡單的方法是在 Docker 中：

安裝 Docker。
執行以下命令來運行拼接：

docker run -v $( pwd ) /.splicing:/app/.splicing 
  -p 3000:3000 
  -p 8000:8000 
  -it --rm splicingai/splicing:latest

預設情況下，所有應用程式資料都儲存在執行上述命令的目前目錄中的./.splicing資料夾中。如果您想保留數據，請務必備份此資料夾。

導航至 http://localhost:3000/ 以存取 Web UI。

您也可以按照貢獻指南中的說明安裝不使用 Docker 的 Splicing 進行開發。

路線圖

資料管道部署：支援透過推送部署體驗將資料管道部署到生產環境。
更多資料管道組件：支援資料管道中更重要的組件，例如資料品質檢查和資料沿襲。
更多整合：
- 支援資料管道（例如各種資料來源和倉庫）中的廣泛資料整合。
- 支持更多法學碩士作為副駕駛（例如克勞德和當地模特兒）。
- 簡化原始碼結構，使社群更容易添加整合。
更聰明的副駕駛：為副駕駛提供更多能力，例如自動產生倉庫數據的語意模型和ER圖，讓建立資料管道變得更加容易。

資源

文件
示範
社群

技術堆疊

前端：Next.js、Tailwind CSS 和 Shadcn
後端：FastAPI 和 Redis
代理框架：LangGraph

貢獻

請參閱 CONTRIBUTING.md 以了解更多詳細資訊。

常見問題解答

拼接的主要用例是什麼？

拼接有助於建立資料管道，包括資料攝取、轉換和編排等任務，為資料分析和機器學習等下游流程準備資料。

拼接適合誰？

拼接是為資料工程師、資料科學家和任何需要建立資料管道的人而設計的。即使您的資料工程經驗有限，Splicing 的 AI Copilot 也會一步步指導您，您可以隨時使用自然語言尋求協助。

Splicing 與其他程式碼產生工具和 AI 副駕駛有何不同？

拼接是專門為資料工程設計的，這個領域有許多複雜的選擇，尚未完全採用生成式人工智慧來提高生產力。與通用工具不同，拼接專注於針對資料管道中常見的固定步驟最佳化語言模型。它還與資料來源和工具深度集成，使副駕駛能夠了解專案的上下文（您的配置、資料等），從而與通用副駕駛相比，產生更準確、更有用的程式碼。

拼接的安全性如何？我的資料會被分享嗎？

拼接是開源的，可以託管在您自己的基礎架構上。您的資料和金鑰絕不會故意與我們或任何法學碩士提供者共享。此外，Splicing Copilot 不會自動執行產生的程式碼，您可以控制它的運行時間和方式。

我可以在其他地方運行使用 Splicing 建立的資料管道嗎？

是的！拼接使用您首選的資料整合和工具產生程式碼。您只需單擊一下即可匯出程式碼，然後在您喜歡的任何地方運行或部署它。沒有供應商鎖定。