swift gen kit

斯威夫特GenKit

GenKit 是一個抽象化了生成式 AI 平台之間所有差異的函式庫。它有點像 Swift 的輕量級 LangChain。我們的目標是利用生成式 AI 進行原生 Swift 開發，變得快速、簡單又有趣！

斯威夫特套件管理器

 ...
dependencies: [
    . package ( url : " https://github.com/nathanborror/swift-gen-kit " , branch : " main " ) ,
] ,
targets: [
    . target (
        name : " YOUR_TARGET " ,
        dependencies : [
            . product ( name : " GenKit " , package : " swift-gen-kit " ) ,
        ]
    ) ,
] ,
... 

用法

建立您要使用的服務和模型：

 let service = AnthropicService ( configuration : . init ( token : " ANTHROPIC_API_TOKEN " ) )
let model = Model ( id : " claude-3-5-sonnet-20240620 " )

僅產生單一回應的聊天完成範例：

 let request = ChatServiceRequest (
    model : model ,
    messages : [
        . system ( content : " You are a helpful assistant. " ) ,
        . user ( content : " Hello! " ) ,
    ]
)
let message = try await service . completion ( request )
print ( message )

如果存在工具，則可以循環執行多個產生的串流會話範例：

 var request = ChatSessionRequest ( service : service , model : model )
request . with ( system : " You are a helpful assistant. " )
request . with ( history : [ . user ( content : " Hello! " ) ] )

let stream = ChatSession . shared . stream ( request )
for try await message in stream {
    print ( message . content )
} 

演示應用程式

Heat 是如何使用 GenKit 的一個很好的例子。

特徵

會議

會話是最高等級的抽象，也是最容易使用的。它們循環運行，根據需要調用工具，並將工具響應發送回模型，直到模型完成工作。

服務

服務是跨多個平台工作的通用介面。它們允許您無縫切換底層平台，而無需更改任何程式碼。

• 聊天服務
• 包埋服務
• 影像服務
• 模特兒服務
• 轉錄服務
• 工具服務
• 視覺服務
• 語音服務

支援的提供者

提供者包是直接與模型提供者 REST API 對話的快速介面。您可以直接使用它們，但它們的 API 略有不同。

• Mistral（聊天、嵌入、模型）
• Ollama（聊天、嵌入、模型、視覺）
• OpenAI（聊天、嵌入、模型、圖像、轉錄、視覺、語音）
• 困惑（聊天、模型）
• 人擇（聊天、模型）
• ElevenLabs（語音、模型）
• Google（聊天、模型）

托多斯

• 將 VisionService 和 ToolService 合併到 ChatService 中
• 合併 ChatServiceRequest 和 ChatSessionRequest
• 新增工作流程或連結