swift gen kit

斯威夫特GenKit

GenKit 是一个抽象了生成式 AI 平台之间所有差异的库。它有点像 Swift 的轻量级 LangChain。我们的目标是利用生成式 AI 进行原生 Swift 开发，变得快速、简单且有趣！

斯威夫特包管理器

 ...
dependencies: [
    . package ( url : " https://github.com/nathanborror/swift-gen-kit " , branch : " main " ) ,
] ,
targets: [
    . target (
        name : " YOUR_TARGET " ,
        dependencies : [
            . product ( name : " GenKit " , package : " swift-gen-kit " ) ,
        ]
    ) ,
] ,
... 

用法

建立您要使用的服务和模型：

 let service = AnthropicService ( configuration : . init ( token : " ANTHROPIC_API_TOKEN " ) )
let model = Model ( id : " claude-3-5-sonnet-20240620 " )

仅生成单个响应的聊天完成示例：

 let request = ChatServiceRequest (
    model : model ,
    messages : [
        . system ( content : " You are a helpful assistant. " ) ,
        . user ( content : " Hello! " ) ,
    ]
)
let message = try await service . completion ( request )
print ( message )

如果存在工具，则可以循环执行多个生成的流会话示例：

 var request = ChatSessionRequest ( service : service , model : model )
request . with ( system : " You are a helpful assistant. " )
request . with ( history : [ . user ( content : " Hello! " ) ] )

let stream = ChatSession . shared . stream ( request )
for try await message in stream {
    print ( message . content )
} 

演示应用程序

Heat 是如何使用 GenKit 的一个很好的例子。

特征

会议

会话是最高级别的抽象，也是最容易使用的。它们循环运行，根据需要调用工具，并将工具响应发送回模型，直到模型完成工作。

服务

服务是跨多个平台工作的通用接口。它们允许您无缝切换底层平台，而无需更改任何代码。

• 聊天服务
• 包埋服务
• 影像服务
• 模特服务
• 转录服务
• 工具服务
• 视觉服务
• 语音服务

支持的提供商

提供程序包是直接与模型提供程序 REST API 对话的快速接口。您可以直接使用它们，但它们的 API 略有不同。

• Mistral（聊天、嵌入、模型）
• Ollama（聊天、嵌入、模型、视觉）
• OpenAI（聊天、嵌入、模型、图像、转录、视觉、语音）
• 困惑（聊天、模型）
• 人择（聊天、模型）
• ElevenLabs（语音、模型）
• 谷歌（聊天、模型）

托多斯

• 将 VisionService 和 ToolService 合并到 ChatService 中
• 合并 ChatServiceRequest 和 ChatSessionRequest
• 添加工作流程或链接