go llm
1.0.0
将大型语言模型 (LLM) 的强大功能集成到您的 Go 应用程序中。
该项目旨在抽象出大部分管道（自由文本到结构化数据、上下文内存、工具包装、重试逻辑等），以便您可以专注于代理的业务逻辑。
图LR
子图输入
A[结构化输入] --> B[编译任务]
结尾
基于LLM的子图代理
C[任务模板] --> B[编译任务]
B --> D((代理))
D --“推理”--> D
D --“动作”--> E[环境]
E --“观察”--> D
D --“答案”--> G[输出验证器]
G-->D
结尾
子图输出
G --“答案”--> F[结构化输出]
结尾
package main
import (
"encoding/json"
"fmt"
"os"
"github.com/natexcvi/go-llm/agents"
"github.com/natexcvi/go-llm/engines"
"github.com/natexcvi/go-llm/memory"
"github.com/natexcvi/go-llm/tools"
)
type CodeBaseRefactorRequest struct {
Dir string
Goal string
}
func ( req CodeBaseRefactorRequest ) Encode () string {
return fmt . Sprintf ( `{"dir": "%s", "goal": "%s"}` , req . Dir , req . Goal )
}
func ( req CodeBaseRefactorRequest ) Schema () string {
return `{"dir": "path to code base", "goal": "refactoring goal"}`
}
type CodeBaseRefactorResponse struct {
RefactoredFiles map [ string ] string `json:"refactored_files"`
}
func ( resp CodeBaseRefactorResponse ) Encode () string {
marshalled , err := json . Marshal ( resp . RefactoredFiles )
if err != nil {
panic ( err )
}
return string ( marshalled )
}
func ( resp CodeBaseRefactorResponse ) Schema () string {
return `{"refactored_files": {"path": "description of changes"}}`
}
func main () {
task := & agents. Task [ CodeBaseRefactorRequest , CodeBaseRefactorResponse ]{
Description : "You will be given access to a code base, and instructions for refactoring." +
"your task is to refactor the code base to meet the given goal." ,
Examples : []agents. Example [ CodeBaseRefactorRequest , CodeBaseRefactorResponse ]{
{
Input : CodeBaseRefactorRequest {
Dir : "/Users/nate/code/base" ,
Goal : "Handle errors gracefully" ,
},
Answer : CodeBaseRefactorResponse {
RefactoredFiles : map [ string ] string {
"/Users/nate/code/base/main.py" : "added try/except block" ,
},
},
IntermediarySteps : [] * engines. ChatMessage {
( & agents. ChainAgentThought {
Content : "I should scan the code base for functions that might error." ,
}). Encode ( engine ),
( & agents. ChainAgentAction {
Tool : tools . NewBashTerminal (),
Args : json . RawMessage ( `{"command": "ls /Users/nate/code/base"}` ),
}). Encode ( engine ),
( & agents. ChainAgentObservation {
Content : "main.py" ,
ToolName : tools . NewBashTerminal (). Name (),
}). Encode ( engine ),
( & agents. ChainAgentThought {
Content : "Now I should read the code file." ,
}). Encode ( engine ),
( & agents. ChainAgentAction {
Tool : tools . NewBashTerminal (),
Args : json . RawMessage ( `{"command": "cat /Users/nate/code/base/main.py"}` ),
}). Encode ( engine ),
( & agents. ChainAgentObservation {
Content : "def main(): n t func_that_might_error()" ,
ToolName : tools . NewBashTerminal (). Name (),
}). Encode ( engine ),
( & agents. ChainAgentThought {
Content : "I should refactor the code to handle errors gracefully." ,
}). Encode ( engine ),
( & agents. ChainAgentAction {
Tool : tools . NewBashTerminal (),
Args : json . RawMessage ( `{"command": "echo 'def main():nttry:nttfunc_that_might_error()ntexcept Exception as e:nttprint("Error: %s", e)' > /Users/nate/code/base/main.py"}` ),
}). Encode ( engine ),
},
},
},
AnswerParser : func ( msg string ) ( CodeBaseRefactorResponse , error ) {
var res CodeBaseRefactorResponse
if err := json . Unmarshal ([] byte ( msg ), & res ); err != nil {
return CodeBaseRefactorResponse {}, err
}
return res , nil
},
}
agent := agents . NewChainAgent ( engines . NewGPTEngine ( os . Getenv ( "OPENAI_TOKEN" ), "gpt-3.5-turbo-0613" ), task , memory . NewBufferedMemory ( 0 )). WithMaxSolutionAttempts ( 12 ). WithTools ( tools . NewPythonREPL (), tools . NewBashTerminal ())
res , err := agent . Run ( CodeBaseRefactorRequest {
Dir : "/Users/nate/Git/go-llm/tools" ,
Goal : "Write unit tests for the bash.go file, following the example of python_repl_test.go." ,
})
...
}笔记
有趣的事实：
tools/bash_test.go文件就是由这个代理编写的，并帮助发现了一个错误！
LLM 引擎的连接器。目前仅支持 OpenAI 的 GPT 聊天完成 API。
可以为代理提供执行与外界交互的操作的能力的工具。目前可用的工具有：
PythonREPL - 一种允许代理在 REPL 中执行 Python 代码的工具。IsolatedPythonREPL - 一个允许代理在 REPL 中但在 Docker 容器中执行 Python 代码的工具。BashTerminal - 一种允许代理在终端中执行 bash 命令的工具。GoogleSearch - 一种允许代理搜索 Google 的工具。WebpageSummary - 一种基于 LLM 的工具，允许代理获取网页摘要。WolframAlpha - 一个允许代理查询 WolframAlpha 的简答 API 的工具。KeyValueStore - 用于存储和检索信息的工具。代理可以使用此工具通过引用重新使用长信息，消除重复，从而减少上下文大小。AskUser - 一种交互工具，可让代理在需要时向操作员询问澄清情况。JSONAutoFixer - 默认情况下启用的元工具。当任何工具的参数以无效 JSON 的形式提供时，该工具会尝试使用单独的 LLM 链修复有效负载。GenericAgentTool - 让一个代理使用预先确定的工具运行另一个代理，动态地为其提供任务和输入并收集其最终答案。警告
BashTerminal和常规PythonREPL工具允许代理在您的计算机上运行任意命令，使用风险由您自行承担。使用对操作确认回调的内置支持可能是个好主意（请参阅ChainAgent类型上的WithActionConfirmation方法）。
go-llm工具透明地支持新的 OpenAI 函数调用接口，适用于具有此功能的模型变体。
允许代理存储和检索信息的存储系统。目前可用的内存系统有：
BufferMemory - 为代理的每个步骤提供对话历史记录中的最新消息的固定缓冲区。SummarisedMemory - 它为代理的每一步提供对话历史记录的摘要，由法学硕士提供支持。代理是图书馆的主要组成部分。代理可以执行涉及与外界迭代交互的复杂任务。
一系列现成的代理，可以轻松地与您的应用程序集成。
代理和引擎的评估工具集合。
package main
import (
"fmt"
"os"
"github.com/natexcvi/go-llm/engines"
"github.com/natexcvi/go-llm/evaluation"
)
func goodness ( _ * engines. ChatPrompt , _ * engines. ChatMessage , err error ) float64 {
if err != nil {
return 0
}
return 1
}
func main () {
engine := engines . NewGPTEngine ( os . Getenv ( "OPENAI_TOKEN" ), "gpt-3.5-turbo-0613" )
engineRunner := evaluation . NewLLMRunner ( engine )
evaluator := evaluation . NewEvaluator ( engineRunner , & evaluation. Options [ * engines. ChatPrompt , * engines. ChatMessage ]{
GoodnessFunction : goodness ,
Repetitions : 5 ,
})
testPack := [] * engines. ChatPrompt {
{
History : [] * engines. ChatMessage {
{
Text : "Hello, how are you?" ,
},
{
Text : "I'm trying to understand how this works." ,
},
},
},
{
History : [] * engines. ChatMessage {
{
Text : "Could you please explain it to me?" ,
},
},
},
}
results := evaluator . Evaluate ( testPack )
fmt . Println ( "Goodness level of the first prompt:" , results [ 0 ])
fmt . Println ( "Goodness level of the second prompt:" , results [ 1 ])
}
