go llm

Перейти на степень магистра права

Интегрируйте возможности больших языковых моделей (LLM) в свое приложение Go.

Этот проект направлен на то, чтобы абстрагировать большую часть служебной информации (свободный текст в структурированные данные, контекстную память, перенос инструментов, логику повторов и т. д.), чтобы вы могли сосредоточиться на бизнес-логике вашего агента.

 график LR
    подграф Вход
    A[Структурированный ввод] --> B[Скомпилированная задача]
    конец
    подграф Агент на базе LLM
    C[Шаблон задачи] --> B[Скомпилированная задача]
    B --> D((Агент))
    Д --"Рассуждение"--> Д
    D --"Действие"--> E[Окружающая среда]
    Е --"Наблюдение" --> D
    D --"Ответ"--> G[Валидаторы вывода]
    Г --> Д
    конец
    вывод подграфа
    G --"Ответ"--> F[Структурированный вывод]
    конец

Пример использования

 package main

import (
	"encoding/json"
	"fmt"
	"os"

	"github.com/natexcvi/go-llm/agents"
	"github.com/natexcvi/go-llm/engines"
	"github.com/natexcvi/go-llm/memory"
	"github.com/natexcvi/go-llm/tools"
)

type CodeBaseRefactorRequest struct {
	Dir  string
	Goal string
}

func ( req CodeBaseRefactorRequest ) Encode () string {
	return fmt . Sprintf ( `{"dir": "%s", "goal": "%s"}` , req . Dir , req . Goal )
}

func ( req CodeBaseRefactorRequest ) Schema () string {
	return `{"dir": "path to code base", "goal": "refactoring goal"}`
}

type CodeBaseRefactorResponse struct {
	RefactoredFiles map [ string ] string `json:"refactored_files"`
}

func ( resp CodeBaseRefactorResponse ) Encode () string {
	marshalled , err := json . Marshal ( resp . RefactoredFiles )
	if err != nil {
		panic ( err )
	}
	return string ( marshalled )
}

func ( resp CodeBaseRefactorResponse ) Schema () string {
	return `{"refactored_files": {"path": "description of changes"}}`
}

func main () {
	task := & agents. Task [ CodeBaseRefactorRequest , CodeBaseRefactorResponse ]{
		Description : "You will be given access to a code base, and instructions for refactoring." +
			"your task is to refactor the code base to meet the given goal." ,
		Examples : []agents. Example [ CodeBaseRefactorRequest , CodeBaseRefactorResponse ]{
			{
				Input : CodeBaseRefactorRequest {
					Dir :  "/Users/nate/code/base" ,
					Goal : "Handle errors gracefully" ,
				},
				Answer : CodeBaseRefactorResponse {
					RefactoredFiles : map [ string ] string {
						"/Users/nate/code/base/main.py" : "added try/except block" ,
					},
				},
				IntermediarySteps : [] * engines. ChatMessage {
					( & agents. ChainAgentThought {
						Content : "I should scan the code base for functions that might error." ,
					}). Encode ( engine ),
					( & agents. ChainAgentAction {
						Tool : tools . NewBashTerminal (),
						Args : json . RawMessage ( `{"command": "ls /Users/nate/code/base"}` ),
					}). Encode ( engine ),
					( & agents. ChainAgentObservation {
						Content :  "main.py" ,
						ToolName : tools . NewBashTerminal (). Name (),
					}). Encode ( engine ),
					( & agents. ChainAgentThought {
						Content : "Now I should read the code file." ,
					}). Encode ( engine ),
					( & agents. ChainAgentAction {
						Tool : tools . NewBashTerminal (),
						Args : json . RawMessage ( `{"command": "cat /Users/nate/code/base/main.py"}` ),
					}). Encode ( engine ),
					( & agents. ChainAgentObservation {
						Content :  "def main(): n t func_that_might_error()" ,
						ToolName : tools . NewBashTerminal (). Name (),
					}). Encode ( engine ),
					( & agents. ChainAgentThought {
						Content : "I should refactor the code to handle errors gracefully." ,
					}). Encode ( engine ),
					( & agents. ChainAgentAction {
						Tool : tools . NewBashTerminal (),
						Args : json . RawMessage ( `{"command": "echo 'def main():nttry:nttfunc_that_might_error()ntexcept Exception as e:nttprint("Error: %s", e)' > /Users/nate/code/base/main.py"}` ),
					}). Encode ( engine ),
				},
			},
		},
		AnswerParser : func ( msg string ) ( CodeBaseRefactorResponse , error ) {
			var res CodeBaseRefactorResponse
			if err := json . Unmarshal ([] byte ( msg ), & res ); err != nil {
				return CodeBaseRefactorResponse {}, err
			}
			return res , nil
		},
	}
	agent := agents . NewChainAgent ( engines . NewGPTEngine ( os . Getenv ( "OPENAI_TOKEN" ), "gpt-3.5-turbo-0613" ), task , memory . NewBufferedMemory ( 0 )). WithMaxSolutionAttempts ( 12 ). WithTools ( tools . NewPythonREPL (), tools . NewBashTerminal ())
	res , err := agent . Run ( CodeBaseRefactorRequest {
		Dir :  "/Users/nate/Git/go-llm/tools" ,
		Goal : "Write unit tests for the bash.go file, following the example of python_repl_test.go." ,
	})
	...
}

Примечание

Интересный факт: tools/bash_test.go был написан этим самым агентом и помог найти ошибку!

Компоненты

Двигатели

Разъемы к двигателям LLM. В настоящее время поддерживается только API завершения чата GPT OpenAI.

Инструменты

Инструменты, которые могут предоставить агентам возможность выполнять действия, взаимодействуя с внешним миром. На данный момент доступны следующие инструменты:

• PythonREPL — инструмент, который позволяет агентам выполнять код Python в REPL.
• IsolatedPythonREPL — инструмент, позволяющий агентам выполнять код Python в REPL, но в контейнере Docker.
• BashTerminal — инструмент, позволяющий агентам выполнять команды bash в терминале.
• GoogleSearch — инструмент, позволяющий агентам осуществлять поиск в Google.
• WebpageSummary — инструмент на основе LLM, который позволяет агентам получать сводку веб-страницы.
• WolframAlpha — инструмент, который позволяет агентам запрашивать API коротких ответов WolframAlpha.
• KeyValueStore — инструмент для хранения и извлечения информации. Агент может использовать этот инструмент для повторного использования длинных фрагментов информации по ссылке, устраняя дублирование и, следовательно, уменьшая размер контекста.
• AskUser — интерактивный инструмент, который позволяет агенту при необходимости запрашивать у оператора-человека разъяснения.
• JSONAutoFixer — метаинструмент, включенный по умолчанию. Когда аргументы любого инструмента предоставляются в форме, которая не является допустимым JSON, этот инструмент пытается исправить полезную нагрузку, используя отдельную цепочку LLM.
• GenericAgentTool — позволяет агенту запускать другой агент с заранее определенными инструментами, динамически предоставляя ему задачи и входные данные и собирая окончательный ответ.

Предупреждение

BashTerminal и обычные инструменты PythonREPL позволяют агенту запускать произвольные команды на вашем компьютере. Используйте их на свой страх и риск. Возможно, будет хорошей идеей использовать встроенную поддержку обратных вызовов подтверждения действий (см. метод WithActionConfirmation для типа ChainAgent ).

Вызовы собственных функций модели

Инструменты go-llm прозрачно поддерживают новый интерфейс вызова функций OpenAI для вариантов моделей, имеющих эту функцию.

Память

Система памяти, позволяющая агентам хранить и извлекать информацию. В настоящее время доступны следующие системы памяти:

• BufferMemory — обеспечивает каждому шагу агента фиксированный буфер последних сообщений из истории разговоров.
• SummarisedMemory — предоставляет каждому шагу агента сводную информацию об истории разговоров на основе LLM.

Агенты

Агенты являются основным компонентом библиотеки. Агенты могут выполнять сложные задачи, предполагающие итеративное взаимодействие с внешним миром.

Готовый (НЗП)

Коллекция готовых агентов, которые можно легко интегрировать с вашим приложением.

Оценка (НЗП)

Коллекция инструментов оценки для агентов и механизмов.

Пример

 package main

import (
	"fmt"
	"os"

	"github.com/natexcvi/go-llm/engines"
	"github.com/natexcvi/go-llm/evaluation"
)

func goodness ( _ * engines. ChatPrompt , _ * engines. ChatMessage , err error ) float64 {
	if err != nil {
		return 0
	}

	return 1
}

func main () {
	engine := engines . NewGPTEngine ( os . Getenv ( "OPENAI_TOKEN" ), "gpt-3.5-turbo-0613" )
	engineRunner := evaluation . NewLLMRunner ( engine )

	evaluator := evaluation . NewEvaluator ( engineRunner , & evaluation. Options [ * engines. ChatPrompt , * engines. ChatMessage ]{
		GoodnessFunction : goodness ,
		Repetitions :      5 ,
	})

	testPack := [] * engines. ChatPrompt {
		{
			History : [] * engines. ChatMessage {
				{
					Text : "Hello, how are you?" ,
				},
				{
					Text : "I'm trying to understand how this works." ,
				},
			},
		},
		{
			History : [] * engines. ChatMessage {
				{
					Text : "Could you please explain it to me?" ,
				},
			},
		},
	}

	results := evaluator . Evaluate ( testPack )
	fmt . Println ( "Goodness level of the first prompt:" , results [ 0 ])
	fmt . Println ( "Goodness level of the second prompt:" , results [ 1 ])
}