spellbook forge

??? Forja do livro de feitiços

Torne seus prompts LLM executáveis ​​e controlados por versão.

Início rápido

No seu servidor Express:

yarn add spellbook-forge

 import { spellbookForge } from "spellbook-forge" ;

const app = express ( )
  . use ( spellbookForge ( {
    gitHost : 'https://github.com'
  } ) )

e então:

 GET http://localhost:3000/your/repository/prompt?execute

<-- HTTP 200
{
  "prompt-content": "Complete this phrase in coders’ language: Hello …",
  "model": "gpt3.5",
  "result": "Hello, World!"
}

Veja exemplos ao vivo para experimentar!

? O que é isso?

Este é um middleware ExpressJS que permite criar uma interface API para seus prompts LLM. Ele irá gerar automaticamente um servidor para seus prompts armazenados em um repositório git. Usando o Spellbook, você pode:

• Armazene e gerencie prompts LLM em uma ferramenta familiar: um repositório git
• Execute prompts com o modelo escolhido e obtenha resultados usando uma API simples
• Conecte-se ao sistema de templates LangChain
• Execute operações CRUD básicas em prompts

Nota: é uma versão inicial. Espere bugs, alterações significativas e desempenho ruim.

Experimente

Este repositório de prompt: https://github.com/rafalzawadzki/spellbook-prompts/hello-world

Pode ser executado assim: https://book.spell.so/rafalzawadzki/spellbook-prompts/hello-world?execute

➡️ Servidor Spellbook: https://book.spell.so

O servidor usa spellbook-forge e atualmente está conectado ao Github como um host git. Você pode usar qualquer repositório público com prompts (desde que sigam o formato aceito).

Por exemplo, usando um repositório rafalzawadzki/spellbook-prompts, você pode formar um endpoint (e muitos mais):

https://book.spell.so/rafalzawadzki/spellbook-prompts/hello-world

Documentação

Documentação completa em breve!

Chave OpenAI

Se quiser usar a consulta execute em sua própria instância do Spellbook-Forge, você precisará fornecer uma chave de API OpenAI no arquivo .env ou em variáveis ​​env:

OPENAI_API_KEY=your-key

Dependências principais

1. ?? LangChain.js
2. simples-git

Formato de prompt

Os arquivos de prompt devem aderir a um formato específico (JSON/YAML). Veja exemplos aqui aqui.

Exemplo

 ├── prompt1
│   ├── prompt . json
│   └── readme . md
└── collection
    └── prompt2
        ├── prompt . yaml
        └── readme . md

A estrutura de arquivo acima resultará na geração dos seguintes endpoints de API:

{host}/prompt1

{host}/collection/prompt2

Arquivos

1. prompt.json o arquivo principal com o conteúdo e configuração do prompt.
2. readme.md informações adicionais sobre uso de prompt, exemplos etc.

API

CRUD

• GET {host}/path/to/prompt - obtém conteúdo do prompt

• POST {host}/path/to/prompt - atualiza o conteúdo do prompt

• DELETE {host}/path/to/prompt - prompt de exclusão (junto com leia-me e metadados!)

Execução

• GET {host}/path/to/prompt?execute - para prompts simples sem modelos

• POST {host}/path/to/prompt?execute - para prompts com modelos (recomendado)

 // request body
{
  "variables": [
    "name": "World"
  ]
}

• GET {host}/path/to/prompt?execute=gpt4 - com modelo diferente (ainda não implementado)

Usando com LangChain

Você pode buscar o conteúdo do prompt e executá-lo usando LangChain:

 import { PromptTemplate } from "langchain/prompts" ;

export const run = async ( ) => {
  const template = await fetch (
          "https://book.spell.so/rafalzawadzki/spellbook-prompts/hello-world"
  ) . then ( ( res ) => res . text ( ) ) ;
  const prompt = new PromptTemplate ( { template , inputVariables : [ "product" ] } )
  // do something with the prompt ...
}

A solução apresentada faz sentido principalmente no encadeamento, para instruções simples é melhor usar o Spellbook diretamente!

No futuro, posso contribuir para estender a função prompt/load do LangChain para suportar prompts de carregamento do Spellbook, por exemplo:

 import { loadPrompt } from "langchain/prompts/load" ;
const prompt = await loadPrompt ( "{spellbook-host}/hello-world/prompt" ) ; 

☑️ Tudo

• Documentação
  • Chave de API OpenAI
  • API gerada
  • Modelagem
  • Usando com LangChain
  • Formato de prompt
  • Modelos disponíveis
• Adicionar funcionalidade ausente
  • POST /prompt?execute com corpo
  • Suporte para diferentes modelos, por exemplo. execute=gpt4
  • Tratamento elegante de erros
  • Formatação de resposta