bosquet

LLMOps para aplicativos baseados em modelos de linguagem grande

Bosquet tem a missão de simplificar a construção de aplicativos de IA. Todos os aplicativos de IA não triviais precisam trabalhar com modelos de prompt que crescem rapidamente em complexidade, janelas de contexto LLM limitadas exigem gerenciamento de memória e são necessários agentes para que os aplicativos de IA interajam com o mundo externo.

Bosquet fornece instrumentos para trabalhar com esses conceitos de aplicação de IA:

• LLM e gerenciamento de serviços de ferramentas
• Prompt de templates via integração com a excelente biblioteca de templates Selmer
• Encadeamento e composição de prompts por meio de uma poderosa máquina de processamento de gráficos Pathom
• Abstrações de definição de agentes e ferramentas para interações com APIs externas
• Manipulação de memória LLM
• Outros instrumentos como cache de resposta de chamada (ver documentação)

Documentação

Documentação completa do projeto (WIP)

Usar

Segredos como chaves são armazenados no arquivo secrets.edn e os parâmetros locais são mantidos em config.edn . Faça uma cópia dos arquivos config.edn.sample e config.edn.sample . Mude conforme necessário.

CLI

Demonstração da interface de linha de comando

Execute o seguinte comando para obter opções CLI

 clojure -M -m bosquet.cli

Defina o modelo padrão com

 clojure -M -m bosquet.cli llms set --service openai --temperature 0 --model gpt-4

Não se esqueça de definir a API KEY para o seu serviço (altere 'openai' para um nome diferente, se necessário)

 clojure -M -m bosquet.cli keys set openai

Com esse conjunto, você pode executar gerações:

 clojure -M -m bosquet.cli "2+{{x}}="

Ou usando arquivos

 clojure -M -m bosquet.cli -p demo/play-writer-prompt.edn -d demo/play-writer-data.edn

Conclusão imediata

A conclusão imediata simples pode ser feita assim.

 (require '[bosquet.llm.generator :refer [generate llm]])

(generate "When I was 6 my sister was half my age. Now I’m 70 how old is my sister?")
=>
"When you were 6, your sister was half your age, which means she was 6 / 2 = 3 years old.nSince then, there is a constant age difference of 3 years between you and your sister.nNow that you are 70, your sister would be 70 - 6 = 64 years old."}

Conclusão do mapa de prompt

( require '[bosquet.llm :as llm])
( require '[bosquet.llm.generator :refer [generate llm]])

( generate
 llm/default-services
 { :question-answer " Question: {{question}}  Answer: {{answer}} "
  :answer          ( llm :openai )
  :self-eval       [ " Question: {{question}} "
                    " Answer: {{answer}} "
                    " "
                    " Is this a correct answer? "
                    " {{test}} " ]
  :test            ( llm :openai )}
 { :question " What is the distance from Moon to Io? " })
=>

{ :question-answer
 " Question: What is the distance from Moon to Io?  Answer: " ,
 :answer
 " The distance from the Moon to Io varies, as both are orbiting different bodies. On average, the distance between the Moon and Io is approximately 760,000 kilometers (470,000 miles). However, this distance can change due to the elliptical nature of their orbits. " ,
 :self-eval
 " Question: What is the distance from Moon to Io? n Answer: The distance from the Moon to Io varies, as both are orbiting different bodies. On average, the distance between the Moon and Io is approximately 760,000 kilometers (470,000 miles). However, this distance can change due to the elliptical nature of their orbits. nn Is this a correct answer? " ,
 :test
 " No, the answer provided is incorrect. The Moon is Earth's natural satellite, while Io is one of Jupiter's moons. Therefore, the distance between the Moon and Io can vary significantly depending on their relative positions in their respective orbits around Earth and Jupiter. " }

Bater papo

( require '[bosquet.llm.wkk :as wkk])
( generate
    [[ :system " You are an amazing writer. " ]
     [ :user [ " Write a synopsis for the play: "
             " Title: {{title}} "
             " Genre: {{genre}} "
             " Synopsis: " ]]
     [ :assistant ( llm wkk/openai
                    wkk/model-params { :temperature 0.8 :max-tokens 120 }
                    wkk/var-name :synopsis )]
     [ :user " Now write a critique of the above synopsis: " ]
     [ :assistant ( llm wkk/openai
                    wkk/model-params { :temperature 0.2 :max-tokens 120 }
                    wkk/var-name     :critique )]]
    { :title " Mr. X "
    :genre " Sci-Fi " })
=>

#:bosquet{ :conversation
          [[ :system " You are an amazing writer. " ]
           [ :user
            " Write a synopsis for the play: n Title: Mr. X n Genre: Sci-Fi n Synopsis: " ]
           [ :assistant " In a futuristic world where technology ... " ]
           [ :user " Now write a critique of the above synopsis: " ]
           [ :assistant
            " The synopsis for the play " Mr. X " presents an intriguing premise ... " ]],
          :completions
          { :synopsis
           " In a futuristic world where technology has ... " ,
           :critique
           " The synopsis for the play " Mr. X " presents an intriguing premise set ... " }}

A geração retorna :bosquet/conversation listando o chat completo com as partes geradas preenchidas e :bosquet/completions contendo apenas os dados gerados