bosquet

LLMOps для приложений на основе больших языковых моделей

Цель Боскета — упростить создание приложений искусственного интеллекта. Все нетривиальные приложения ИИ должны работать с шаблонами подсказок, которые быстро усложняются, ограниченные контекстные окна LLM требуют управления памятью, а для взаимодействия приложений ИИ с внешним миром необходимы агенты.

Bosquet предоставляет инструменты для работы с этими концепциями приложений ИИ:

• LLM и управление инструментальным обслуживанием
• Быстрое создание шаблонов благодаря интеграции с превосходной библиотекой шаблонов Selmer.
• Быстрое создание цепочек и композиций с помощью мощной машины обработки графов Pathom.
• Абстракции определения агента и инструментов для взаимодействия с внешними API.
• Обработка памяти LLM
• Другие инструменты, такие как кэширование ответов на вызовы (см. документацию).

Документация

Полная проектная документация (WIP)

Использовать

Секреты, такие как ключи, хранятся в файле secrets.edn , а локальные параметры — в config.edn . Сделайте копию файлов config.edn.sample и config.edn.sample . Меняйте по мере необходимости.

интерфейс командной строки

Демонстрация интерфейса командной строки

Запустите следующую команду, чтобы получить параметры CLI

 clojure -M -m bosquet.cli

Установите модель по умолчанию с помощью

 clojure -M -m bosquet.cli llms set --service openai --temperature 0 --model gpt-4

Не забудьте установить API-ключ для вашего сервиса (при необходимости измените «openai» на другое имя)

 clojure -M -m bosquet.cli keys set openai

С помощью этого набора вы можете запускать поколения:

 clojure -M -m bosquet.cli "2+{{x}}="

Или с помощью файлов

 clojure -M -m bosquet.cli -p demo/play-writer-prompt.edn -d demo/play-writer-data.edn

Быстрое завершение

Простое быстрое завершение можно выполнить следующим образом.

 (require '[bosquet.llm.generator :refer [generate llm]])

(generate "When I was 6 my sister was half my age. Now I’m 70 how old is my sister?")
=>
"When you were 6, your sister was half your age, which means she was 6 / 2 = 3 years old.nSince then, there is a constant age difference of 3 years between you and your sister.nNow that you are 70, your sister would be 70 - 6 = 64 years old."}

Завершение с карты подсказки

( require '[bosquet.llm :as llm])
( require '[bosquet.llm.generator :refer [generate llm]])

( generate
 llm/default-services
 { :question-answer " Question: {{question}}  Answer: {{answer}} "
  :answer          ( llm :openai )
  :self-eval       [ " Question: {{question}} "
                    " Answer: {{answer}} "
                    " "
                    " Is this a correct answer? "
                    " {{test}} " ]
  :test            ( llm :openai )}
 { :question " What is the distance from Moon to Io? " })
=>

{ :question-answer
 " Question: What is the distance from Moon to Io?  Answer: " ,
 :answer
 " The distance from the Moon to Io varies, as both are orbiting different bodies. On average, the distance between the Moon and Io is approximately 760,000 kilometers (470,000 miles). However, this distance can change due to the elliptical nature of their orbits. " ,
 :self-eval
 " Question: What is the distance from Moon to Io? n Answer: The distance from the Moon to Io varies, as both are orbiting different bodies. On average, the distance between the Moon and Io is approximately 760,000 kilometers (470,000 miles). However, this distance can change due to the elliptical nature of their orbits. nn Is this a correct answer? " ,
 :test
 " No, the answer provided is incorrect. The Moon is Earth's natural satellite, while Io is one of Jupiter's moons. Therefore, the distance between the Moon and Io can vary significantly depending on their relative positions in their respective orbits around Earth and Jupiter. " }

Чат

( require '[bosquet.llm.wkk :as wkk])
( generate
    [[ :system " You are an amazing writer. " ]
     [ :user [ " Write a synopsis for the play: "
             " Title: {{title}} "
             " Genre: {{genre}} "
             " Synopsis: " ]]
     [ :assistant ( llm wkk/openai
                    wkk/model-params { :temperature 0.8 :max-tokens 120 }
                    wkk/var-name :synopsis )]
     [ :user " Now write a critique of the above synopsis: " ]
     [ :assistant ( llm wkk/openai
                    wkk/model-params { :temperature 0.2 :max-tokens 120 }
                    wkk/var-name     :critique )]]
    { :title " Mr. X "
    :genre " Sci-Fi " })
=>

#:bosquet{ :conversation
          [[ :system " You are an amazing writer. " ]
           [ :user
            " Write a synopsis for the play: n Title: Mr. X n Genre: Sci-Fi n Synopsis: " ]
           [ :assistant " In a futuristic world where technology ... " ]
           [ :user " Now write a critique of the above synopsis: " ]
           [ :assistant
            " The synopsis for the play " Mr. X " presents an intriguing premise ... " ]],
          :completions
          { :synopsis
           " In a futuristic world where technology has ... " ,
           :critique
           " The synopsis for the play " Mr. X " presents an intriguing premise set ... " }}

Генерация возвращает :bosquet/conversation список полного чата с заполненными сгенерированными частями, а :bosquet/completions содержит только сгенерированные данные.