bosquet

LLMOps สำหรับแอปพลิเคชันที่ใช้โมเดลภาษาขนาดใหญ่

Bosquet มุ่งมั่นที่จะทำให้การสร้างแอปพลิเคชัน AI เป็นเรื่องง่าย แอปพลิเคชัน AI ที่ไม่ธรรมดาทั้งหมดจำเป็นต้องทำงานกับเทมเพลตพร้อมท์ที่มีความซับซ้อนเพิ่มขึ้นอย่างรวดเร็ว หน้าต่างบริบท LLM ที่จำกัดจำเป็นต้องมีการจัดการหน่วยความจำ และเอเจนต์จำเป็นสำหรับแอปพลิเคชัน AI เพื่อโต้ตอบกับโลกภายนอก

Bosquet จัดเตรียมเครื่องมือเพื่อทำงานร่วมกับแนวคิดแอปพลิเคชัน AI เหล่านั้น:

• การจัดการบริการ LLM และเครื่องมือ
• การสร้างเทมเพลตพร้อมท์ผ่านการผสานรวมกับไลบรารีการสร้างเทมเพลตของ Selmer ที่ยอดเยี่ยม
• การต่อสายและการจัดองค์ประกอบที่รวดเร็วผ่านเครื่องประมวลผลกราฟ Pathom อันทรงพลัง
• บทคัดย่อคำจำกัดความของเอเจนต์และเครื่องมือสำหรับการโต้ตอบกับ API ภายนอก
• การจัดการหน่วยความจำ LLM
• เครื่องมืออื่นๆ เช่น การแคชการตอบสนองการโทร (ดูเอกสารประกอบ)

เอกสารประกอบ

เอกสารโครงการฉบับเต็ม (WIP)

ใช้

ข้อมูลลับเช่นคีย์จะถูกจัดเก็บไว้ในไฟล์ secrets.edn และพารามิเตอร์ในเครื่องจะถูกเก็บไว้ใน config.edn ทำสำเนาของไฟล์ config.edn.sample และ config.edn.sample เปลี่ยนตามความจำเป็น

คลีไอ

การสาธิตอินเทอร์เฟซบรรทัดคำสั่ง

รันคำสั่งต่อไปนี้เพื่อรับตัวเลือก CLI

 clojure -M -m bosquet.cli

ตั้งค่ารูปแบบเริ่มต้นด้วย

 clojure -M -m bosquet.cli llms set --service openai --temperature 0 --model gpt-4

อย่าลืมตั้งค่าคีย์ API สำหรับบริการของคุณ (เปลี่ยน 'openai' เป็นชื่ออื่นหากจำเป็น)

 clojure -M -m bosquet.cli keys set openai

ด้วยชุดนั้น คุณสามารถดำเนินการได้หลายรุ่น:

 clojure -M -m bosquet.cli "2+{{x}}="

หรือใช้ไฟล์

 clojure -M -m bosquet.cli -p demo/play-writer-prompt.edn -d demo/play-writer-data.edn

เสร็จทัน

การดำเนินการให้เสร็จสิ้นอย่างง่าย ๆ สามารถทำได้เช่นนี้

 (require '[bosquet.llm.generator :refer [generate llm]])

(generate "When I was 6 my sister was half my age. Now I’m 70 how old is my sister?")
=>
"When you were 6, your sister was half your age, which means she was 6 / 2 = 3 years old.nSince then, there is a constant age difference of 3 years between you and your sister.nNow that you are 70, your sister would be 70 - 6 = 64 years old."}

เสร็จสิ้นจากแผนที่พร้อมท์

( require '[bosquet.llm :as llm])
( require '[bosquet.llm.generator :refer [generate llm]])

( generate
 llm/default-services
 { :question-answer " Question: {{question}}  Answer: {{answer}} "
  :answer          ( llm :openai )
  :self-eval       [ " Question: {{question}} "
                    " Answer: {{answer}} "
                    " "
                    " Is this a correct answer? "
                    " {{test}} " ]
  :test            ( llm :openai )}
 { :question " What is the distance from Moon to Io? " })
=>

{ :question-answer
 " Question: What is the distance from Moon to Io?  Answer: " ,
 :answer
 " The distance from the Moon to Io varies, as both are orbiting different bodies. On average, the distance between the Moon and Io is approximately 760,000 kilometers (470,000 miles). However, this distance can change due to the elliptical nature of their orbits. " ,
 :self-eval
 " Question: What is the distance from Moon to Io? n Answer: The distance from the Moon to Io varies, as both are orbiting different bodies. On average, the distance between the Moon and Io is approximately 760,000 kilometers (470,000 miles). However, this distance can change due to the elliptical nature of their orbits. nn Is this a correct answer? " ,
 :test
 " No, the answer provided is incorrect. The Moon is Earth's natural satellite, while Io is one of Jupiter's moons. Therefore, the distance between the Moon and Io can vary significantly depending on their relative positions in their respective orbits around Earth and Jupiter. " }

แชท

( require '[bosquet.llm.wkk :as wkk])
( generate
    [[ :system " You are an amazing writer. " ]
     [ :user [ " Write a synopsis for the play: "
             " Title: {{title}} "
             " Genre: {{genre}} "
             " Synopsis: " ]]
     [ :assistant ( llm wkk/openai
                    wkk/model-params { :temperature 0.8 :max-tokens 120 }
                    wkk/var-name :synopsis )]
     [ :user " Now write a critique of the above synopsis: " ]
     [ :assistant ( llm wkk/openai
                    wkk/model-params { :temperature 0.2 :max-tokens 120 }
                    wkk/var-name     :critique )]]
    { :title " Mr. X "
    :genre " Sci-Fi " })
=>

#:bosquet{ :conversation
          [[ :system " You are an amazing writer. " ]
           [ :user
            " Write a synopsis for the play: n Title: Mr. X n Genre: Sci-Fi n Synopsis: " ]
           [ :assistant " In a futuristic world where technology ... " ]
           [ :user " Now write a critique of the above synopsis: " ]
           [ :assistant
            " The synopsis for the play " Mr. X " presents an intriguing premise ... " ]],
          :completions
          { :synopsis
           " In a futuristic world where technology has ... " ,
           :critique
           " The synopsis for the play " Mr. X " presents an intriguing premise set ... " }}

Generation return :bosquet/conversation แสดงรายการแชทแบบเต็มพร้อมส่วนที่สร้างขึ้น และ :bosquet/completions ที่มีเฉพาะข้อมูลที่สร้างขึ้น