langchainrb
0.19.2
⚡ Ruby에서 LLM 기반 애플리케이션 구축 ⚡
심층적인 Rails 통합에 대해서는 langchainrb_rails gem을 참조하세요.
유료 컨설팅 참여가 가능합니다! 나에게 이메일을 보내주세요.
다음을 실행하여 gem을 설치하고 애플리케이션의 Gemfile에 추가합니다.
bundle add langchainrb
번들러를 사용하여 종속성을 관리하지 않는 경우 다음을 실행하여 gem을 설치하세요.
gem install langchainrb
추가 보석이 필요할 수 있습니다. 기본적으로 포함되지 않으므로 필요한 것만 포함할 수 있습니다.
require "langchain" Langchain::LLM 모듈은 다양한 LLM(Large Language Model) 제공자와 상호 작용하기 위한 통합 인터페이스를 제공합니다. 이 추상화를 사용하면 애플리케이션 코드를 변경하지 않고도 다양한 LLM 백엔드 간에 쉽게 전환할 수 있습니다.
모든 LLM 클래스는 Langchain::LLM::Base 에서 상속되며 일반적인 작업에 대해 일관된 인터페이스를 제공합니다.
대부분의 LLM 클래스는 API 키와 선택적 기본 옵션을 사용하여 초기화할 수 있습니다.
llm = Langchain :: LLM :: OpenAI . new (
api_key : ENV [ "OPENAI_API_KEY" ] ,
default_options : { temperature : 0.7 , chat_model : "gpt-4o" }
) 주어진 텍스트에 대한 임베딩을 생성하려면 embed 메소드를 사용하십시오.
response = llm . embed ( text : "Hello, world!" )
embedding = response . embedding embed() 에 허용되는 매개변수text : (필수) 포함할 입력 텍스트입니다.model : (선택 사항) 사용할 모델 이름 또는 기본 임베딩 모델이 사용됩니다. 주어진 프롬프트에 대한 완성을 생성하려면 complete 메소드를 사용하십시오:
response = llm . complete ( prompt : "Once upon a time" )
completion = response . completion complete() 에 대해 허용되는 매개변수prompt : (필수) 완료를 위한 입력 프롬프트입니다.max_tokens : (선택 사항) 생성할 최대 토큰 수입니다.temperature : (선택 사항) 생성 시 무작위성을 제어합니다. 값이 높을수록(예: 0.8) 출력이 더 무작위화되고, 값이 낮을수록(예: 0.2) 출력이 더 결정적입니다.top_p : (선택 사항) 온도 대신 생성된 토큰의 다양성을 제어합니다.n : (선택 사항) 각 프롬프트에 대해 생성할 완료 횟수입니다.stop : (선택 사항) API가 추가 토큰 생성을 중지하는 시퀀스입니다.presence_penalty : (선택 사항) 지금까지 텍스트에 나타난 토큰을 기준으로 새 토큰에 페널티를 적용합니다.frequency_penalty : (선택 사항) 지금까지 텍스트의 빈도를 기준으로 새 토큰에 페널티를 적용합니다. chat 메소드를 사용하여 채팅 완료를 생성하세요.
messages = [
{ role : "system" , content : "You are a helpful assistant." } ,
{ role : "user" , content : "What's the weather like today?" }
# Google Gemini and Google VertexAI expect messages in a different format:
# { role: "user", parts: [{ text: "why is the sky blue?" }]}
]
response = llm . chat ( messages : messages )
chat_completion = response . chat_completion chat() 에 허용되는 매개변수messages : (필수) 대화 기록을 나타내는 메시지 객체의 배열입니다.model : (선택 사항) 사용할 특정 채팅 모델입니다.temperature : (선택 사항) 생성 시 무작위성을 제어합니다.top_p : (선택 사항) 온도 대신 생성된 토큰의 다양성을 제어합니다.n : (선택 사항) 생성할 채팅 완료 선택 항목 수입니다.max_tokens : (선택 사항) 채팅 완료 시 생성할 최대 토큰 수입니다.stop : (선택 사항) API가 추가 토큰 생성을 중지하는 시퀀스입니다.presence_penalty : (선택 사항) 지금까지 텍스트에 나타난 토큰을 기준으로 새 토큰에 페널티를 적용합니다.frequency_penalty : (선택 사항) 지금까지 텍스트의 빈도를 기준으로 새 토큰에 페널티를 적용합니다.logit_bias : (선택 사항) 지정된 토큰이 완료 시 나타날 가능성을 수정합니다.user : (선택 사항) 최종 사용자를 나타내는 고유 식별자입니다.tools : (선택 사항) 모델이 호출할 수 있는 도구 목록입니다.tool_choice : (선택 사항) 모델이 기능을 호출하는 방식을 제어합니다. 통합 인터페이스 덕분에 인스턴스화하는 클래스를 변경하여 다양한 LLM 공급자 간에 쉽게 전환할 수 있습니다.
# Using Anthropic
anthropic_llm = Langchain :: LLM :: Anthropic . new ( api_key : ENV [ "ANTHROPIC_API_KEY" ] )
# Using Google Gemini
gemini_llm = Langchain :: LLM :: GoogleGemini . new ( api_key : ENV [ "GOOGLE_GEMINI_API_KEY" ] )
# Using OpenAI
openai_llm = Langchain :: LLM :: OpenAI . new ( api_key : ENV [ "OPENAI_API_KEY" ] ) 각 LLM 메소드는 결과에 액세스하기 위한 일관된 인터페이스를 제공하는 응답 객체를 반환합니다.
embedding : 임베딩 벡터를 반환합니다.completion : 생성된 텍스트 완성을 반환합니다.chat_completion : 생성된 채팅 완료를 반환합니다.tool_calls : LLM에서 수행한 도구 호출을 반환합니다.prompt_tokens : 프롬프트의 토큰 수를 반환합니다.completion_tokens : 완료 시 토큰 수를 반환합니다.total_tokens : 사용된 총 토큰 수를 반환합니다. 메모
핵심 인터페이스는 제공업체 전반에 걸쳐 일관되지만 일부 LLM은 추가 기능이나 매개변수를 제공할 수 있습니다. 제공업체별 기능 및 옵션에 대해 알아보려면 각 LLM 클래스에 대한 설명서를 참조하세요.
입력 변수를 사용하여 프롬프트를 만듭니다.
prompt = Langchain :: Prompt :: PromptTemplate . new ( template : "Tell me a {adjective} joke about {content}." , input_variables : [ "adjective" , "content" ] )
prompt . format ( adjective : "funny" , content : "chickens" ) # "Tell me a funny joke about chickens."input_variables 없이 프롬프트만 사용하여 PromptTemplate 만들기:
prompt = Langchain :: Prompt :: PromptTemplate . from_template ( "Tell me a funny joke about chickens." )
prompt . input_variables # []
prompt . format # "Tell me a funny joke about chickens."프롬프트 템플릿을 JSON 파일에 저장합니다.
prompt . save ( file_path : "spec/fixtures/prompt/prompt_template.json" )JSON 파일을 사용하여 새 프롬프트 템플릿 로드:
prompt = Langchain :: Prompt . load_from_path ( file_path : "spec/fixtures/prompt/prompt_template.json" )
prompt . input_variables # ["adjective", "content"] 몇 가지 예시를 사용하여 프롬프트를 만듭니다.
prompt = Langchain :: Prompt :: FewShotPromptTemplate . new (
prefix : "Write antonyms for the following words." ,
suffix : "Input: {adjective} n Output:" ,
example_prompt : Langchain :: Prompt :: PromptTemplate . new (
input_variables : [ "input" , "output" ] ,
template : "Input: {input} n Output: {output}"
) ,
examples : [
{ "input" : "happy" , "output" : "sad" } ,
{ "input" : "tall" , "output" : "short" }
] ,
input_variables : [ "adjective" ]
)
prompt . format ( adjective : "good" )
# Write antonyms for the following words.
#
# Input: happy
# Output: sad
#
# Input: tall
# Output: short
#
# Input: good
# Output:프롬프트 템플릿을 JSON 파일에 저장합니다.
prompt . save ( file_path : "spec/fixtures/prompt/few_shot_prompt_template.json" )JSON 파일을 사용하여 새 프롬프트 템플릿 로드:
prompt = Langchain :: Prompt . load_from_path ( file_path : "spec/fixtures/prompt/few_shot_prompt_template.json" )
prompt . prefix # "Write antonyms for the following words."YAML 파일을 사용하여 새 프롬프트 템플릿 로드:
prompt = Langchain :: Prompt . load_from_path ( file_path : "spec/fixtures/prompt/prompt_template.yaml" )
prompt . input_variables #=> ["adjective", "content"]LLM 텍스트 응답을 JSON과 같은 구조화된 출력으로 구문 분석합니다.
StructuredOutputParser 를 사용하여 LLM에 특정 JSON 스키마를 준수하는 JSON 응답을 제공하도록 지시하는 프롬프트를 생성할 수 있습니다.
json_schema = {
type : "object" ,
properties : {
name : {
type : "string" ,
description : "Persons name"
} ,
age : {
type : "number" ,
description : "Persons age"
} ,
interests : {
type : "array" ,
items : {
type : "object" ,
properties : {
interest : {
type : "string" ,
description : "A topic of interest"
} ,
levelOfInterest : {
type : "number" ,
description : "A value between 0 and 100 of how interested the person is in this interest"
}
} ,
required : [ "interest" , "levelOfInterest" ] ,
additionalProperties : false
} ,
minItems : 1 ,
maxItems : 3 ,
description : "A list of the person's interests"
}
} ,
required : [ "name" , "age" , "interests" ] ,
additionalProperties : false
}
parser = Langchain :: OutputParsers :: StructuredOutputParser . from_json_schema ( json_schema )
prompt = Langchain :: Prompt :: PromptTemplate . new ( template : "Generate details of a fictional character. n {format_instructions} n Character description: {description}" , input_variables : [ "description" , "format_instructions" ] )
prompt_text = prompt . format ( description : "Korean chemistry student" , format_instructions : parser . get_format_instructions )
# Generate details of a fictional character.
# You must format your output as a JSON value that adheres to a given "JSON Schema" instance.
# ...그런 다음 llm 응답을 구문 분석합니다.
llm = Langchain :: LLM :: OpenAI . new ( api_key : ENV [ "OPENAI_API_KEY" ] )
llm_response = llm . chat ( messages : [ { role : "user" , content : prompt_text } ] ) . completion
parser . parse ( llm_response )
# {
# "name" => "Kim Ji-hyun",
# "age" => 22,
# "interests" => [
# {
# "interest" => "Organic Chemistry",
# "levelOfInterest" => 85
# },
# ...
# ]
# } 파서가 LLM 응답을 구문 분석하지 못하는 경우 OutputFixingParser 를 사용할 수 있습니다. 오류 메시지, 이전 출력 및 원본 프롬프트 텍스트를 LLM에 보내 "수정된" 응답을 요청합니다.
begin
parser . parse ( llm_response )
rescue Langchain :: OutputParsers :: OutputParserException => e
fix_parser = Langchain :: OutputParsers :: OutputFixingParser . from_llm (
llm : llm ,
parser : parser
)
fix_parser . parse ( llm_response )
end 또는 OutputParserException 을 처리할 필요가 없는 경우 코드를 단순화할 수 있습니다.
# we already have the `OutputFixingParser`:
# parser = Langchain::OutputParsers::StructuredOutputParser.from_json_schema(json_schema)
fix_parser = Langchain :: OutputParsers :: OutputFixingParser . from_llm (
llm : llm ,
parser : parser
)
fix_parser . parse ( llm_response )구체적인 예는 여기를 참조하세요.
RAG는 LLM이 정확한 최신 정보를 생성하도록 지원하는 방법론입니다. 일반적인 RAG 작업 흐름은 아래 3단계를 따릅니다.
Langchain.rb는 지원되는 벡터 검색 데이터베이스 위에 편리한 통합 인터페이스를 제공하여 색인 구성, 데이터 추가, 쿼리 및 검색을 쉽게 만듭니다.
| 데이터 베이스 | 오픈 소스 | 클라우드 제공 |
|---|---|---|
| 크로마 | ✅ | ✅ |
| 엡실라 | ✅ | ✅ |
| Hnswlib | ✅ | |
| 밀부스 | ✅ | ✅ 질리즈 클라우드 |
| 솔방울 | ✅ | |
| Pg벡터 | ✅ | ✅ |
| Qdrant | ✅ | ✅ |
| 위비에이트 | ✅ | ✅ |
| 엘라스틱서치 | ✅ | ✅ |
사용할 벡터 검색 데이터베이스를 선택하고 gem 종속성을 추가한 후 클라이언트를 인스턴스화하세요.
gem "weaviate-ruby" , "~> 0.8.9"임베딩을 생성하는 데 사용할 LLM 공급자를 선택하고 인스턴스화하세요.
llm = Langchain :: LLM :: OpenAI . new ( api_key : ENV [ "OPENAI_API_KEY" ] ) client = Langchain :: Vectorsearch :: Weaviate . new (
url : ENV [ "WEAVIATE_URL" ] ,
api_key : ENV [ "WEAVIATE_API_KEY" ] ,
index_name : "Documents" ,
llm : llm
)지원되는 다른 벡터 검색 데이터베이스를 인스턴스화할 수 있습니다.
client = Langchain :: Vectorsearch :: Chroma . new ( ... ) # `gem "chroma-db", "~> 0.6.0"`
client = Langchain :: Vectorsearch :: Epsilla . new ( ... ) # `gem "epsilla-ruby", "~> 0.0.3"`
client = Langchain :: Vectorsearch :: Hnswlib . new ( ... ) # `gem "hnswlib", "~> 0.8.1"`
client = Langchain :: Vectorsearch :: Milvus . new ( ... ) # `gem "milvus", "~> 0.9.3"`
client = Langchain :: Vectorsearch :: Pinecone . new ( ... ) # `gem "pinecone", "~> 0.1.6"`
client = Langchain :: Vectorsearch :: Pgvector . new ( ... ) # `gem "pgvector", "~> 0.2"`
client = Langchain :: Vectorsearch :: Qdrant . new ( ... ) # `gem "qdrant-ruby", "~> 0.9.3"`
client = Langchain :: Vectorsearch :: Elasticsearch . new ( ... ) # `gem "elasticsearch", "~> 8.2.0"`기본 스키마를 만듭니다.
client . create_default_schema벡터 검색 데이터베이스에 일반 텍스트 데이터를 추가하세요.
client . add_texts (
texts : [
"Begin by preheating your oven to 375°F (190°C). Prepare four boneless, skinless chicken breasts by cutting a pocket into the side of each breast, being careful not to cut all the way through. Season the chicken with salt and pepper to taste. In a large skillet, melt 2 tablespoons of unsalted butter over medium heat. Add 1 small diced onion and 2 minced garlic cloves, and cook until softened, about 3-4 minutes. Add 8 ounces of fresh spinach and cook until wilted, about 3 minutes. Remove the skillet from heat and let the mixture cool slightly." ,
"In a bowl, combine the spinach mixture with 4 ounces of softened cream cheese, 1/4 cup of grated Parmesan cheese, 1/4 cup of shredded mozzarella cheese, and 1/4 teaspoon of red pepper flakes. Mix until well combined. Stuff each chicken breast pocket with an equal amount of the spinach mixture. Seal the pocket with a toothpick if necessary. In the same skillet, heat 1 tablespoon of olive oil over medium-high heat. Add the stuffed chicken breasts and sear on each side for 3-4 minutes, or until golden brown."
]
)또는 파일 파서를 사용하여 데이터를 데이터베이스에 로드, 구문 분석 및 색인화합니다.
my_pdf = Langchain . root . join ( "path/to/my.pdf" )
my_text = Langchain . root . join ( "path/to/my.txt" )
my_docx = Langchain . root . join ( "path/to/my.docx" )
client . add_data ( paths : [ my_pdf , my_text , my_docx ] )지원되는 파일 형식: docx, html, pdf, text, json, jsonl, csv, xlsx, eml, pptx.
전달된 쿼리 문자열을 기반으로 유사한 문서를 검색합니다.
client . similarity_search (
query : ,
k : # number of results to be retrieved
)HyDE 기술을 통해 전달된 쿼리 문자열을 기반으로 유사한 문서를 검색합니다.
client . similarity_search_with_hyde ( )전달된 임베딩을 기반으로 유사한 문서를 검색합니다.
client . similarity_search_by_vector (
embedding : ,
k : # number of results to be retrieved
)RAG 기반 쿼리
client . ask ( question : "..." ) Langchain::Assistant LLM(대형 언어 모델), 도구 및 대화 관리를 결합하여 지능형 대화형 도우미를 만드는 강력하고 유연한 클래스입니다. 복잡한 대화를 처리하고, 도구를 실행하고, 상호 작용의 맥락에 따라 일관된 응답을 제공하도록 설계되었습니다.
llm = Langchain :: LLM :: OpenAI . new ( api_key : ENV [ "OPENAI_API_KEY" ] )
assistant = Langchain :: Assistant . new (
llm : llm ,
instructions : "You're a helpful AI assistant" ,
tools : [ Langchain :: Tool :: NewsRetriever . new ( api_key : ENV [ "NEWS_API_KEY" ] ) ]
)
# Add a user message and run the assistant
assistant . add_message_and_run! ( content : "What's the latest news about AI?" )
# Supply an image to the assistant
assistant . add_message_and_run! (
content : "Show me a picture of a cat" ,
image_url : "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
)
# Access the conversation thread
messages = assistant . messages
# Run the assistant with automatic tool execution
assistant . run ( auto_tool_execution : true )
# If you want to stream the response, you can add a response handler
assistant = Langchain :: Assistant . new (
llm : llm ,
instructions : "You're a helpful AI assistant" ,
tools : [ Langchain :: Tool :: NewsRetriever . new ( api_key : ENV [ "NEWS_API_KEY" ] ) ]
) do | response_chunk |
# ...handle the response stream
# print(response_chunk.inspect)
end
assistant . add_message ( content : "Hello" )
assistant . run ( auto_tool_execution : true )스트리밍은 현재 모든 LLM에서 지원되지 않습니다.
llm : 사용할 LLM 인스턴스(필수)tools : 도구 인스턴스의 배열(선택 사항)instructions : 어시스턴트를 위한 시스템 지침(선택 사항)tool_choice : 도구 선택 방법을 지정합니다. 기본값: "자동". 특정 도구 기능 이름이 전달될 수 있습니다. 이렇게 하면 어시스턴트가 항상 이 기능을 사용하게 됩니다.parallel_tool_calls : 여러 개의 병렬 도구 호출을 수행할지 여부입니다. 기본값: 참add_message_callback : 대화에 메시지가 추가될 때 호출되는 콜백 함수(proc, 람다)(선택 사항) assistant . add_message_callback = -> ( message ) { puts "New message: #{ message } " }tool_execution_callback : 도구 실행 직전에 호출되는 콜백 함수(proc,lambda)(선택) assistant . tool_execution_callback = -> ( tool_call_id , tool_name , method_name , tool_arguments ) { puts "Executing tool_call_id: #{ tool_call_id } , tool_name: #{ tool_name } , method_name: #{ method_name } , tool_arguments: #{ tool_arguments } " }add_message : 메시지 배열에 사용자 메시지를 추가합니다.run! : 대화를 처리하고 응답을 생성합니다.add_message_and_run! : 메시지 추가와 어시스턴트 실행을 결합합니다.submit_tool_output : 도구 호출에 출력을 수동으로 제출messages : 진행 중인 메시지 목록을 반환합니다.Langchain::Tool::Calculator : 수학 표현식을 평가하는 데 유용합니다. gem "eqn" 필요합니다.Langchain::Tool::Database : SQL 데이터베이스를 연결합니다. gem "sequel" 이 필요합니다.Langchain::Tool::FileSystem : 파일 시스템과 상호 작용합니다(읽기 및 쓰기).Langchain::Tool::RubyCodeInterpreter : 생성된 Ruby 코드를 평가하는 데 유용합니다. gem "safe_ruby" 필요합니다(더 나은 솔루션이 필요함).Langchain::Tool::NewsRetriever : 뉴스 기사를 가져오기 위한 NewsApi.org 주변의 래퍼입니다.Langchain::Tool::Tavily : Tavily AI를 둘러싼 래퍼입니다.Langchain::Tool::Weather : Open Weather API를 호출하여 현재 날씨를 검색합니다.Langchain::Tool::Wikipedia : Wikipedia API를 호출합니다. Langchain::Assistant는 extend Langchain::ToolDefinition 필요한 메서드를 구현하는 클래스를 생성하여 사용자 정의 도구로 쉽게 확장할 수 있습니다.
class MovieInfoTool
extend Langchain :: ToolDefinition
define_function :search_movie , description : "MovieInfoTool: Search for a movie by title" do
property :query , type : "string" , description : "The movie title to search for" , required : true
end
define_function :get_movie_details , description : "MovieInfoTool: Get detailed information about a specific movie" do
property :movie_id , type : "integer" , description : "The TMDb ID of the movie" , required : true
end
def initialize ( api_key : )
@api_key = api_key
end
def search_movie ( query : )
...
end
def get_movie_details ( movie_id : )
...
end
end movie_tool = MovieInfoTool . new ( api_key : "..." )
assistant = Langchain :: Assistant . new (
llm : llm ,
instructions : "You're a helpful AI assistant that can provide movie information" ,
tools : [ movie_tool ]
)
assistant . add_message_and_run ( content : "Can you tell me about the movie 'Inception'?" )
# Check the response in the last message in the conversation
assistant . messages . last도우미에는 잘못된 입력, 지원되지 않는 LLM 유형 및 도구 실행 실패에 대한 오류 처리가 포함되어 있습니다. 상태 머신을 사용하여 대화 흐름을 관리하고 다양한 시나리오를 적절하게 처리합니다.
평가 모듈은 LLM 및 RAG(Retrieval Augmented Generation) 파이프라인을 통해 출력 제품의 성능을 평가하고 추적하는 데 사용할 수 있는 도구 모음입니다.
Ragas는 RAG(Retrieval Augmented Generation) 파이프라인을 평가하는 데 도움이 됩니다. 구현은 이 문서와 원본 Python 저장소를 기반으로 합니다. Ragas는 다음 3가지 측정항목을 추적하고 0.0 - 1.0 점수를 할당합니다.
# We recommend using Langchain::LLM::OpenAI as your llm for Ragas
ragas = Langchain :: Evals :: Ragas :: Main . new ( llm : llm )
# The answer that the LLM generated
# The question (or the original prompt) that was asked
# The context that was retrieved (usually from a vectorsearch database)
ragas . score ( answer : "" , question : "" , context : "" )
# =>
# {
# ragas_score: 0.6601257446503674,
# answer_relevance_score: 0.9573145866787608,
# context_relevance_score: 0.6666666666666666,
# faithfulness_score: 0.5
# } 사용 가능한 추가 예시: /examples
Langchain.rb는 표준 Ruby Logger 메커니즘을 사용하며 기본적으로 동일한 level 값(현재 Logger::DEBUG )을 사용합니다.
모든 로그 메시지를 표시하려면:
Langchain . logger . level = Logger :: DEBUG 로거는 기본적으로 STDOUT 에 기록됩니다. 로그 대상(즉, 파일에 로그)을 구성하려면 다음을 수행하십시오.
Langchain . logger = Logger . new ( "path/to/file" , ** Langchain :: LOGGER_OPTIONS ) pragmatic_segmenter 에 필요한 unicode gem을 설치하는 데 문제가 있는 경우 다음을 실행해 보세요.
gem install unicode -- --with-cflags= " -Wno-incompatible-function-pointer-types " git clone https://github.com/andreibondarev/langchainrb.gitcp .env.example .env 그런 다음 .env 에 환경 변수를 입력합니다.bundle exec rakebin/console 사용하세요. LLM, 도구, 에이전트 등의 인스턴스를 자유롭게 추가하고 실험해 보세요.gem install lefthook && lefthook install -f Langchain.rb Discord 서버에 참여하세요.
버그 보고서 및 끌어오기 요청은 GitHub(https://github.com/andreibondarev/langchainrb)에서 환영합니다.
이 gem은 MIT 라이선스 조건에 따라 오픈 소스로 제공됩니다.
