ollama docker web application 다운로드 - ollama docker web application 소스 코드 다운로드

ollama docker web application

AI 소스 코드

1.0.0

다운로드

LLM을 사용한 채팅 애플리케이션 배포 가이드

비디오 지침은 여기를 클릭하세요

PDF 보기 여기를 클릭하세요

코스 및 자세한 로드맵 보기 여기를 클릭하세요

색인

소개하다
시스템 아키텍처
시스템 요구사항
설치 및 배포
구성 요소의 세부 사항
참고자료

소개하다

이 프로젝트는 다음을 사용하는 LLM(대형 언어 모델)을 통합하는 채팅 애플리케이션입니다.

프런트엔드: Next.js 15+(앱 라우터 포함)
백엔드: FastAPI
LLM: Qwen 모델을 사용한 Ollama
데이터베이스: SQLModel이 포함된 SQLite

시스템 아키텍처

 그래프 LR
    A[사용자 쿼리] --> B[FastAPI 백엔드]
    B --> C[템플릿 엔진]
    C --> D[랭체인 체인]
    D --> E[올라마 LLM]
    D --> F[(SQLite DB)]
    
    하위 그래프 템플릿 처리
        C --> G[프롬프트 템플릿]
        G --> H[테이블 정보]
        H --> 나[질문]
    끝
    
    하위 그래프 LangChain 파이프라인
        D --> J[llm_chain]
        J --> K[StrOutputParser]
    끝
    
    하위 그래프 데이터베이스 작업
        F --> L[스토어 채팅]
        F --> M[SQL 실행]
    끝

시스템 요구사항

도커와 도커 컴포즈
Node.js 18+(개발용)
Python 3.11+(개발용)
힘내

설치 및 배포

1. 저장소 복제

git clone < repository-url >
cd < project-folder >

2. 폴더 구조

 .
├── docker-compose.yml
├── fastapi/
│   ├── Dockerfile
│   ├── app.py
│   ├── requirements.txt
│   └── ...
├── nextjs-app/
│   ├── Dockerfile
│   ├── package.json
│   └── ...
└── ollama/
    ├── Dockerfile
    └── pull-qwen.sh

3. 도커 작성

 version : ' 3.8 '

services :
  frontend :
    build : ./nextjs-app
    ports :
      - " 3000:3000 "
    volumes :
      - ./nextjs-app:/app
    depends_on :
      - backend

  backend :
    build : ./fastapi
    ports :
      - " 8000:8000 "
    volumes :
      - ./fastapi:/app
    depends_on :
      - ollama-server

  ollama-server :
    build : ./ollama
    volumes :
      - ollama_data:/root/.ollama
    deploy :
      resources :
        reservations :
          devices :
            - driver : nvidia
              count : 1
              capabilities : [gpu]

volumes :
  ollama_data :

구성 요소의 세부 사항

FastAPI 백엔드

FastAPI 백엔드는 프런트엔드의 요청을 처리하고 Ollama LLM과 상호 작용합니다. app.py 의 기본 코드:

 import requests
from fastapi import FastAPI , Response

# Database
from db import (
    create_chat ,
    get_all_chats ,
    get_chat_by_id ,
    delete_chat ,
    DataChat ,
    path_db
@ app . get ( '/ask' )
def ask ( prompt : str ):
# Langchain
from langchain_ollama import OllamaLLM # Ollama model
from langchain_ollama . llms import BaseLLM # Lớp cơ sở của LLM
from langchain . chains . llm import LLMChain # xử lí chuỗi các LLM
from langchain . chains . sql_database . query import create_sql_query_chain # tạo câu truy vấn cơ sở dữ liệu từ llm
from langchain . prompts import PromptTemplate # tạo câu truy vấn từ mẫu
from langchain_community . tools import QuerySQLDataBaseTool # công cụ truy vấn cơ sở dữ liệu
from langchain . sql_database import SQLDatabase # cơ sở dữ liệu
from langchain_core . output_parsers import StrOutputParser , PydanticOutputParser # xử lí kết quả trả về là kiểu dữ liệu chuỗi
from langchain_core . runnables import RunnablePassthrough # truyền đa dạng đối số
from operator import itemgetter # lấy giá trị từ dict
# Cache
from langchain . cache import InMemoryCache
from langchain . globals import set_llm_cache
#--------------------------------------------------
llm = OllamaLLM (
# Utility
from utils import get_sql_from_answer_llm
)
#test on docker
url_docker = "http://ollama-server:11434"
#test on local
url_local = "http://localhost:11434"
model = "qwen2.5-coder:0.5b"
app = FastAPI ()
llm = OllamaLLM (
    base_url = url_local , 
    model = model
)
@ app . get ( '/' )
cache = InMemoryCache ()
set_llm_cache ( cache )

@ app . get ( '/ask' )
template = PromptTemplate . from_template (
    """
    Từ các bảng cơ sở dữ đã có: {tables}
    Tạo câu truy vấn cơ sở dữ liệu từ câu hỏi sau:
    {question}

    Trả lời ở đây:
    """
)
# nếu câu hỏi không liên quan đến các bảng cơ sở dữ liệu đã có thì trả lời là "Không liên quan đến các bảng cơ sở dữ liệu đã có", và nếu câu hỏi gây nguy hiểm đến cơ sở dữ liệu thì trả lời là "Không thể trả lời câu hỏi này"

llm_chain = (
    template |
    llm |
    StrOutputParser ()
)

db = SQLDatabase . from_uri ( f"sqlite:/// { path_db } " )


app = FastAPI ()




@ app . get ( '/' )
def home ():
    return { "hello" : "World" }

@ app . get ( '/ask' )
def ask ( prompt : str ):
    # name of the service is ollama-server, is hostname by bridge to connect same network
    # res = requests.post('http://ollama-server:11434/api/generate', json={
    #     "prompt": prompt,
    #     "stream" : False,
    #     "model" : "qwen2.5-coder:0.5b"
    # })

    res = llm_chain . invoke ({
        "tables" : f''' { db . get_table_info ( db . get_usable_table_names ()) } ''' ,
        "question" : prompt
    })
    
    response = ""
    if isinstance ( res , str ):
        response = res
    else :
        response = res . text
        
    # Store chat in database
    chat = create_chat ( message = prompt , response = response )

    try :
        data_db = db . run ( get_sql_from_answer_llm ( response ))
    except Exception as e :
        data_db = str ( e )
    
    return {
        "answer" : response , 
        "data_db" : data_db
    }

주요 구성 요소 설명:

LangChain을 사용하여 Ollama와 상호작용
LLM 응답을 캐시하여 성능 최적화
사용자 입력에서 SQL 쿼리 처리
데이터베이스 작업 오류 처리

올라마 서버

Ollama 서버는 Qwen 모델을 실행하고 API를 공개합니다. pull-qwen.sh 에서 설정:

./bin/ollama serve &

pid= $!

sleep 5


echo " Pulling qwen2.5-coder model "
ollama pull qwen2.5-coder:0.5b


wait $pid

Next.js 프론트엔드

프런트엔드는 App Router 및 Tailwind CSS와 함께 Next.js 13 이상을 사용합니다. 다음 구성을 참조하세요.

{
  "name" : " nextjs-app " ,
  "version" : " 0.1.0 " ,
  "private" : true ,
  "scripts" : {
    "dev" : " next dev --turbopack " ,
    "build" : " next build " ,
    "start" : " next start " ,
    "lint" : " next lint "
  },
  "dependencies" : {
    "react" : " 19.0.0-rc-66855b96-20241106 " ,
    "react-dom" : " 19.0.0-rc-66855b96-20241106 " ,
    "next" : " 15.0.3 "
  },
  "devDependencies" : {
    "typescript" : " ^5 " ,
    "@types/node" : " ^20 " ,
    "@types/react" : " ^18 " ,
    "@types/react-dom" : " ^18 " ,
    "postcss" : " ^8 " ,
    "tailwindcss" : " ^3.4.1 "
  }
}