ollama docker web application下载 - ollama docker web application源代码下载

ollama docker web application

Ai源码

1.0.0

下载

使用 LLM 部署聊天应用程序的指南

视频说明请点击这里

查看 pdf 点击这里

查看课程和详细路线图请点击此处

指数

介绍
系统架构
系统要求
安装部署
部件详情
参考

介绍

该项目是一个集成了大型语言模型 (LLM) 的聊天应用程序，该模型使用：

前端：带有 App Router 的 Next.js 15+
后端：FastAPI
法学硕士：Ollama 与 Qwen 模型
数据库：带有 SQLModel 的 SQLite

系统架构

图LR
    A[用户查询] --> B[FastAPI 后端]
    B --> C[模板引擎]
    C --> D[LangChain 链]
    D --> E[Ollama 法学硕士]
    D --> F[(SQLite DB)]
    
    子图模板处理
        C --> G[提示模板]
        G --> H[表信息]
        H --> I[问题]
    结尾
    
    子图浪链Pipeline
        D --> J[llm_chain]
        J --> K[StrOutputParser]
    结尾
    
    子图数据库操作
        F --> L[商店聊天]
        F --> M[执行 SQL]
    结尾

系统要求

Docker 和 Docker 组合
Node.js 18+（用于开发）
Python 3.11+（用于开发）
git

安装部署

1. 克隆存储库

git clone < repository-url >
cd < project-folder >

2. 文件夹结构

 .
├── docker-compose.yml
├── fastapi/
│   ├── Dockerfile
│   ├── app.py
│   ├── requirements.txt
│   └── ...
├── nextjs-app/
│   ├── Dockerfile
│   ├── package.json
│   └── ...
└── ollama/
    ├── Dockerfile
    └── pull-qwen.sh

3.Docker 组合

 version : ' 3.8 '

services :
  frontend :
    build : ./nextjs-app
    ports :
      - " 3000:3000 "
    volumes :
      - ./nextjs-app:/app
    depends_on :
      - backend

  backend :
    build : ./fastapi
    ports :
      - " 8000:8000 "
    volumes :
      - ./fastapi:/app
    depends_on :
      - ollama-server

  ollama-server :
    build : ./ollama
    volumes :
      - ollama_data:/root/.ollama
    deploy :
      resources :
        reservations :
          devices :
            - driver : nvidia
              count : 1
              capabilities : [gpu]

volumes :
  ollama_data :

部件详情

FastAPI后端

FastAPI 后端处理来自前端的请求并与 Ollama LLM 交互。 app.py中的主要代码：

 import requests
from fastapi import FastAPI , Response

# Database
from db import (
    create_chat ,
    get_all_chats ,
    get_chat_by_id ,
    delete_chat ,
    DataChat ,
    path_db
@ app . get ( '/ask' )
def ask ( prompt : str ):
# Langchain
from langchain_ollama import OllamaLLM # Ollama model
from langchain_ollama . llms import BaseLLM # Lớp cơ sở của LLM
from langchain . chains . llm import LLMChain # xử lí chuỗi các LLM
from langchain . chains . sql_database . query import create_sql_query_chain # tạo câu truy vấn cơ sở dữ liệu từ llm
from langchain . prompts import PromptTemplate # tạo câu truy vấn từ mẫu
from langchain_community . tools import QuerySQLDataBaseTool # công cụ truy vấn cơ sở dữ liệu
from langchain . sql_database import SQLDatabase # cơ sở dữ liệu
from langchain_core . output_parsers import StrOutputParser , PydanticOutputParser # xử lí kết quả trả về là kiểu dữ liệu chuỗi
from langchain_core . runnables import RunnablePassthrough # truyền đa dạng đối số
from operator import itemgetter # lấy giá trị từ dict
# Cache
from langchain . cache import InMemoryCache
from langchain . globals import set_llm_cache
#--------------------------------------------------
llm = OllamaLLM (
# Utility
from utils import get_sql_from_answer_llm
)
#test on docker
url_docker = "http://ollama-server:11434"
#test on local
url_local = "http://localhost:11434"
model = "qwen2.5-coder:0.5b"
app = FastAPI ()
llm = OllamaLLM (
    base_url = url_local , 
    model = model
)
@ app . get ( '/' )
cache = InMemoryCache ()
set_llm_cache ( cache )

@ app . get ( '/ask' )
template = PromptTemplate . from_template (
    """
    Từ các bảng cơ sở dữ đã có: {tables}
    Tạo câu truy vấn cơ sở dữ liệu từ câu hỏi sau:
    {question}

    Trả lời ở đây:
    """
)
# nếu câu hỏi không liên quan đến các bảng cơ sở dữ liệu đã có thì trả lời là "Không liên quan đến các bảng cơ sở dữ liệu đã có", và nếu câu hỏi gây nguy hiểm đến cơ sở dữ liệu thì trả lời là "Không thể trả lời câu hỏi này"

llm_chain = (
    template |
    llm |
    StrOutputParser ()
)

db = SQLDatabase . from_uri ( f"sqlite:/// { path_db } " )


app = FastAPI ()




@ app . get ( '/' )
def home ():
    return { "hello" : "World" }

@ app . get ( '/ask' )
def ask ( prompt : str ):
    # name of the service is ollama-server, is hostname by bridge to connect same network
    # res = requests.post('http://ollama-server:11434/api/generate', json={
    #     "prompt": prompt,
    #     "stream" : False,
    #     "model" : "qwen2.5-coder:0.5b"
    # })

    res = llm_chain . invoke ({
        "tables" : f''' { db . get_table_info ( db . get_usable_table_names ()) } ''' ,
        "question" : prompt
    })
    
    response = ""
    if isinstance ( res , str ):
        response = res
    else :
        response = res . text
        
    # Store chat in database
    chat = create_chat ( message = prompt , response = response )

    try :
        data_db = db . run ( get_sql_from_answer_llm ( response ))
    except Exception as e :
        data_db = str ( e )
    
    return {
        "answer" : response , 
        "data_db" : data_db
    }

主要部件说明：

使用LangChain与Ollama互动
缓存 LLM 响应以优化性能
处理来自用户输入的 SQL 查询
数据库操作的错误处理

奥拉马服务器

Ollama 服务器运行 Qwen 模型并公开 API。在pull-qwen.sh中设置：

./bin/ollama serve &

pid= $!

sleep 5


echo " Pulling qwen2.5-coder model "
ollama pull qwen2.5-coder:0.5b


wait $pid

Next.js 前端

前端使用 Next.js 13+ 以及 App Router 和 Tailwind CSS。参考配置：

{
  "name" : " nextjs-app " ,
  "version" : " 0.1.0 " ,
  "private" : true ,
  "scripts" : {
    "dev" : " next dev --turbopack " ,
    "build" : " next build " ,
    "start" : " next start " ,
    "lint" : " next lint "
  },
  "dependencies" : {
    "react" : " 19.0.0-rc-66855b96-20241106 " ,
    "react-dom" : " 19.0.0-rc-66855b96-20241106 " ,
    "next" : " 15.0.3 "
  },
  "devDependencies" : {
    "typescript" : " ^5 " ,
    "@types/node" : " ^20 " ,
    "@types/react" : " ^18 " ,
    "@types/react-dom" : " ^18 " ,
    "postcss" : " ^8 " ,
    "tailwindcss" : " ^3.4.1 "
  }
}