chat with llms

與 LLM 聊天

Chat With LLMs 是一款網路應用程序，使用戶能夠與來自領先人工智慧提供者的各種大型語言模型 (LLM) 聊天。它允許用戶在對話中切換模型，而不會丟失任何聊天上下文。

概述

該專案使用各種大型語言模型 (LLM) 整合了 API 驅動的文字生成。用於編排這些互動的框架是 LangChain，允許跨不同提供者的無縫整合和動態模型選擇。

目前，該平台支援六家不同的法學碩士供應商，每個提供者都提供一系列聊天模式：

那些是

• 開放人工智慧
• 人擇
• Google
• 米斯特拉爾
• 困惑
• 一起人工智慧

技術堆疊

• 後端：Python FastAPI 框架
• LLM框架：Python LangChain
• 前端：ReactJs
• 資料庫：Google Firestore 資料庫
• 託管：Google雲端運行
• CI/CD：Github 操作

系統架構

驗證：Web 應用程式利用 Google OAuth 2.0 進行安全的使用者驗證和登入。

後端伺服器：處理使用者訊息，並使用 Python 的 FastAPI 框架產生來自 LLM 的回應。後端也整合了LangChain框架，負責提示產生和管理不同LLM提供者的API呼叫。

事件流：伺服器傳送事件 (SSE) 是一種透過 HTTP 從伺服器到用戶端的即時單向通訊標準。透過SSE，伺服器可以將產生的資料令牌逐個令牌推送到客戶端，而無需客戶端重複請求它們。

Firestore 資料庫：使用者資訊、聊天詳細資訊和聊天歷史記錄儲存在 Google 的 Firestore 資料庫中。 Firestore 因其免費套餐、高效能和自動擴展功能而被選中，使其成為動態、不斷增長的應用程式的理想選擇。

ReactJS 前端：前端是用 ReactJS 建立的，提供互動式和響應式使用者介面，以便與聊天應用程式無縫互動。

安裝

複製.env.example檔案並將其重新命名為.env ：

cp .env.example .env  # For Unix/Linux
copy .env.example .env  # For Windows

在文字編輯器中開啟.env文件，然後輸入必要的變數及其對應的值。這些變數通常是 API 金鑰和其他特定於環境的配置。

建議：使用 Docker compose 啟動 chat-with-llms。

docker-compose up

所有服務將在以下連接埠上啟動並運行：

Backend FastAPI : localhost:8080
ReactJS Frontend : localhost:3000

沒有 Docker

1. 使用 pip 安裝 pipelinenv：

pip install pipenv

2. 使用 pipelinenv 和提供的 Pipfile 安裝所需的套件：

pipenv install

3. 啟動後端伺服器

nodemon 
or 
uvicorn app:app --port 5000

4. 轉到 web 資料夾並安裝 node_modules

 cd web
npm install

5. 啟動前端伺服器

 npm start

端點

使用下面的連結存取 swagger 文檔

http://localhost:8080/docs