effibot

เอฟฟิบอต

อังกฤษ | 中文

เซิร์ฟเวอร์ ChatGPT ที่จัดเก็บและประมวลผลข้อมูลโดยใช้โครงสร้างข้อมูลแบบต้นไม้ ทำให้ผู้ใช้ได้รับประสบการณ์ถามตอบเหมือนแผนที่ความคิดด้วย ChatGPT โครงสร้างแบบต้นไม้ช่วยเพิ่มประสิทธิภาพการถ่ายทอดบริบท (โทเค็น) ได้อย่างมาก และมอบประสบการณ์ที่ดีขึ้นเมื่อใช้ภายในบริษัท

รูปภาพแสดงไคลเอนต์สาธิต UI มีไว้เพื่อการอ้างอิงเท่านั้น

ในสถานการณ์การทำงาน ความจำเป็นในการถามคำถามเดียวกันอย่างลึกซึ้งนั้นค่อนข้างหายาก ดังนั้นในกรณีส่วนใหญ่ จำนวนโทเค็นสามารถควบคุมได้ภายในปี 2000 ดังนั้น ขีดจำกัดโทเค็นของ GPT 3.5 (4096) ก็เพียงพอแล้ว (ไม่จำเป็นต้องพิจารณา GPT4 สำหรับ ความแม่นยำ).

เวลาระหว่างภาพหน้าจอทั้งสองจะต้องไม่เกิน 5 นาที เนื่องจากมีผู้ใช้หลายคน จึงจำเป็นต้องดูบันทึกโดยละเอียดเพื่อแยกแยะการใช้โทเค็นของคำถามทั้งห้าข้อที่กล่าวถึง แต่ปริมาณการใช้โทเค็นโดยรวมนั้นสามารถควบคุมได้

สาธิต

43.206.107.75:4000

สภาพแวดล้อมสาธิตถูกปรับใช้บนเซิร์ฟเวอร์คลาวด์ และ ไม่ได้ ตั้งค่าโทเค็น OpenAI ดังนั้นจะเริ่มโหมดจำลอง

?อัพเดตแผน

• เข้าสู่ระบบของผู้ใช้
• การจัดเก็บข้อมูลคงอยู่
• สคริปต์การปรับใช้ด่วน อัปโหลดไปยัง Docker Hub
• เพิ่มการรองรับสำหรับการเขียนสถานการณ์สมมติแบบยาว

การอัปเดตจะดำเนินการตามความจำเป็น จะมีการจัดเตรียมการอัปเดตเพิ่มเติมหากมีการใช้โปรเจ็กต์อย่างแพร่หลาย และการอัปเดตจะทำตามความสนใจหากโปรเจ็กต์มีผู้ใช้น้อยลง

รู้สึกอิสระที่จะพัฒนา Web UI ตามโปรเจ็กต์นี้! UI ในการสาธิตนี้เขียนโดยฉัน ซึ่งเป็นมือใหม่ในการออกแบบ UI PR ยินดีต้อนรับ!

เข้าใกล้

จัดระเบียบอินพุตของผู้ใช้ลงในแผนผังหลายสาขาและส่งเฉพาะเนื้อหาของสาขาปัจจุบันเป็นข้อมูลบริบทไปยัง GPT จำนวนเนื้อหาที่เราส่งในแต่ละครั้งจะเท่ากับความลึกของโหนดปัจจุบัน ปรับการเลือกและการส่งบริบทให้เหมาะสมผ่านแผนผังหลายสาขา

ต้นไม้ไบนารีที่มี n โหนดมีความลึกของการบันทึก ความลึกที่นี่หมายถึงข้อมูลบริบทที่เราจำเป็นต้องส่งไปยัง GPT API หากเราไม่ประมวลผลบริบท ก็ถือได้ว่าเป็นต้นไม้มิติเดียวซึ่งจะสลายไปเป็นส่วนของเส้นตรง ซึ่งโดยธรรมชาติแล้วจะเป็นกรณีที่ซับซ้อนที่สุด ด้วยการจัดเซสชันให้เป็นโครงสร้างแบบต้นไม้ เราสามารถสร้างแผนที่ความคิดได้

ประกาศด้านสิ่งแวดล้อม

ขอแนะนำให้เลือกที่ตั้งเซิร์ฟเวอร์ในประเทศหรือภูมิภาคที่ OpenAI รองรับ ทั้งศูนย์ข้อมูลและโฮสต์คลาวด์เป็นที่ยอมรับ และระบบคลาวด์ต่อไปนี้ได้รับการทดสอบแล้ว:

1. สีฟ้า
2. AWS

หากคุณยืนยันที่จะทดสอบในประเทศหรือภูมิภาคที่ไม่รองรับ โปรเจ็กต์นี้รองรับพรอกซีอย่างสมบูรณ์ แต่ตัวพรอกซีเองอาจ ส่งผลกระทบต่อประสบการณ์การใช้งานและก่อให้เกิดความเสี่ยง ดูไฟล์การกำหนดค่า Spec.GPT.TransportUrl สำหรับรายละเอียดการกำหนดค่าพร็อกซี

ไม่แนะนำให้ใช้พรอกซี ใช้ความเสี่ยงของคุณเอง

โคลนและเข้าสู่ไดเรกทอรีโครงการ

git clone https://github.com/finishy1995/effibot.git
cd effibot

การกำหนดค่า

การกำหนดค่าเริ่มต้นคือโหมดจำลอง ซึ่งหมายความว่าจะไม่เรียก GPT API จริงๆ แต่จะส่งคืนอินพุตของผู้ใช้เป็นการตอบกลับ พอร์ต REST API เริ่มต้นคือ 4001 และการกำหนดค่าทั้งหมดสามารถแก้ไขได้ในไฟล์ http/etc/http-api.yaml

vi http/etc/http-api.yaml

 Name : http-api
Host : 0.0.0.0
Port : 4001 # Port of http server, default 4001
Timeout : 30000 # Timeout of http request, default 30000(ms)
Log :
  Level : debug
  Mode : file # Log mode, default console 日志模式，可选 console（命令行输出） 或 file
  Path : ../logs # Log file path, default ../logs
Spec :
  GPT :
#    Token: "sk-" # Token of OpenAI, will start mock mode if not set. OpenAI 密钥，如果不设置则启用 mock 模式
#    TransportUrl: "http://localhost:4002" # Transport url of OpenAI, default "http://localhost:4002 代理地址，如果不设置则不启用代理
    Timeout : 20s # Timeout of OpenAI request, default 20s
    MaxToken : 1000 # Max token of OpenAI response, default 1000

หลังจากแก้ไขไฟล์แล้ว หากคุณต้องการ One-click deployment หรือ container deployment โปรดดำเนินการคำสั่งต่อไปนี้

mkdir -p ./effibot_config
cp http/etc/http-api.yaml ./effibot_config

การปรับใช้เพียงคลิกเดียว

โปรดตรวจสอบให้แน่ใจว่าได้ติดตั้งและเปิดใช้งาน docker และ docker-compose อย่างถูกต้อง

docker-compose up -d

ไคลเอนต์สาธิตจะทำงานบนพอร์ต 4000 และ REST API จะทำงานบนทั้งพอร์ต 4000 และ 4001

หากคุณไม่มี docker-compose คุณสามารถใช้คำสั่งต่อไปนี้:

docker network create effibot
docker run -p 4001:4001 -v ./effibot_config:/app/etc --network effibot --name effibot -d finishy/effibot:latest
docker run -p 4000:4000 --network effibot --name effibot-demo -d finishy/effibot-demo:latest

การพัฒนา/การใช้งานแบบกำหนดเอง

การพัฒนาเซิร์ฟเวอร์

ตรวจสอบให้แน่ใจว่าได้ติดตั้งและกำหนดค่า golang 1.18+ แล้ว

 cd http
go run http.go # go build http.go && ./http

ออกจากไดเรกทอรี

 cd ..

บรรจุภัณฑ์คอนเทนเนอร์

docker build -t effibot:latest -f http/Dockerfile .

สร้างสะพานเครือข่ายคอนเทนเนอร์

docker network create effibot

การปรับใช้คอนเทนเนอร์

 # Modify the configuration file as needed, such as adding the OpenAI token and change the log mode to console
docker run -p 4001:4001 -v ./effibot_config:/app/etc --network effibot --name effibot -d effibot:latest

สาธิตบรรจุภัณฑ์คอนเทนเนอร์ไคลเอนต์

docker build -t effibot-demo:latest -f demo/Dockerfile .

การสาธิตการใช้งานคอนเทนเนอร์ไคลเอ็นต์

docker run -p 4000:4000 --network effibot --name effibot-demo -d effibot-demo:latest

สาธิตการพัฒนาลูกค้า

ไคลเอนต์สาธิตได้รับการพัฒนาโดย Vue.js + Vite + TypeScript และต้องการสภาพแวดล้อม Node.js 14+

 cd demo
yarn && yarn dev

ไคลเอนต์สาธิตจะเปิดขึ้นโดยอัตโนมัติที่ http://localhost:5173