chat llm pro

ChatLLM

從2022年下半年到2023，Chatgpt顯得低調且驚艷，本項目主要基於各類語言模型coding NLP相關應用。

流程圖

run env

 # pipreqs --force
# python>=3.8
virtualenv -p python venv
source venv/bin/activate

編譯鏡像

$ docker-compose -f chat_docker-compose build

Web UI

紀錄

局限

1. 調參能力有限。響應結果的干預手段有限
2. 需要走第三方網絡請求，穩定性不強，如何內網部署使用

進度

• 實現了docker化服務器部署
• 基於gradio的UI DEMO交互體驗
• 支持摘要生成，問答，情感分類的場景
• 支持選擇模型
• 支持類chatpdf功能
• 引入langchain工具，加速應用構建
• 基於langchain工具進行文檔抽取server開發。可通過服務實現文本抽取。
• 引入text2vect模型，進行詞向量計算。
• web v3版本引入vue3，實現文檔級別的問答。 （長遠計劃）

參考文檔

1. gpt-3 https://platform.openai.com/docs/models/gpt-3
2. web界面https://gradio.app/
3. gpt3.5-api https://platform.openai.com/docs/guides/chat/instructing-chat-models

---

獲取體驗key或文因金融語言模型可聯繫[email protected]