codefuse chatbot

Anderer Quellcode

1.0.0

Herunterladen

Chinesisch |. Englisch

CodeFuse-ChatBot: Entwicklung durch private Wissenserweiterung

CodeFuse-ChatBot ist ein intelligenter Open-Source-KI-Assistent, der vom Ant CodeFuse-Team entwickelt wurde und sich der Vereinfachung und Optimierung aller Aspekte des Softwareentwicklungslebenszyklus widmet. Dieses Projekt kombiniert den kollaborativen Planungsmechanismus von Multi-Agent und integriert eine umfangreiche Toolbibliothek, Codebibliothek, Wissensdatenbank und Sandbox-Umgebung, sodass das LLM-Modell komplexe Aufgaben im DevOps-Bereich effektiv ausführen und bewältigen kann.

? erneuern

[29.01.2024] Offenes und konfigurierbares Multi-Agent-Framework: codefuse-muAgent, Einzelheiten finden Sie in der Gebrauchsanweisung
[26.12.2023] Die Möglichkeit, auf privatisierte Open-Source-Großmodelle und Großmodellschnittstellen basierend auf FastChat zuzugreifen, ist offen
[14.12.2023] Sonderbericht zum öffentlichen Qubit-Konto: Artikellink
[01.12.2023] Multi-Agent- und Codebasis-Suchfunktionen sind geöffnet
[15.11.2023] Erweiterter Q&A-Modus basierend auf lokaler Codebasis hinzugefügt
[2023.09.15] Die Sandbox-Funktion der lokalen/isolierten Umgebung wird geöffnet und der angegebene URL-Wissensabruf wird basierend auf dem Crawler implementiert.

Inhaltsverzeichnis

? einführen
? Demovideo
?Technische Route
Modellzugriff
Schnell einsetzbar
? Danksagungen
? andere
- Kontaktieren Sie uns
- Wie Geschichte

? einführen

Dieses Projekt zielt darauf ab, einen intelligenten KI-Assistenten für den gesamten Lebenszyklus der Softwareentwicklung durch Retrieval Augmented Generation (RAG), Tool Learning und eine Sandbox-Umgebung zu entwickeln, der die Phasen Design, Codierung, Test, Bereitstellung sowie Betrieb und Wartung abdeckt. Verwandeln Sie sich schrittweise vom traditionellen Entwicklungs- und Betriebsmodell der Datenabfrage überall und dem unabhängigen und dezentralen Plattformbetrieb zum intelligenten Entwicklungs- und Betriebsmodell für große Modellfragen und -antworten, wodurch sich die Entwicklungs- und Betriebsgewohnheiten der Menschen ändern.

Die wichtigsten Unterscheidungstechnologien und Funktionspunkte dieses Projekts sind:

? Intelligenter Dispatching-Kern: Ein Dispatching-Kern mit vollständigen Systemverbindungen wurde entwickelt, um die Multimodus-Ein-Klick-Konfiguration zu unterstützen und den Betriebsprozess zu vereinfachen. Gebrauchsanweisung
Analyse der gesamten Codebibliothek: Erzielen Sie ein tiefgreifendes Verständnis des Codes auf Lagerebene sowie des Schreibens und Generierens von Code auf Projektdateiebene und verbessern Sie so die Entwicklungseffizienz.
? Verbesserung der Dokumentenanalyse: Es integriert die Wissensdatenbank und den Wissensgraphen des Dokuments und bietet eine umfassendere Unterstützung für die Dokumentenanalyse durch Verbesserung des Abrufs und der Argumentation.
? Exklusives Wissen für vertikale Kategorien: Eine exklusive, auf den DevOps-Bereich zugeschnittene Wissensdatenbank, die den bequemen und praktischen Self-Service-Aufbau vertikaler Wissensdatenbanken mit einem Klick unterstützt.
? Vertikale Modellkompatibilität: Ziel ist es, kleine Modelle im DevOps-Bereich zu entwickeln, die Kompatibilität mit DevOps-bezogenen Plattformen sicherzustellen und die Integration des Technologie-Ökosystems zu fördern.

?Auf der Grundlage der Open-Source-LLM- und Embedding-Modelle kann dieses Projekt eine private Offline-Bereitstellung basierend auf dem Open-Source-Modell realisieren. Darüber hinaus unterstützt dieses Projekt auch OpenAI-API-Aufrufe. Greifen Sie auf die Demo zu

Das Kern-F&E-Team konzentriert sich seit langem auf die Forschung im Bereich AIOps + NLP. Wir haben das Codefuse-ai-Projekt gestartet und hoffen, dass alle in großem Umfang hochwertige Entwicklungs-, Betriebs- und Wartungsdokumente beisteuern, um diese Lösung gemeinsam zu verbessern und das Ziel zu erreichen, „die Entwicklung weltweit zu vereinfachen“.

? Demovideo

Um Ihnen zu helfen, die Funktionen und Nutzung von Codefuse-ChatBot intuitiver zu verstehen, haben wir eine Reihe von Demonstrationsvideos aufgezeichnet. Wenn Sie sich diese Videos ansehen, können Sie die Hauptfunktionen und Betriebsabläufe dieses Projekts schnell verstehen.

Wissensdatenbank-Import und Fragen und Antworten: Demonstrationsvideo
Lokaler Repository-Import und Fragen und Antworten: Demovideo

?Technische Route

? Multi-Agent-Scheduling-Kern: Multi-Agent-Scheduling-Kern, der einfach konfiguriert werden kann, um interaktive Agenten zu erstellen.
?️ Multi-Source-Webcrawler: Ein Multi-Source-Webcrawler, der die Crawling-Funktion für bestimmte URLs bereitstellt, um erforderliche Informationen zu sammeln.
Datenprozessor: Der Datenprozessor kann problemlos das Laden von Dokumenten, die Datenbereinigung und die Textsegmentierung durchführen und Daten aus verschiedenen Quellen integrieren.
? Texteinbettung und Index: Mit dem Texteinbettungsindex können Benutzer problemlos Dateien zum Abrufen von Dokumenten hochladen und so den Dokumentanalyseprozess optimieren.
?️ Vektordatenbank und Diagrammdatenbank: Vektor- und Diagrammdatenbank, die flexible und leistungsstarke Datenverwaltungslösungen bietet.
Prompt Control & Management: Prompt Control und Management definieren genau den Kontext des Agenten.
? SandBox: Eine Sandbox-Umgebung zum sicheren Durchführen von Codekompilierungen und -aktionen.
LLM:: Agentengehirn, das mehrere Open-Source-Modelle und LLM-Schnittstellen unterstützt.
API-Management: API-Management-Tool zur schnellen Integration von Open-Source-Komponenten und Betriebs- und Wartungsplattformen.

Spezifische Implementierungsdetails finden Sie unter: Technische Routendetails und Projektplan-Follow-up: Projekte

Modellzugriff

Wenn Sie ein bestimmtes Modell integrieren müssen, teilen Sie uns bitte Ihre Bedürfnisse mit, indem Sie ein Problem einreichen.

Modellname	Modellgröße	gpu_memory	quantifizieren	HFhub	ModelScope
chatgpt	-	-	-	-	-
codellama-34b-int4	34b	20g	int4	kommt bald	Link

Schnell einsetzbar

muagent-py

Eine vollständige Dokumentation finden Sie unter: CodeFuse-muAgent

 pip install codefuse-muagent

Verwenden von ChatBot

Bitte installieren Sie den NVIDIA-Treiber selbst. Dieses Projekt wurde in der Python 3.9.18-, CUDA 11.7-Umgebung, auf Windows- und X86-Architektur-MacOS-Systemen getestet.

Informationen zur Docker-Installation, zum privatisierten LLM-Zugriff und zu damit verbundenen Startproblemen finden Sie unter: Schnelle Nutzungsdetails

Für Apple Silicon müssen Sie möglicherweise zuerst brew install qpdf durchführen.

1. Vorbereitung der Python-Umgebung

Es wird empfohlen, Conda zum Verwalten der Python-Umgebung zu verwenden (optional).

 # 准备 conda 环境
conda create --name devopsgpt python=3.9
conda activate devopsgpt

Installieren Sie verwandte Abhängigkeiten

 cd codefuse-chatbot
# python=3.9，notebook用最新即可，python=3.8用notebook=6.5.6
pip install -r requirements.txt

2. Starten Sie den Dienst

 # 完成server_config.py配置后，可一键启动
cd examples
bash start.sh
# 开始在页面进行相关配置，然后打开`启动对话服务`即可

Oder starten Sie die alte Version über start.py Weitere LLM-Zugriffsmethoden finden Sie hier.

Beitragsleitfaden

Vielen Dank für Ihr Interesse am Codefuse-Projekt. Wir freuen uns sehr über Ihre Vorschläge, Meinungen (einschließlich Kritik), Kommentare und Beiträge zum Codefuse-Projekt.

Ihre verschiedenen Vorschläge, Meinungen und Kommentare zu Codefuse können direkt über Issues auf GitHub eingereicht werden.

Es gibt viele Möglichkeiten, am Codefuse-Projekt teilzunehmen und einen Beitrag dazu zu leisten: Codeimplementierung, Testschreiben, Verbesserungen von Prozesstools, Verbesserungen der Dokumentation und mehr. Jeder Beitrag ist herzlich willkommen und Sie werden in die Mitwirkendenliste aufgenommen. Weitere Informationen finden Sie im Beitragsleitfaden ...