llm ls

LLM-ls

Wichtig

Dies ist derzeit in Arbeit, erwarten Sie, dass die Dinge gebrochen werden!

LLM-LS ist ein LSP-Server, das LLMs nutzt, um Ihre Entwicklungserfahrung reibungsloser und effizienter zu gestalten.

Das Ziel von LLM-LS ist es, eine gemeinsame Plattform für die Aufbau von IDE-Erweiterungen bereitzustellen. LLM-LS kümmert sich um das schwere Anheben in Bezug auf die Interaktion mit LLMs, sodass der Erweiterungscode so leicht wie möglich sein kann.

Merkmale

Prompt

Verwendet die aktuelle Datei als Kontext, um die Eingabeaufforderung zu generieren. Kann "in der Mitte füllen" verwenden oder nicht je nach Ihren Anforderungen.

Es stellt auch sicher, dass Sie sich im Kontextfenster des Modells befinden, indem Sie die Eingabeaufforderung token.

Telemetrie

Sammelt Informationen zu Anfragen und Abschlüssen, die die Umschulung ermöglichen können.

Beachten ~/.cache/llm_ls/llm-ls.log Protokollstufe zu info .

Fertigstellung

LLM-LS analysiert den AST des Code, um festzustellen, ob die Abschlüsse eine Mehrzeile, ein einzelne Zeile oder leer sein sollten (keine Fertigstellung).

Mehrere Backends

LLM-LS ist mit der Inferenz-API von Hugging Face, der Inferenz von Face, der kompatiblen APIs der Text-Generation-Inferenz von Face, wie der Python LLAMA.CPP-Serverbindung kompatibel.

Kompatible Erweiterungen

• llm.nvim
• LLM-VSCODE
• llm-intellij
• JupyterCoder

Roadmap

• Unterstützen Sie den Kontext von mehreren Dateien im Arbeitsbereich
• Fügen Sie suffix_percent -Einstellung hinzu, die das Verhältnis der Anzahl der Token für das Präfix gegenüber dem Suffix in der Eingabeaufforderung bestimmt
• Fügen Sie das Kontextfenster hinzu, um Prozent zu füllen oder context_window zu max_tokens zu ändern
• Filter schlechte Vorschläge (sich wiederholt, wie unten usw.)
• OLTP -Spuren?