llm ls

LLM-LS

重要

これは現在進行中の作業です。物事が壊れることを期待してください！

LLM-LSは、開発体験をよりスムーズで効率的にするためにLLMを活用するLSPサーバーです。

LLM-LSの目標は、IDE拡張機能を構築するための共通のプラットフォームを提供することです。 LLM-LSは、拡張コードができるだけ軽量になるように、LLMとの相互作用に関して重い持ち上げを処理します。

特徴

プロンプト

現在のファイルをコンテキストとして使用して、プロンプトを生成します。ニーズに応じて「中央に記入する」かどうかを使用できます。

また、プロンプトをトークン化することにより、モデルのコンテキストウィンドウ内にいることを確認します。

テレメトリー

再トレーニングを有効にできるリクエストと完了に関する情報を収集します。

LLM-LSはデータをどこにでもエクスポートしないことに注意してください（モデルAPIをクエリするときにユーザーエージェントを設定する以外）、すべてがログファイルに保存されます（ ~/.cache/llm_ls/llm-ls.log ）。 infoへのログレベル。

完了

LLM-LSは、コードのASTを解析して、完了がマルチライン、シングルライン、または空であるかどうかを判断します（完了なし）。

複数のバックエンド

LLM-LSは、Python llama.cppサーバーのバインディングのように、Faceのテキストジェネレーションの推論、Ollama、Openai互換性のあるAPIを抱きしめるFaceの推論APIを抱き締めることと互換性があります。

互換性のある拡張機能

• llm.nvim
• LLM-VSCODE
• LLM-Intellij
• JupyterCoder

ロードマップ

• ワークスペース内の複数のファイルからコンテキストの取得をサポートします
• プレフィックスのトークンの＃の比を決定するsuffix_percent設定とプロンプトの接尾辞
• コンテキストウィンドウの充填パーセントを追加するか、context_windowをmax_tokensに変更します
• 悪い提案をフィルタリング（繰り返し、下と同じなど）
• OLTPトレース？