LLMstudio

TensorOps による LLMstudio

すぐにエンジニアリングを迅速に実行

?特徴

• LLM プロキシ アクセス: OpenAI、Anthropic、Google によるすべての最新 LLM にシームレスにアクセスします。
• カスタムおよびローカル LLM のサポート: Ollama を通じてカスタムまたはローカルのオープンソース LLM を使用します。
• Prompt Playground UI : プロンプトをエンジニアリングおよび微調整するためのユーザーフレンドリーなインターフェイス。
• Python SDK : LLMstudio を既存のワークフローに簡単に統合します。
• 監視とログ: すべてのリクエストの使用状況とパフォーマンスを追跡します。
• LangChain の統合: LLMstudio は、既存の LangChain プロジェクトと統合します。
• バッチ呼び出し: 効率を向上させるために複数のリクエストを一度に送信します。
• スマート ルーティングとフォールバック: リクエストを信頼できる LLM にルーティングすることで、24 時間 365 日の可用性を確保します。
• 型キャスト (近日中に) : 特定のユースケースに必要に応じてデータ型を変換します。

クイックスタート

https://docs.llmstudio.ai ページを忘れずにチェックしてください。

インストール

pipを使用して、 LLMstudioの最新バージョンをインストールします。 conda使用して新しい環境を作成し、アクティブ化することをお勧めします。

フルバージョンの場合:

pip install ' llmstudio[proxy,tracker] '

軽量 (コア) バージョンの場合:

pip install llmstudio

LLMstudio を実行するのと同じパスに.envファイルを作成します。

OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "

これで、次のコマンドを使用してLLMstudio を実行できるようになります。

llmstudio server --proxy --tracker

--proxyフラグを設定すると、http://0.0.0.0:50001/docs (デフォルト ポート) で Swagger にアクセスできるようになります。

--trackerフラグを設定すると、http://0.0.0.0:50002/docs (デフォルト ポート) で Swagger にアクセスできるようになります。

ドキュメント

• SDK の仕組みについては、ドキュメントにアクセスしてください (近日公開予定)
• インタラクティブなチュートリアルに沿ってノートブックの例を確認してください。

?‍ 貢献しています

• LLMstudio をどのように支援できるかを確認するには、貢献ガイドに進んでください。
• Discord に参加して、他の LLMstudio 愛好家と話しましょう。

トレーニング

---

LLMstudioをお選びいただきありがとうございます。 AI インタラクションを完璧にする旅はここから始まります。