nvidia llm

デモアプリ: SpringAI - NVIDIA LLM API 統合

NVIDIA LLM API は、さまざまなプロバイダーから幅広いモデルを提供するプロキシ AI 推論エンジンです。

Spring AI は、既存の Spring AI OpenAI クライアントを再利用することで、NVIDIA LLM API と統合します。

このためには、ベース URL をhttps://integrate.api.nvidia.comに設定する必要があります。提供された https://docs.api.nvidia.com/nim/reference/llm-apis#model[ LLM モデル] を選択し、そのapi-keyを取得します。

注: NVIDIA LLM API では、 max-tokenパラメータを明示的に設定する必要があります。そうしないと、サーバー エラーがスローされます。

詳細については、SpringAI/NVIDIA リファレンス ドキュメントをご覧ください: https://docs.spring.io/spring-ai/reference/api/chat/nvidia-chat.html