nvidia llm

示範應用程式：SpringAI - NVIDIA LLM API 集成

NVIDIA LLM API 是一個代理 AI 推理引擎，提供來自不同提供者的各種模型。

Spring AI 透過重複使用現有的 Spring AI OpenAI 用戶端來與 NVIDIA LLM API 整合。

為此，您需要將基本網址設定為https://integrate.api.nvidia.com ，選擇提供的 https://docs.api.nvidia.com/nim/reference/llm-apis#model[ 之一LLM模型] 並取得它的api-key 。

注意：NVIDIA LLM API 需要明確設定max-token參數，否則將引發伺服器錯誤。

在 SpringAI/NVIDIA 參考文件中找到更多：https://docs.spring.io/spring-ai/reference/api/chat/nvidia-chat.html