nvidia llm

演示应用程序：SpringAI - NVIDIA LLM API 集成

NVIDIA LLM API 是一个代理 AI 推理引擎，提供来自不同提供商的各种模型。

Spring AI 通过重用现有的 Spring AI OpenAI 客户端来与 NVIDIA LLM API 集成。

为此，您需要将基本网址设置为https://integrate.api.nvidia.com ，选择提供的 https://docs.api.nvidia.com/nim/reference/llm-apis#model[ 之一LLM 模型] 并获取它的api-key 。

注意：NVIDIA LLM API 需要显式设置max-token参数，否则将引发服务器错误。

在 SpringAI/NVIDIA 参考文档中查找更多信息：https://docs.spring.io/spring-ai/reference/api/chat/nvidia-chat.html