nvidia llm

Демонстрационное приложение: SpringAI — интеграция NVIDIA LLM API

NVIDIA LLM API — это прокси-система вывода AI, предлагающая широкий спектр моделей от различных поставщиков.

Spring AI интегрируется с NVIDIA LLM API путем повторного использования существующего клиента Spring AI OpenAI.

Для этого вам необходимо установить базовый URL-адрес https://integrate.api.nvidia.com , выбрать один из предоставленных https://docs.api.nvidia.com/nim/reference/llm-apis#model[ LLM models] и получите для него api-key .

ПРИМЕЧАНИЕ. API NVIDIA LLM требует, чтобы параметр max-token был явно установлен, иначе будет выдана ошибка сервера.

Дополнительную информацию см. в справочной документации SpringAI/NVIDIA: https://docs.spring.io/spring-ai/reference/api/chat/nvidia-chat.html.