nvidia llm

Aplikasi Demo: SpringAI - Integrasi API NVIDIA LLM

NVIDIA LLM API adalah Mesin Inferensi AI proxy yang menawarkan berbagai model dari berbagai penyedia.

Spring AI terintegrasi dengan NVIDIA LLM API dengan menggunakan kembali klien Spring AI OpenAI yang ada.

Untuk ini, Anda perlu mengatur url dasar ke https://integrate.api.nvidia.com , pilih salah satu dari https://docs.api.nvidia.com/nim/reference/llm-apis#model[ yang disediakan Model LLM] dan dapatkan api-key untuk itu.

CATATAN: NVIDIA LLM API memerlukan parameter max-token untuk disetel secara eksplisit atau kesalahan server akan terjadi.

Temukan selengkapnya di dokumentasi Referensi SpringAI/NVIDIA: https://docs.spring.io/spring-ai/reference/api/chat/nvidia-chat.html