nvidia llm

데모 앱: SpringAI - NVIDIA LLM API 통합

NVIDIA LLM API는 다양한 제공업체의 다양한 모델을 제공하는 프록시 AI 추론 엔진입니다.

Spring AI는 기존 Spring AI OpenAI 클라이언트를 재사용하여 NVIDIA LLM API와 통합됩니다.

이를 위해서는 base-url을 https://integrate.api.nvidia.com 으로 설정하고 제공된 https://docs.api.nvidia.com/nim/reference/llm-apis#model[ 중 하나를 선택해야 합니다. LLM 모델]을 선택하고 이에 대한 api-key 받으세요.

참고: NVIDIA LLM API를 사용하려면 max-token 매개변수를 명시적으로 설정해야 합니다. 그렇지 않으면 서버 오류가 발생합니다.

SpringAI/NVIDIA 참조 문서에서 자세한 내용을 확인하세요: https://docs.spring.io/spring-ai/reference/api/chat/nvidia-chat.html