odsc llmops

프로토타입에서 프로덕션까지 LLM

LLMOps, 프롬프트 엔지니어링 및 LLM을 클라우드로 이동

LLMOps에 대한 ODSC 워크숍을 위한 GitHub 저장소에 오신 것을 환영합니다. 이 워크숍은 양자화, 증류, 미세 조정, Kubernetes 등을 통해 LLM의 잠재력을 최대한 활용하는 데 도움을 주기 위해 고안되었습니다!

이러한 사례 연구의 대부분은 내 책인 LLM에 대한 빠른 시작 가이드에서 발췌한 것입니다.

자세한 내용을 확인하고 워크숍에 참여하려면 여기를 클릭하세요.

노트북/슬라이드

당사의 포괄적인 노트북을 통해 실제 적용에 대해 자세히 알아보세요. 이 노트북은 워크숍에서 다루는 두 가지 사례 연구를 단계별로 안내하여 대화형 실습 학습 경험을 제공합니다.

워크숍 슬라이드

워크숍 슬라이드는 다음과 같습니다.

• 슬라이드: [ODSC LLMOps](./slides/ODSC - 프로토타입에서 프로덕션까지의 LLM.pdf)

사례 연구 1: Llama 3 양자화

• Llama-3 동적으로 양자화 - 비트와 바이트를 사용하여 로드 시 실시간으로 모델을 양자화합니다. 양자화 전후의 차이점을 조사해 보겠습니다.

• 속도와 메모리 사용량을 비교하기 위해 Llama의 사전 양자화된 버전을 로드하는 방법을 확인하세요.

  • GGUF 작업(GPU 없음)

  • GGUF 작업(GPU 사용)

사례 연구 2: LLM 증류

• 속도/메모리 최적화를 위한 BERT 모델 추출 - 분류를 위해 BERT 모델을 소형화하기 위해 작업별 추출을 수행하는 방법을 알아보세요.

사례 연구 3: llama.cpp를 사용하여 양자화된 Llama 3 배포

• GPU에서 GGUF와 함께 임베딩 모델 및 Llama 3을 사용하는 K8s 데모용 디렉터리 입니다.

사례 연구 4: 생성 AI 평가

• 루브릭을 사용하여 LLM 평가 - 생성 결과를 평가하기 위한 루브릭 프롬프트 탐색

• 정렬 평가(시간 허용) - LLM이 상담원의 응답을 어떻게 판단할 수 있는지 확인

추가 노트북

다음은 워크숍 중에 제가 참조했지만 자세히 설명할 시간이 없는 몇 가지 노트북입니다.

감사합니다!

사례 연구를 재미있게 읽으셨다면 Amazon에서 제 책에 별 5개 등급을 주시는 것을 고려해 보세요. 저자로서 저에게 큰 도움이 되기 때문입니다! 자세한 내용을 확인하고 워크숍에 참여하려면 여기를 클릭하세요.