databricks llm prompt engineering
1.0.0
29/08/2023 년 현재 notebooks 폴더에서 다음 예제를 찾을 수 있습니다.
?? s담️ customer_service
| 인공물 | 설명 |
|---|---|
hf_mlflow_crash_course | ? distilbert-qa 사용하여 의도 분류 모델을 훈련시키기 위해 Hugging Face를 사용하는 기본 예제를 제공합니다. 또한 실험 추적, 아티팩트 로깅 및 모델 등록과 같은 MLFlow의 기본 개념을 보여줍니다. |
primer | ? 대부분 개념적 노트북. 프롬프트 엔지니어링 및 상위 K 샘플링, 상위 P 샘플링 및 온도 와 같은 기본 개념에 대한 설명이 포함되어 있습니다. |
basic_prompt_evaluation | ? 가벼운 LLM 모델로 기본 프롬프트 엔진을 보여줍니다. 이 외에도 mlflow의 최신 LLM 기능 (예 : mlflow.evaluate() 을 선보입니다. |
few_shot_learning | ? 여기서 우리는 교육 기반 LLM (MPT-7B-Instruct)으로 샷 학습을 거의 탐색합니다. |
active_prompting | 이 노트북에서 우리는 활발한 프롬프트 기술을 탐구합니다. 또한 7 배 -10x 추론 대기 시간 개선을 달성하기 위해 VLLM을 활용하는 방법을 보여줍니다. |
llama2_mlflow_logging_inference | 여기서 우리는 llama v2 모델을 mlflow에 로그, 등록 및 배포하는 방법을 보여줍니다. |
mpt_mlflow_logging_inference | 여기서 MPT-Intruct 모델을 MLFlow에 로그, 등록 및 배포하는 방법을 보여줍니다. LLAMA v2 예제와는 달리, 여기서는 인공물을 MLFlow 모델 레지스트리에 업로드하지 않고 엔드 포인트가 초기화 될 때 모델 서브 엔드 포인트에 모델 가중치를 직접로드합니다. |
frontend | ? Gradio를 사용하여 이전 노트북에 배포 된 모델 서빙 엔드 포인트 중 하나에 연결되는 Frontend Demo 앱의 엔드 투 엔드 예제 |
Databricks 에서이 Repo 사용을 시작하려면 몇 가지 사전 요구 사항이 있습니다.
/Repos/[email protected]/databricks-llm-prompt-engineering/init/init.shaccelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20 ? Gradio를 사용한 프론트 엔드 웹 앱 모델 배포 및 실시간 추론
? 검색 증강 세대 (rag)
? ️ mlflow ai 게이트웨이
