obslab llm observability

EasyTravel GPT 여행 고문

Python으로 작성된 여행 조언을 제공하는 데모 애플리케이션입니다. OpenTelemetry의 관측 가능성 신호.

Ollama와 PineCone을 사용하여 특정 목적지에 대한 조언을 생성합니다.

참고 이 제품은 Dynatrace에서 공식적으로 지원하지 않습니다!

직접 시도해 보세요

• Dynatrace Playground에서 샘플 대시보드를 살펴보세요.
• 자세한 Dynatrace 문서를 통해 귀하의 환경에서 AI 관찰 가능성을 구현하세요.

솔방울 구성

https://app.pinecone.io/로 이동하여 계정에 로그인하세요.

1. 차원이 3200 이고 cosine 측정항목을 사용하여 travel-advisor 라는 새 인덱스를 만듭니다.

   인덱스는 RAG 파이프라인이 LLM의 여행 추천 결과를 보강하는 데 사용할 지식 소스를 저장합니다. 매개변수 3200은 이 데모에서 3200개 요소의 벡터를 반환하는 임베딩 모델 orca-mini:3b 를 사용하기 때문입니다.

2. 인덱스를 생성하고 실행한 후 연결할 API 키를 생성할 수 있습니다.

   인증에 대한 Pinecone 문서에 따라 Pinecone 인덱스에 연결하기 위한 API 키를 얻고 다음 명령을 사용하여 이를 Kubernetes 비밀로 저장합니다.

직접 사용해 보세요.

아래 개발자 정보

로컬로 실행

ollama serve 실행하여 로컬에서 Ollama를 시작합니다. 이 예에서는 orca-mini:3b 간단한 모델을 사용합니다. ollama run orca-mini:3b 실행하여 가져올 수 있습니다. 그런 다음 다음 명령을 실행하여 로컬로 애플리케이션을 시작할 수 있습니다.

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

로컬 K8S 클러스터에 배포

Docker 또는 Podman이 설치되어 있어야 합니다.

클러스터가 아직 없는 경우 클러스터를 생성합니다.

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

일부 환경 변수 사용자 정의 및 설정

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

배포 스크립트를 실행합니다.

.devcontainer/deployment.sh