large_model_application

대형 모델 적용 실습

환경 준비

1. 올라마 설치 https://ollama.com/

2. 올라마 ollama serve 시작

3. 모델 풀기 https://ollama.com/library ollama pull [model]

4. Milvus 벡터 데이터베이스 wget https://github.com/milvus-io/milvus/releases/download/v2.3.3/milvus-standalone-docker-compose.yml -O docker-compose.yml 을 다운로드합니다.

5. Milvus docker compose up -d 시작합니다.

6. git clone https://github.com/fengweiqiang/large_model_application.git 코드를 가져옵니다.

7. 종속 항목을 go mod tidy

8. 프로그램을 실행하고 go run main.go

API

https://console-docs.apipost.cn/preview/4a6af016b75237d8/80e5a02e5d8c2d59

기능 소개

• 대형 모델 번역기 기능 데모
• 이미지를 텍스트로 변환하는 데모 (ollama run llava:7b)
• 분할 데이터 데모
• 지식 베이스를 구축하고 임베디드 모델을 사용하여 이를 벡터 데이터로 구문 분석하고 milvus 벡터 데이터베이스에 저장합니다.
• 대규모 모델에 지식 기반 기능(로컬 파일, 인트라넷 및 인트라넷 URL 주소)을 부여하고 대규모 모델의 지식 기반 콘텐츠에 대해 질문하세요.
• 대형 모델 컨텍스트 메모리 기능

입문 교육을 제공해주신 스테이션 B의 상사에게 감사드립니다.

킬머펀 https://space.bilibili.com/341182735 우리툰 티하우스 https://space.bilibili.com/615957867