modelscope 다운로드 - modelscope 소스 코드 다운로드

modelscope

파이썬

v1.21.0

다운로드

불화

영어 | 중국어 | 일본어

소개

ModelScope는 "서비스로서의 모델"(MaaS)이라는 개념을 기반으로 구축되었습니다. AI 커뮤니티의 가장 진보된 기계 학습 모델을 통합하고 실제 애플리케이션에서 AI 모델을 활용하는 프로세스를 간소화하려고 합니다. 이 저장소에 오픈 소스로 제공되는 핵심 ModelScope 라이브러리는 개발자가 모델 추론, 훈련 및 평가를 수행할 수 있는 인터페이스와 구현을 제공합니다.

특히, 풍부한 API 추상화 계층을 갖춘 ModelScope 라이브러리는 CV, NLP, 음성, 다중 양식 및 과학 계산과 같은 도메인에 걸쳐 최첨단 모델을 탐색할 수 있는 통합 환경을 제공합니다. 다양한 영역의 모델 기여자는 계층화된 API를 통해 모델을 ModelScope 생태계에 통합하여 모델에 쉽고 통합된 액세스를 허용할 수 있습니다. 일단 통합되면 단 몇 줄의 코드만으로 모델 추론, 미세 조정 및 평가를 수행할 수 있습니다. 동시에 모델 애플리케이션의 다양한 구성 요소를 필요할 때마다 맞춤 설정할 수 있도록 유연성도 제공됩니다.

다양한 모델의 구현을 포함하는 것 외에도 ModelScope 라이브러리는 ModelScope 백엔드 서비스, 특히 Model-Hub 및 Dataset-Hub와 필요한 상호 작용을 가능하게 합니다. 이러한 상호 작용을 통해 엔터티 조회, 버전 제어, 캐시 관리 등을 포함하여 다양한 엔터티(모델 및 데이터 세트)의 관리가 원활하게 수행됩니다.

모델 및 온라인 접근성

NLP, CV, 오디오, 다중 양식, 과학용 AI 등과 같은 분야의 최신 개발을 다루는 수백 개의 모델이 ModelScope(700개 이상)에서 공개적으로 제공됩니다. 이러한 모델 중 다수는 SOTA를 대표합니다. 특정 분야를 다루었으며 ModelScope에서 오픈 소스로 데뷔했습니다. 사용자는 ModelScope(modelscope.cn)를 방문하여 단 몇 번의 클릭만으로 온라인 경험을 통해 이러한 모델이 어떻게 작동하는지 직접 경험할 수 있습니다. 즉시 사용할 수 있는 클라우드의 CPU/GPU 개발 환경을 지원하는 ModelScope Notebook을 통해 즉각적인 개발자 경험도 가능합니다. ModelScope를 한 번만 클릭하면 됩니다.

몇 가지 대표적인 예는 다음과 같습니다.

법학대학원:

Yi-1.5-34B-채팅
Qwen1.5-110B-채팅
DeepSeek-V2-채팅
Ziya2-13B-채팅
메타-라마-3-8B-지시
Phi-3-mini-128k-지시

다중 모드:

Qwen-VL-채팅
Yi-VL-6B
InternVL-Chat-V1-5
deepseek-vl-7b-채팅
오픈소라플랜
오픈소라
I2VGen-XL

이력서:

DamoFD 얼굴인식 키포인트 모델 - 0.5G
BSHM 초상화 매트
DCT-Net 초상화 만화화 - 3D
DCT-Net 초상화 만화화 모델 - 3D
DuGuang - 텍스트 인식 - 줄 인식 모델 - 중국어 및 영어 - 일반 도메인
DuGuang - 텍스트 인식 - 줄 인식 모델 - 중국어 및 영어 - 일반 도메인
라마 이미지 인페인팅

오디오:

Paraformer 음성 인식 - 중국어 - 일반 - 16k - 오프라인 - 대형 - 긴 오디오 버전
FSMN 음성 엔드포인트 탐지 - 중국어 - 일반 - 16k - onnx
단조 정렬기 음성 타임스탬프 예측 - 16k - 오프라인
CT-Transformer 구두점 - 중국어 - 일반 - onnx
음성 합성 - 중국어 - 다중 감정 영역 - 16k - 다중 화자
CAM++ 스피커 확인 - 중국어 - 일반 - 200k-Spkrs

과학을 위한 AI:

유니폴드 모노머
단일겹다합체

참고: ModelScope에 있는 대부분의 모델은 공개되어 있으며 Modelscope 웹사이트(www.modelscope.cn)에서 계정 등록 없이 다운로드할 수 있습니다. 모델 다운로드 지침을 참조하고, modelscope 라이브러리 또는 git에서 제공하는 API를 사용하여 모델을 다운로드하세요.

퀵투어

다양한 작업에 대해 pipeline 사용한 추론, Trainer 사용한 미세 조정 및 평가를 위한 통합 인터페이스를 제공합니다.

모든 유형의 입력(이미지, 텍스트, 오디오, 비디오...)이 포함된 특정 작업에 대해 추론 파이프라인은 몇 줄의 코드만으로 구현할 수 있으며, 예시된 것처럼 기본 모델을 자동으로 로드하여 추론 결과를 얻습니다. 아래에:

 > >> from modelscope . pipelines import pipeline
> >> word_segmentation = pipeline ( 'word-segmentation' , model = 'damo/nlp_structbert_word-segmentation_chinese-base' )
> >> word_segmentation ( '今天天气不错，适合出去游玩' )
{ 'output' : '今天 天气 不错 ， 适合 出去 游玩' }

이미지가 주어지면 다음 코드 조각을 사용하여 세로 매트 처리(배경 제거라고도 함)를 수행할 수 있습니다.

 > >> import cv2
> >> from modelscope . pipelines import pipeline

> >> portrait_matting = pipeline ( 'portrait-matting' )
> >> result = portrait_matting ( 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_matting.png' )
> >> cv2 . imwrite ( 'result.png' , result [ 'output_img' ])

배경이 제거된 출력 이미지는 다음과 같습니다.

traner.train() 및 trainer.evaluate() 의 구현에 캡슐화된 모델을 훈련하고 평가하는 힘든 작업을 통해 훈련 데이터 세트와 트레이너를 설정하기 위한 몇 줄의 코드를 더 사용하여 미세 조정 및 평가를 수행할 수도 있습니다. trainer.evaluate() 인터페이스.

예를 들어, gpt3 기본 모델(1.3B)은 한시 데이터세트로 미세 조정되어 한시 생성에 사용할 수 있는 모델이 될 수 있습니다.

 > >> from modelscope . metainfo import Trainers
> >> from modelscope . msdatasets import MsDataset
> >> from modelscope . trainers import build_trainer

> >> train_dataset = MsDataset . load ( 'chinese-poetry-collection' , split = 'train' ). remap_columns ({ 'text1' : 'src_txt' })
> >> eval_dataset = MsDataset . load ( 'chinese-poetry-collection' , split = 'test' ). remap_columns ({ 'text1' : 'src_txt' })
> >> max_epochs = 10
> >> tmp_dir = './gpt3_poetry'

> >> kwargs = dict (
     model = 'damo/nlp_gpt3_text-generation_1.3B' ,
     train_dataset = train_dataset ,
     eval_dataset = eval_dataset ,
     max_epochs = max_epochs ,
     work_dir = tmp_dir )

> >> trainer = build_trainer ( name = Trainers . gpt3_trainer , default_args = kwargs )
> >> trainer . train ()

ModelScope 라이브러리를 사용해야 하는 이유

다양한 작업과 다양한 모델에 맞게 통일되고 간결한 사용자 인터페이스가 추상화되었습니다. 모델 추론과 훈련은 각각 3줄과 10줄의 코드로 구현할 수 있습니다. 사용자는 ModelScope 커뮤니티에서 다양한 분야의 모델을 탐색하는 것이 편리합니다. ModelScope에 통합된 모든 모델은 바로 사용할 수 있으므로 교육 및 산업 환경 모두에서 AI를 쉽게 시작할 수 있습니다.
ModelScope는 모델 중심 개발 및 애플리케이션 경험을 제공합니다. 모델 교육, 추론, 내보내기 및 배포에 대한 지원을 간소화하고 사용자가 ModelScope 에코시스템을 기반으로 자체 MLOps를 구축할 수 있도록 지원합니다.
모델 추론 및 훈련 프로세스를 위해 모듈식 설계가 적용되고 풍부한 기능 모듈 구현이 제공됩니다. 이는 사용자가 자신의 모델 추론, 훈련 및 기타 프로세스를 사용자 정의하는 데 편리합니다.
분산 모델 훈련, 특히 대규모 모델의 경우 데이터 병렬, 모델 병렬, 하이브리드 병렬 등을 포함한 풍부한 훈련 전략 지원을 제공합니다.

설치

도커

ModelScope 라이브러리는 현재 PyTorch, TensorFlow 및 ONNX를 포함하여 모델 교육 및 추론을 위해 널리 사용되는 딥 러닝 프레임워크를 지원합니다. 모든 릴리스는 Python 3.7+, Pytorch 1.8+, Tensorflow1.15 또는 Tensorflow2.0+에서 테스트되고 실행됩니다.

ModelScope의 모든 모델에 대한 기본 사용을 허용하기 위해 모든 릴리스에 공식 도커 이미지가 제공됩니다. 도커 이미지를 기반으로 개발자는 모든 환경 설치 및 구성을 건너뛰고 바로 사용할 수 있습니다. 현재 최신 버전의 CPU 이미지 및 GPU 이미지는 다음에서 얻을 수 있습니다.

CPU 도커 이미지

 # py37
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py37-torch1.11.0-tf1.15.5-1.6.1

# py38
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf2.13.0-1.9.5

GPU 도커 이미지

 # py37
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.6.1

# py38
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.5

로컬 Python 환경 설정

pip 및 conda를 사용하여 로컬 ModelScope 환경을 설정할 수도 있습니다. ModelScope는 python3.7 이상을 지원합니다. 로컬 Python 환경을 생성하려면 anaconda를 제안합니다.

conda create -n modelscope python=3.8
conda activate modelscope

PyTorch 또는 TensorFlow는 각 모델의 요구 사항에 따라 별도로 설치할 수 있습니다.

파이토치 문서 설치
텐서플로우 문서 설치

필요한 기계 학습 프레임워크를 설치한 후 다음과 같이 modelscope 라이브러리를 설치할 수 있습니다.

모델스코프 프레임워크만 가지고 모델/데이터세트 다운로드를 시도하려는 경우 핵심 모델스코프 구성요소를 설치할 수 있습니다.

pip install modelscope

다중 모드 모델을 사용하려는 경우:

pip install modelscope[multi-modal]

nlp 모델을 사용하려면 다음을 수행하세요.

pip install modelscope[nlp] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

이력서 모델을 사용하려면 다음을 수행하십시오.

pip install modelscope[cv] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

오디오 모델을 사용하려는 경우:

pip install modelscope[audio] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

과학 모델을 사용하려면:

pip install modelscope[science] -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

Notes :

현재 일부 오디오 작업 모델은 python3.7, tensorflow1.15.4 Linux 환경만 지원합니다. 대부분의 다른 모델은 Windows 및 Mac(x86)에 설치하여 사용할 수 있습니다.
오디오 분야의 일부 모델은 wav 파일 처리를 위해 타사 라이브러리 SoundFile을 사용합니다. Linux 시스템에서는 SoundFile(doc 링크)의 libsndfile을 수동으로 설치해야 합니다. Windows 및 MacOS에서는 사용자 조작 없이 자동으로 설치됩니다. 예를 들어 Ubuntu에서는 다음 명령을 사용할 수 있습니다.
```
sudo apt-get update
sudo apt-get install libsndfile1
```
컴퓨터 비전의 일부 모델에는 mmcv-full이 필요합니다. mmcv 설치 가이드를 참조하세요. 최소 설치 방법은 다음과 같습니다.
```
pip uninstall mmcv # if you have installed mmcv, uninstall it
pip install -U openmim
mim install mmcv-full
```

자세히 알아보기

우리는 다음을 포함한 추가 문서를 제공합니다.

더 자세한 설치 가이드
작업 소개
모델 추론에 파이프라인 사용
미세 조정 예
데이터 전처리
평가
ModelScope에 자신만의 모델을 제공하세요.

특허

이 프로젝트는 Apache 라이센스(버전 2.0)에 따라 라이센스가 부여됩니다.

소환

 @Misc{modelscope,
  title = {ModelScope: bring the notion of Model-as-a-Service to life.},
  author = {The ModelScope Team},
  howpublished = {url{https://github.com/modelscope/modelscope}},
  year = {2023}
}

확장하다

추가 정보