spacy transformers

Spacy-Transformers : Spacy에서 Bert, Xlnet 및 GPT-2와 같은 사전 취사 변압기 사용

이 패키지는 Spacy의 Hugging Face의 transformers 통해 변압기 모델을 사용할 수있는 스파크 구성 요소 및 아키텍처를 제공합니다. 그 결과 Bert, GPT-2, XLNET 등과 같은 최첨단 변압기 아키텍처에 편리하게 액세스 할 수 있습니다.

이 릴리스에는 Spacy v3이 필요합니다. 이 라이브러리의 이전 버전은 v0.6.x 브랜치를 참조하십시오.

특징

• Bert , Roberta 및 Xlnet 과 같은 사전 전환 된 변압기 모델을 사용하여 스파이 파이프 라인에 전원을 공급하십시오.
• 쉬운 멀티 태스킹 학습 : 여러 파이프 라인 구성 요소에서 하나의 변압기 모델로 백 프립.
• Spacy V3의 강력하고 확장 가능한 구성 시스템을 사용하여 훈련하십시오.
• Spacy의 토큰 화에 대한 변압기 출력의 자동 정렬.
• Doc 객체에 저장된 변압기 데이터를 쉽게 사용자 정의하십시오.
• 문서가 얼마나 오래 처리되는지 쉽게 사용자 정의하십시오.
• 상자 외 직렬화 및 모델 포장.

설치

PIP에서 패키지를 설치하면 Pytorch 및 Spacy를 포함한 모든 종속성을 자동으로 설치합니다. 모델을 설치하기 전에이 패키지를 설치해야합니다. 또한이 패키지에는 Python 3.6+ , Pytorch v1.5+ 및 Spacy v3.0+가 필요합니다.

pip install ' spacy[transformers] '

GPU 설치의 경우 nvcc --version 사용하여 CUDA 버전을 찾아 브래킷에 버전을 추가하십시오. 예를 들어 spacy[transformers,cuda92] 또는 CUDA9.2 또는 CUDA10.0의 spacy[transformers,cuda100] .

Pytorch 설치에 어려움이있는 경우 특정 운영 체제 및 요구 사항에 대한 공식 웹 사이트의 지침을 따르십시오.

선적 서류 비치

켈 중요한 참고 사항 : 이 패키지는 Spacy v3.0을 활용하도록 광범위하게 리팩토링되었습니다. Spacy V2.x를 위해 구축 된 이전 버전은 상당히 다르게 작동했습니다. 이전 버전에 대한 문서는이 readme의 이전 태그 버전을 참조하십시오.

• 임베드, 변압기 및 전송 학습 : 스파이에서 변압기 사용 방법
• 훈련 파이프 라인 및 모델 : 자체 데이터에서 구성 요소를 훈련 및 업데이트하고 사용자 정의 모델을 통합합니다.
• 계층 및 모델 아키텍처 : 맞춤형 신경망을 갖춘 파워 스파이 구성 요소
• ? Transformer : 파이프 라인 구성 요소 API 참조
• ? 변압기 아키텍처 : 아키텍처 및 등록 기능

사전에 사전 된 텍스트 및 토큰 분류 모델 적용

spacy-transformers 의 transformer 구성 요소는 토큰 또는 텍스트 분류와 같은 작업 별 헤드를 지원하지 않습니다. 작업 별 변압기 모델은 ner 또는 textcat 과 같은 스파크 구성 요소를 훈련시키는 기능 소스로 사용될 수 있지만 transformer 구성 요소는 교육 또는 추론을위한 작업 별 헤드에 대한 액세스를 제공하지 않습니다.

또는 기존 포옹 얼굴 텍스트 또는 토큰 분류 모델의 예측 에만 사용하려면 spacy-huggingface-pipelines 의 래퍼를 사용하여 작업 별 변압기 모델을 스파이 파이프 라인에 통합 할 수 있습니다.

버그 보고서 및 기타 문제

Spacy의 문제 추적기를 사용하여 버그를보고하거나 다른 문제에 대해 토론 보드에서 새 스레드를 열어주십시오.