홈페이지>프로그래밍 관련>기타 소스코드
다운로드

spaCy: 산업용 NLP

spaCy는 Python 및 Cython의 고급 자연어 처리를 위한 라이브러리입니다. 이는 최신 연구를 기반으로 구축되었으며 처음부터 실제 제품에 사용되도록 설계되었습니다.

spaCy는 사전 훈련된 파이프라인과 함께 제공되며 현재 70개 이상의 언어 에 대한 토큰화 및 훈련을 지원합니다. 태그 지정, 구문 분석, 명명된 엔터티 인식 , 텍스트 분류 등을 위한 최첨단 속도 및 신경망 모델 , BERT와 같은 사전 훈련된 변환기를 사용한 다중 작업 학습, 프로덕션 준비 교육 시스템 및 쉬운 모델을 갖추고 있습니다. 패키징, 배포 및 워크플로 관리. spaCy는 MIT 라이센스에 따라 출시되는 상용 오픈 소스 소프트웨어입니다.

? 버전 3.7이 출시되었습니다! 여기에서 릴리스 노트를 확인하세요.


선적 서류 비치

선적 서류 비치
️ 스파시 101 spaCy를 처음 사용하시나요? 여기에 당신이 알아야 할 모든 것이 있습니다!
이용안내 spaCy의 사용법과 기능.
v3.0의 새로운 기능 새로운 기능, 이전 버전과의 비호환성 및 마이그레이션 가이드.
? 프로젝트 템플릿 복제, 수정, 실행할 수 있는 엔드투엔드 워크플로우입니다.
? API 참조 spaCy의 API에 대한 자세한 참조입니다.
⏩ GPU 처리 CUDA 호환 GPU 처리와 함께 spaCy를 사용하세요.
? 모델 spaCy용 훈련된 파이프라인을 다운로드하세요.
? 대규모 언어 모델 LLM을 spaCy 파이프라인에 통합합니다.
? 우주 spaCy 생태계의 플러그인, 확장 기능, 데모 및 서적.
spaCy VS 코드 확장 spaCy의 구성 파일 작업을 위한 추가 도구 및 기능입니다.
?‍? 온라인 코스 이 무료 대화형 온라인 코스에서 spaCy를 배워보세요.
? 블로그 Explosion의 현재 spaCy 및 Prodigy 개발, 릴리스, 강연 등에 대해 읽어보세요.
비디오 비디오 튜토리얼, 강연 등을 제공하는 YouTube 채널입니다.
? 변경 내역 변경 사항 및 버전 기록.
? 기여하다 spaCy 프로젝트 및 코드 베이스에 기여하는 방법.
? 꽃잎 장식 독특하고 맞춤 디자인된 장식으로 우리와 우리의 작업을 지원하세요!
맞춤형 솔루션 spaCy의 핵심 개발팀이 제공하는 맞춤형 NLP 컨설팅, 구현 및 전략적 조언. 간소화되고 생산 준비가 완료되었으며 예측 및 유지 관리가 가능합니다. 이메일을 보내시거나 5분 설문지를 작성하시면 연락드리겠습니다! 자세히 알아보기 →

질문하는 곳

spaCy 프로젝트는 spaCy 팀이 관리합니다. 이메일을 통한 개별적인 지원은 불가능함을 양해해 주시기 바랍니다. 또한 우리는 도움이 공개적으로 공유되어 더 많은 사람들이 혜택을 누릴 수 있다면 훨씬 더 가치 있다고 믿습니다.

유형 플랫폼
버그 보고서 GitHub 문제 추적기
? 기능 요청 및 아이디어 GitHub 토론
? ‍ 사용법 질문 GitHub 토론 · 스택 오버플로
? 일반 토론 GitHub 토론

특징

  • 70개 이상의 언어 지원
  • 다양한 언어 및 작업에 대해 훈련된 파이프라인
  • BERT와 같은 사전 학습된 변환기를 사용한 다중 작업 학습
  • 사전 학습된 단어 벡터 및 임베딩 지원
  • 최첨단 속도
  • 생산 준비가 완료된 교육 시스템
  • 언어적으로 동기를 부여받은 토큰화
  • 명명된 엔터티 인식 , 품사 태깅, 종속성 구문 분석, 문장 분할, 텍스트 분류 , 표제어 분석, 형태소 분석, 엔터티 연결 등을 위한 구성 요소
  • 맞춤형 구성요소 및 속성으로 쉽게 확장 가능
  • PyTorch , TensorFlow 및 기타 프레임워크에서 사용자 정의 모델 지원
  • 구문 및 NER용 시각화 도구 내장
  • 간편한 모델 패키징 , 배포 및 작업 흐름 관리
  • 강력하고 엄격하게 평가된 정확도

자세한 내용은 사실, 수치 및 벤치마크를 참조하세요.

⏳ spaCy 설치

자세한 설치 지침은 설명서를 참조하세요.

  • 운영체제 : macOS / OS X · Linux · Windows (Cygwin, MinGW, Visual Studio)
  • Python 버전 : Python 3.7+(64비트만 해당)
  • 패키지 관리자 : pip · conda ( conda-forge 통해)

씨

pip를 사용하면 spaCy 릴리스를 소스 패키지와 바이너리 휠로 사용할 수 있습니다. spaCy 및 해당 종속 항목을 설치하기 전에 pip , setuptools 및 wheel 최신 상태인지 확인하세요. 

pip install -U pip setuptools wheel
pip install spacy

표제어 복원 및 정규화를 위한 추가 데이터 테이블을 설치하려면 pip install spacy[lookups] 실행하거나 spacy-lookups-data 별도로 설치할 수 있습니다. 표제어 분석 데이터가 포함된 빈 모델을 생성하고 사전 훈련된 모델이 아직 제공되지 않고 타사 라이브러리에서 제공되지 않는 언어로 표제어를 분석하려면 조회 패키지가 필요합니다.

pip를 사용할 때 일반적으로 시스템 상태 수정을 방지하기 위해 가상 환경에 패키지를 설치하는 것이 좋습니다. 

python -m venv .env
source .env/bin/activate
pip install -U pip setuptools wheel
pip install spacy

콘다

conda-forge 채널을 통해 conda 에서 spaCy를 설치할 수도 있습니다. 빌드 레시피 및 구성을 포함한 공급원료는 이 저장소를 확인하세요. 

conda install -c conda-forge spacy

spaCy 업데이트 중

spaCy의 일부 업데이트에는 새로운 통계 모델을 다운로드해야 할 수도 있습니다. spaCy v2.0 이상을 실행 중인 경우, validate 명령을 사용하여 설치된 모델이 호환되는지 확인하고 호환되지 않는 경우 업데이트 방법에 대한 세부 정보를 인쇄할 수 있습니다. 

pip install -U spacy
python -m spacy validate

자체 모델을 훈련한 경우 훈련 입력과 런타임 입력이 일치해야 한다는 점을 명심하세요. spaCy를 업데이트한 후에는 새 버전으로 모델을 재교육하는 것이 좋습니다.

spaCy 2.x에서 spaCy 3.x로 업그레이드하는 방법에 대한 자세한 내용은 마이그레이션 가이드를 참조하세요.

? 모델 패키지 다운로드

spaCy용 훈련된 파이프라인은 Python 패키지 로 설치할 수 있습니다. 즉, 다른 모듈과 마찬가지로 애플리케이션의 구성 요소라는 의미입니다. 모델은 spaCy의 download 명령을 사용하여 설치하거나 pip에 경로나 URL을 지정하여 수동으로 설치할 수 있습니다.

선적 서류 비치
사용 가능한 파이프라인 자세한 파이프라인 설명, 정확도 수치 및 벤치마크.
모델 문서 자세한 사용법 및 설치 지침.
훈련 데이터에 대한 자체 파이프라인을 훈련하는 방법. 
 # Download best-matching version of specific model for your spaCy installation
python -m spacy download en_core_web_sm

# pip install .tar.gz archive or .whl from path or URL
pip install /Users/you/en_core_web_sm-3.0.0.tar.gz
pip install /Users/you/en_core_web_sm-3.0.0-py3-none-any.whl
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.0.0/en_core_web_sm-3.0.0.tar.gz

모델 로드 및 사용

모델을 로드하려면 모델 이름이나 모델 데이터 디렉터리 경로와 함께 spacy.load() 사용하세요. 

 import spacy
nlp = spacy . load ( "en_core_web_sm" )
doc = nlp ( "This is a sentence." )

전체 이름을 통해 모델을 직접 import 다음 인수 없이 load() 메서드를 호출할 수도 있습니다. 

 import spacy
import en_core_web_sm

nlp = en_core_web_sm . load ()
doc = nlp ( "This is a sentence." )

더 많은 정보와 예시를 보려면 모델 문서를 확인하세요.

⚒ 소스에서 컴파일

spaCy를 설치하는 또 다른 방법은 GitHub 저장소를 복제하고 소스에서 빌드하는 것입니다. 이는 코드 베이스를 변경하려는 경우 일반적인 방법입니다. 헤더 파일, 컴파일러, pip, virtualenv 및 git이 설치된 Python 배포판으로 구성된 개발 환경이 있는지 확인해야 합니다. 컴파일러 부분이 가장 까다롭습니다. 이를 수행하는 방법은 시스템에 따라 다릅니다.

플랫폼
우분투 apt-get 통해 시스템 수준 종속성을 설치합니다. sudo apt-get install build-essential python-dev git .
스코틀랜드 사람 소위 "명령줄 도구"를 포함하여 최신 버전의 XCode를 설치하십시오. macOS 및 OS X에는 Python 및 git이 사전 설치되어 제공됩니다.
윈도우 Python 인터프리터를 컴파일하는 데 사용된 버전과 일치하는 Visual C++ Build Tools 또는 Visual Studio Express 버전을 설치합니다.

자세한 내용과 지침은 소스에서 spaCy 컴파일에 대한 문서와 빠른 시작 위젯을 참조하여 플랫폼과 Python 버전에 적합한 명령을 얻으세요. 

git clone https://github.com/explosion/spaCy
cd spaCy

python -m venv .env
source .env/bin/activate

# make sure you are using the latest pip
python -m pip install -U pip setuptools wheel

pip install -r requirements.txt
pip install --no-build-isolation --editable .

추가 기능으로 설치하려면: 

pip install --no-build-isolation --editable .[lookups,cuda102]

? 테스트 실행

spaCy에는 광범위한 테스트 스위트가 함께 제공됩니다. 테스트를 실행하려면 일반적으로 저장소를 복제하고 소스에서 spaCy를 빌드하는 것이 좋습니다. 이렇게 하면 requirements.txt 에 정의된 필수 개발 종속성 및 테스트 유틸리티도 설치됩니다.

또는 설치된 spacy 패키지 내에서 테스트에 대해 pytest 실행할 수 있습니다. spaCy의 requirements.txt 를 통해 테스트 유틸리티도 설치하는 것을 잊지 마세요. 

pip install -r requirements.txt
python -m pytest --pyargs spacy
확장하다
추가 정보
관련 애플리케이션
추천
관련 정보 전체