PaddleNLP v2.8.1

PaddleNLP 2.0은 텍스트 분야의 Paddle Ecosystem의 핵심 라이브러리로, 사용하기 쉬운 텍스트 필드 API, 다중 시나리오 적용 예제, 고성능 분산 교육이라는 세 가지 주요 기능을 갖추고 있습니다. 텍스트 필드의 효율성을 높이고 Flying Paddle 2.0의 핵심 프레임워크에서 NLP 작업에 대한 모범 사례를 제공합니다.

특징

사용하기 쉬운 텍스트 필드 API

데이터 로딩, 텍스트 전처리, 모델 네트워크 평가부터 추론 가속화까지 도메인 API 제공: 풍부한 중국 데이터 세트 로딩을 지원하는 데이터 세트 API, 데이터 전처리를 유연하고 효율적으로 완료하는 데이터 API, 사전 학습된 모델 API 60개 이상 제공 등은 NLP 작업 모델링 및 반복의 효율성을 크게 향상시킬 수 있습니다.

여러 시나리오에 대한 적용 예

NLP 기본 기술, NLP 핵심 기술, NLP 시스템 응용 및 관련 확장 응용을 다루며 학술 수준부터 산업 수준까지 NLP 응용 사례를 다룹니다. Flying Paddle Core Framework 2.0의 새로운 API 시스템을 기반으로 완전히 개발되었으며 텍스트 필드에서 Flying Paddle 2.0 프레임워크의 모범 사례를 사용하여 개발을 제공합니다.

고성능 분산 훈련

Flying Paddle 코어 프레임워크의 선도적인 자동 혼합 정밀도 최적화 전략을 기반으로 분산 Fleet API와 결합되어 4D 하이브리드 병렬 전략을 지원하고 매우 대규모 매개변수의 모델 훈련을 효율적으로 완료할 수 있습니다.