PaddleNLP v2.8.1

PaddleNLP 2.0 es la biblioteca central del ecosistema Paddle en el campo de texto. Tiene tres características principales: API de campo de texto fácil de usar, ejemplos de aplicaciones de múltiples escenarios y capacitación distribuida de alto rendimiento. Su objetivo es mejorar el desarrollo de los desarrolladores. eficiencia en el campo de texto y proporcionar mejores prácticas para tareas de PNL en el marco central de Flying Paddle 2.0.

Características

API de campo de texto fácil de usar

Proporciona API de dominio desde carga de datos, preprocesamiento de texto, evaluación de redes de modelos hasta aceleración de inferencia: API de conjunto de datos que admite la carga de conjuntos de datos chinos enriquecidos que completa el preprocesamiento de datos de manera flexible y eficiente. Transformador que proporciona más de 60 API de modelos previamente entrenados; etc., puede mejorar en gran medida la eficiencia del modelado y la iteración de tareas de PNL.

Ejemplos de aplicaciones para múltiples escenarios

Cubre ejemplos de aplicaciones de PNL desde el nivel académico hasta el industrial, y cubre la tecnología básica de PNL, la tecnología central de PNL, la aplicación del sistema de PNL y aplicaciones ampliadas relacionadas. Está completamente desarrollado en base al nuevo sistema API de Flying Paddle Core Framework 2.0, proporcionando desarrollo con las mejores prácticas del marco Flying Paddle 2.0 en el campo de texto.

Entrenamiento distribuido de alto rendimiento

Basado en la estrategia líder de optimización automática de precisión mixta del marco central Flying Paddle, combinado con la API Fleet distribuida, admite una estrategia paralela híbrida 4D y puede completar de manera eficiente el entrenamiento de modelos de parámetros a muy gran escala.