PaddleNLP 2.0 ist die Kernbibliothek des Paddle-Ökosystems im Textfeld. Sie verfügt über drei Hauptfunktionen: benutzerfreundliche Textfeld-API, Anwendungsbeispiele für mehrere Szenarien und leistungsstarkes verteiltes Training Effizienz im Textbereich und Bereitstellung von Best Practices für NLP-Aufgaben im Kernrahmen von Flying Paddle 2.0.
Benutzerfreundliche Textfeld-API
Bietet Domänen-APIs vom Datenladen, der Textvorverarbeitung, der Modellnetzwerkauswertung bis hin zur Inferenzbeschleunigung: Dataset-API, die das Laden umfangreicher chinesischer Datensätze unterstützt; Daten-API, die die Datenvorverarbeitung flexibel und effizient abschließt; usw. können die Effizienz der NLP-Aufgabenmodellierung und -Iteration erheblich verbessern.
Anwendungsbeispiele für mehrere Szenarien
Behandelt NLP-Anwendungsbeispiele vom akademischen bis zum industriellen Niveau, deckt die NLP-Grundtechnologie, die NLP-Kerntechnologie, die NLP-Systemanwendung und damit verbundene erweiterte Anwendungen ab. Es basiert vollständig auf dem neuen API-System des Flying Paddle Core Framework 2.0 und bietet eine Entwicklung mit den Best Practices des Flying Paddle 2.0-Frameworks im Textbereich.
Hochleistungsfähiges verteiltes Training
Basierend auf der führenden automatischen Mixed-Precision-Optimierungsstrategie des Flying Paddle-Kernframeworks unterstützt es in Kombination mit der verteilten Flotten-API eine 4D-Hybrid-Parallelstrategie und kann das Modelltraining sehr großer Parameter effizient abschließen.