rust bert

Rust-Bert

Rust-native, hochmoderne Modelle und Pipelines für die Verarbeitung natürlicher Sprache. Port der Transformers-Bibliothek von Hugging Face, mit tch-rs- oder onnxruntime-Bindungen und Vorverarbeitung von Rust-Tokenizern. Unterstützt Multithread-Tokenisierung und GPU-Inferenz. Dieses Repository stellt die Modellbasisarchitektur, aufgabenspezifische Köpfe (siehe unten) und gebrauchsfertige Pipelines bereit. Benchmarks finden Sie am Ende dieses Dokuments.

Beginnen Sie mit Aufgaben wie Beantwortung von Fragen, Erkennung benannter Entitäten, Übersetzung, Zusammenfassung, Textgenerierung, Konversationsagenten und mehr in nur wenigen Codezeilen:

    let qa_model = QuestionAnsweringModel :: new ( Default :: default ( ) ) ? ;

let question = String :: from ( "Where does Amy live ?" ) ;
let context = String :: from ( "Amy lives in Amsterdam" ) ;

let answers = qa_model . predict ( & [ QaInput { question , context } ] , 1 , 32 ) ;

Ausgabe:

 [Answer { score: 0.9976, start: 13, end: 21, answer: "Amsterdam" }]

Zu den derzeit unterstützten Aufgaben gehören:

• Übersetzung
• Zusammenfassung
• Dialog mit mehreren Runden
• Zero-Shot-Klassifizierung
• Stimmungsanalyse
• Anerkennung benannter Entitäten
• Part-of-Speech-Tagging
• Fragen-Antworten
• Sprachgenerierung
• Maskiertes Sprachmodell
• Satzeinbettungen
• Extraktion von Schlüsselwörtern

Erweitern Sie, um die Matrix der unterstützten Modelle/Aufgaben anzuzeigen

	Sequenzklassifizierung	Token-Klassifizierung	Beantwortung der Frage	Textgenerierung	Zusammenfassung	Übersetzung	Maskierter LM	Satzeinbettungen
DistilBERT	✅	✅	✅				✅	✅
MobileBERT	✅	✅	✅				✅
DeBERTa	✅	✅	✅				✅
DeBERTa (v2)	✅	✅	✅				✅
FNet	✅	✅	✅				✅
BERT	✅	✅	✅				✅	✅
RoBERTa	✅	✅	✅				✅	✅
GPT				✅
GPT2				✅
GPT-Neo				✅
GPT-J				✅
BART	✅			✅	✅
Marian						✅
MBart	✅			✅
M2M100				✅
NLLB				✅
Elektra		✅					✅
ALBERT	✅	✅	✅				✅	✅
T5				✅	✅	✅		✅
LongT5				✅	✅
XLNet	✅	✅	✅	✅			✅
Reformer	✅		✅	✅			✅
ProphetNet				✅	✅
Langformer	✅	✅	✅				✅
Pegasus					✅

Erste Schritte

Diese Bibliothek basiert auf der tch-Kiste für Bindungen an die C++-Libtorch-API. Die erforderliche libtorch-Bibliothek kann entweder automatisch oder manuell heruntergeladen werden. Im Folgenden finden Sie eine Referenz dazu, wie Sie Ihre Umgebung für die Verwendung dieser Bindungen einrichten. Weitere Informationen oder Unterstützung finden Sie im TCH.

Darüber hinaus ist diese Bibliothek auf einen Cache-Ordner zum Herunterladen vorab trainierter Modelle angewiesen. Dieser Cache-Speicherort ist standardmäßig ~/.cache/.rustbert , kann aber durch Festlegen der Umgebungsvariablen RUSTBERT_CACHE geändert werden. Beachten Sie, dass die von dieser Bibliothek verwendeten Sprachmodelle in der Größenordnung von 100 MB bis GB liegen.

Manuelle Installation (empfohlen)

1. Laden Sie libtorch von https://pytorch.org/get-started/locally/ herunter. Dieses Paket erfordert v2.4 : Wenn diese Version nicht mehr auf der Seite „Erste Schritte“ verfügbar ist, sollte die Datei durch Ändern des Ziellinks zugänglich sein, zum Beispiel https://download.pytorch.org/libtorch/cu124/libtorch-cxx11-abi-shared-with-deps-2.4.0%2Bcu124.zip für eine Linux-Version mit CUDA12. HINWEIS: Wenn Sie rust-bert als Abhängigkeit von crates.io verwenden, überprüfen Sie bitte den erforderlichen LIBTORCH in der veröffentlichten Paket-Readme-Datei, da dieser von der hier dokumentierten Version abweichen kann (gilt für die aktuelle Repository-Version).
2. Extrahieren Sie die Bibliothek an einen Speicherort Ihrer Wahl
3. Legen Sie die folgenden Umgebungsvariablen fest

Linux:

 export LIBTORCH=/path/to/libtorch
export LD_LIBRARY_PATH= ${LIBTORCH} /lib: $LD_LIBRARY_PATH 

Windows

 $ Env: LIBTORCH = " X:pathtolibtorch "
$ Env: Path += " ;X:pathtolibtorchlib " 

macOS + Homebrew

brew install pytorch jq
export LIBTORCH= $( brew --cellar pytorch ) / $( brew info --json pytorch | jq -r ' .[0].installed[0].version ' )
export LD_LIBRARY_PATH= ${LIBTORCH} /lib: $LD_LIBRARY_PATH

Automatische Installation

Alternativ können Sie das build -Skript die libtorch -Bibliothek automatisch für Sie herunterladen lassen. Das Feature-Flag download-libtorch muss aktiviert sein. Die CPU-Version von libtorch wird standardmäßig heruntergeladen. Um eine CUDA-Version herunterzuladen, setzen Sie bitte die Umgebungsvariable TORCH_CUDA_VERSION auf cu124 . Beachten Sie, dass die libtorch-Bibliothek umfangreich ist (mehrere GB für die CUDA-fähige Version) und der erste Build daher mehrere Minuten dauern kann.

Überprüfung der Installation

Überprüfen Sie Ihre Installation (und die Verknüpfung mit libtorch), indem Sie die rust-bert -Abhängigkeit zu Ihrer Cargo.toml hinzufügen oder die Rust-Bert-Quelle klonen und ein Beispiel ausführen:

git clone [email protected]:guillaume-be/rust-bert.git
cd rust-bert
cargo run --example sentence_embeddings

ONNX-Unterstützung (optional)

ONNX-Unterstützung kann über die optionale onnx -Funktion aktiviert werden. Diese Kiste nutzt dann die ort-Kiste mit Bindungen an die onnxruntime C++-Bibliothek. Für weitere Installationsanweisungen/Unterstützung verweisen wir den Benutzer auf diese Seite Projekt.

1. Aktivieren Sie die optionale onnx -Funktion. Die rust-bert -Kiste enthält keine optionalen Abhängigkeiten für ort . Der Endbenutzer sollte den Funktionssatz auswählen, der zum Abrufen der erforderlichen onnxruntime C++-Bibliothek geeignet wäre.
2. Die derzeit empfohlene Installation besteht darin, dynamische Verknüpfungen zu verwenden, indem auf einen vorhandenen Bibliotheksspeicherort verwiesen wird. Nutzen Sie die load-dynamic Ladungsfunktion für ort .
3. Legen Sie ORT_DYLIB_PATH so fest, dass es auf den Speicherort der heruntergeladenen onnxruntime-Bibliothek verweist ( onnxruntime.dll / libonnxruntime.so / libonnxruntime.dylib abhängig vom Betriebssystem). Diese können von der Release-Seite des onnxruntime-Projekts heruntergeladen werden

Die meisten Architekturen (einschließlich Encoder, Decoder und Encoder-Decoder) werden unterstützt. Ziel der Bibliothek ist es, die Kompatibilität mit Modellen aufrechtzuerhalten, die mit der Optimum-Bibliothek exportiert wurden. Eine detaillierte Anleitung zum Exportieren eines Transformer-Modells nach ONNX mit Optimum finden Sie unter https://huggingface.co/docs/optimum/main/en/exporters/onnx/usage_guides/export_a_model. Die zum Erstellen von ONNX-Modellen verwendeten Ressourcen ähneln diejenigen, die auf Pytorch basieren und den Pytorch durch das ONNX-Modell ersetzen. Da ONNX-Modelle bei der Handhabung optionaler Argumente weniger flexibel sind als ihre Pytorch-Gegenstücke, führt der Export eines Decoder- oder Encoder-Decoder-Modells nach ONNX normalerweise zu mehreren Dateien. Diese Dateien werden gemäß der folgenden Tabelle für die Verwendung in dieser Bibliothek erwartet (aber nicht alle sind erforderlich):

Architektur	Encoder-Datei	Decoder ohne Vergangenheitsdatei	Decoder mit Vergangenheitsdatei
Encoder (z. B. BERT)	erforderlich	nicht verwendet	nicht verwendet
Decoder (z. B. GPT2)	nicht verwendet	erforderlich	optional
Encoder-Decoder (z. B. BART)	erforderlich	erforderlich	optional

Beachten Sie, dass die Recheneffizienz abnimmt, wenn der decoder with past optional, aber nicht bereitgestellt ist, da das Modell keine zwischengespeicherten Schlüssel und Werte der Vergangenheit für den Aufmerksamkeitsmechanismus verwendet, was zu einer hohen Anzahl redundanter Berechnungen führt. Die Optimum-Bibliothek bietet Exportoptionen, um sicherzustellen, dass ein solcher decoder with past Modelldatei erstellt wird. Die Basis-Encoder- und Decoder-Modellarchitektur ist in den encoder bzw. decoder Modulen verfügbar (und der Einfachheit halber verfügbar gemacht).

Generationsmodelle (reine Decoder- oder Encoder/Decoder-Architekturen) sind im models verfügbar. Ost-Pipelines sind für ONNX-Modellprüfpunkte verfügbar, einschließlich Sequenzklassifizierung, Zero-Shot-Klassifizierung, Token-Klassifizierung (einschließlich Erkennung benannter Entitäten und Teil-of-Speech-Tagging), Fragebeantwortung, Textgenerierung, Zusammenfassung und Übersetzung. Diese Modelle verwenden bei Verwendung in einer Pipeline dieselben Konfigurations- und Tokenizer-Dateien wie ihre Pytorch-Gegenstücke. Beispiele für die Nutzung von ONNX-Modellen finden Sie im Verzeichnis ./examples

Gebrauchsfertige Rohrleitungen

Basierend auf den Pipelines von Hugging Face sind in dieser Kiste gebrauchsfertige End-to-End-NLP-Pipelines verfügbar. Die folgenden Funktionen sind derzeit verfügbar:

Haftungsausschluss Die Mitwirkenden dieses Repositorys sind nicht verantwortlich für die Generierung der hier vorgeschlagenen vorab trainierten Systeme durch Dritte.

1. Beantwortung von Fragen

Extraktive Beantwortung von Fragen aus einer bestimmten Frage und einem bestimmten Kontext. Feinabstimmung des DistilBERT-Modells auf SQuAD (Stanford Question Answering Dataset)

    let qa_model = QuestionAnsweringModel :: new ( Default :: default ( ) ) ? ;

let question = String :: from ( "Where does Amy live ?" ) ;
let context = String :: from ( "Amy lives in Amsterdam" ) ;

let answers = qa_model . predict ( & [ QaInput { question , context } ] , 1 , 32 ) ;

Ausgabe:

 [Answer { score: 0.9976, start: 13, end: 21, answer: "Amsterdam" }]

2. Übersetzung

Übersetzungspipeline, die ein breites Spektrum an Ausgangs- und Zielsprachen unterstützt. Nutzt zwei Hauptarchitekturen für Übersetzungsaufgaben:

• Marian-basierte Modelle für bestimmte Quell-/Zielkombinationen
• M2M100-Modelle, die eine direkte Übersetzung zwischen 100 Sprachen ermöglichen (mit höherem Rechenaufwand und geringerer Leistung für einige ausgewählte Sprachen)

Marian-basierte vorab trainierte Modelle für die folgenden Sprachpaare sind in der Bibliothek leicht verfügbar – der Benutzer kann jedoch jedes beliebige Pytorch-basierte Modell für Vorhersagen importieren

• Englisch <-> Französisch
• Englisch <-> Spanisch
• Englisch <-> Portugiesisch
• Englisch <-> Italienisch
• Englisch <-> Katalanisch
• Englisch <-> Deutsch
• Englisch <-> Russisch
• Englisch <-> Chinesisch
• Englisch <-> Niederländisch
• Englisch <-> Schwedisch
• Englisch <-> Arabisch
• Englisch <-> Hebräisch
• Englisch <-> Hindi
• Französisch <-> Deutsch

Für Sprachen, die von den vorgeschlagenen vorab trainierten Marian-Modellen nicht unterstützt werden, kann der Benutzer ein M2M100-Modell nutzen, das die direkte Übersetzung zwischen 100 Sprachen unterstützt (ohne Zwischenübersetzung ins Englische). Die vollständige Liste der unterstützten Sprachen ist in der Crate-Dokumentation verfügbar

 use rust_bert :: pipelines :: translation :: { Language , TranslationModelBuilder } ;
fn main ( ) -> anyhow :: Result < ( ) > {
    let model = TranslationModelBuilder :: new ( )
        . with_source_languages ( vec ! [ Language :: English ] )
        . with_target_languages ( vec ! [ Language :: Spanish , Language :: French , Language :: Italian ] )
        . create_model ( ) ? ;
    let input_text = "This is a sentence to be translated" ;
    let output = model . translate ( & [ input_text ] , None , Language :: French ) ? ;
    for sentence in output {
        println ! ( "{}" , sentence ) ;
    }
    Ok ( ( ) )
}

Ausgabe:

 Il s'agit d'une phrase à traduire

3. Zusammenfassung

Abstrakte Zusammenfassung mithilfe eines vorab trainierten BART-Modells.

    let summarization_model = SummarizationModel :: new ( Default :: default ( ) ) ? ;

let input = [ "In findings published Tuesday in Cornell University's arXiv by a team of scientists 
from the University of Montreal and a separate report published Wednesday in Nature Astronomy by a team 
from University College London (UCL), the presence of water vapour was confirmed in the atmosphere of K2-18b, 
a planet circling a star in the constellation Leo. This is the first such discovery in a planet in its star's 
habitable zone — not too hot and not too cold for liquid water to exist. The Montreal team, led by Björn Benneke, 
used data from the NASA's Hubble telescope to assess changes in the light coming from K2-18b's star as the planet 
passed between it and Earth. They found that certain wavelengths of light, which are usually absorbed by water, 
weakened when the planet was in the way, indicating not only does K2-18b have an atmosphere, but the atmosphere 
contains water in vapour form. The team from UCL then analyzed the Montreal team's data using their own software 
and confirmed their conclusion. This was not the first time scientists have found signs of water on an exoplanet, 
but previous discoveries were made on planets with high temperatures or other pronounced differences from Earth. 
" This is the first potentially habitable planet where the temperature is right and where we now know there is water, " 
said UCL astronomer Angelos Tsiaras. " It's the best candidate for habitability right now. " " It's a good sign " , 
said Ryan Cloutier of the Harvard–Smithsonian Center for Astrophysics, who was not one of either study's authors. 
" Overall, " he continued, " the presence of water in its atmosphere certainly improves the prospect of K2-18b being 
a potentially habitable planet, but further observations will be required to say for sure. "
K2-18b was first identified in 2015 by the Kepler space telescope. It is about 110 light-years from Earth and larger 
but less dense. Its star, a red dwarf, is cooler than the Sun, but the planet's orbit is much closer, such that a year 
on K2-18b lasts 33 Earth days. According to The Guardian, astronomers were optimistic that NASA's James Webb space 
telescope — scheduled for launch in 2021 — and the European Space Agency's 2028 ARIEL program, could reveal more 
about exoplanets like K2-18b." ] ;

let output = summarization_model . summarize ( & input ) ;

(Beispiel aus: WikiNews)

Ausgabe:

 "Scientists have found water vapour on K2-18b, a planet 110 light-years from Earth. 
This is the first such discovery in a planet in its star's habitable zone. 
The planet is not too hot and not too cold for liquid water to exist."

4. Dialogmodell

Konversationsmodell basierend auf Microsofts DialoGPT. Diese Pipeline ermöglicht die Generierung von Single- oder Multi-Turn-Gesprächen zwischen einem Menschen und einem Model. Auf der Seite von DialoGPT steht das

Die Ergebnisse der menschlichen Bewertung zeigen, dass die von DialoGPT generierte Antwort mit der menschlichen Antwortqualität im Rahmen eines Single-Turn-Conversation-Turing-Tests vergleichbar ist. (DialoGPT-Repository)

Das Modell verwendet einen ConversationManager um aktive Konversationen zu verfolgen und Antworten darauf zu generieren.

 use rust_bert :: pipelines :: conversation :: { ConversationModel , ConversationManager } ;

let conversation_model = ConversationModel :: new ( Default :: default ( ) ) ;
let mut conversation_manager = ConversationManager :: new ( ) ;

let conversation_id = conversation_manager . create ( "Going to the movies tonight - any suggestions?" ) ;
let output = conversation_model . generate_responses ( & mut conversation_manager ) ;

Beispielausgabe:

 "The Big Lebowski."

5. Erzeugung natürlicher Sprache

Generieren Sie eine Sprache basierend auf einer Eingabeaufforderung. GPT2 und GPT als Basismodelle verfügbar. Beziehen Sie Techniken wie Strahlsuche, Top-K- und Kernprobenahme, Temperatureinstellung und Wiederholungsstrafe ein. Unterstützt die Stapelgenerierung von Sätzen aus mehreren Eingabeaufforderungen. Sequenzen werden links mit dem Fülltoken des Modells aufgefüllt, falls vorhanden, andernfalls mit dem unbekannten Token. Dies kann sich auf die Ergebnisse auswirken. Für optimale Ergebnisse wird empfohlen, Eingabeaufforderungen mit ähnlicher Länge einzureichen

    let model = GPT2Generator :: new ( Default :: default ( ) ) ? ;

let input_context_1 = "The dog" ;
let input_context_2 = "The cat was" ;

let generate_options = GenerateOptions {
max_length : 30 ,
.. Default :: default ( )
} ;

let output = model . generate ( Some ( & [ input_context_1 , input_context_2 ] ) , generate_options ) ;

Beispielausgabe:

 [
    "The dog's owners, however, did not want to be named. According to the lawsuit, the animal's owner, a 29-year"
    "The dog has always been part of the family. "He was always going to be my dog and he was always looking out for me"
    "The dog has been able to stay in the home for more than three months now. "It's a very good dog. She's"
    "The cat was discovered earlier this month in the home of a relative of the deceased. The cat's owner, who wished to remain anonymous,"
    "The cat was pulled from the street by two-year-old Jazmine."I didn't know what to do," she said"
    "The cat was attacked by two stray dogs and was taken to a hospital. Two other cats were also injured in the attack and are being treated."
]

6. Zero-Shot-Klassifizierung

Führt eine Zero-Shot-Klassifizierung für Eingabesätze mit bereitgestellten Beschriftungen durch, wobei ein Modell verwendet wird, das für die Inferenz natürlicher Sprache optimiert ist.

    let sequence_classification_model = ZeroShotClassificationModel :: new ( Default :: default ( ) ) ? ;

let input_sentence = "Who are you voting for in 2020?" ;
let input_sequence_2 = "The prime minister has announced a stimulus package which was widely criticized by the opposition." ;
let candidate_labels = & [ "politics" , "public health" , "economics" , "sports" ] ;

let output = sequence_classification_model . predict_multilabel (
& [ input_sentence , input_sequence_2 ] ,
candidate_labels ,
None ,
128 ,
) ;

Ausgabe:

 [
  [ Label { "politics", score: 0.972 }, Label { "public health", score: 0.032 }, Label {"economics", score: 0.006 }, Label {"sports", score: 0.004 } ],
  [ Label { "politics", score: 0.975 }, Label { "public health", score: 0.0818 }, Label {"economics", score: 0.852 }, Label {"sports", score: 0.001 } ],
]

7. Stimmungsanalyse

Sagt die binäre Stimmung für einen Satz voraus. DistilBERT-Modell auf SST-2 verfeinert.

    let sentiment_classifier = SentimentModel :: new ( Default :: default ( ) ) ? ;

let input = [
"Probably my all-time favorite movie, a story of selflessness, sacrifice and dedication to a noble cause, but it's not preachy or boring." ,
"This film tried to be too many things all at once: stinging political satire, Hollywood blockbuster, sappy romantic comedy, family values promo..." ,
"If you like original gut wrenching laughter you will like this movie. If you are young or old then you will love this movie, hell even my mom liked it." ,
] ;

let output = sentiment_classifier . predict ( & input ) ;

(Beispiel mit freundlicher Genehmigung von IMDb)

Ausgabe:

 [
    Sentiment { polarity: Positive, score: 0.9981985493795946 },
    Sentiment { polarity: Negative, score: 0.9927982091903687 },
    Sentiment { polarity: Positive, score: 0.9997248985164333 }
]

8. Anerkennung benannter Entitäten

Extrahiert Entitäten (Person, Standort, Organisation, Sonstiges) aus Text. BERT-Gehäuse, großes Modell, verfeinert auf CoNNL03, beigesteuert vom MDZ Digital Library-Team der Bayerischen Staatsbibliothek. Derzeit sind Modelle für Englisch, Deutsch, Spanisch und Niederländisch verfügbar.

    let ner_model = NERModel :: new ( default :: default ( ) ) ? ;

let input = [
"My name is Amy. I live in Paris." ,
"Paris is a city in France."
] ;

let output = ner_model . predict ( & input ) ;

Ausgabe:

 [
  [
    Entity { word: "Amy", score: 0.9986, label: "I-PER" }
    Entity { word: "Paris", score: 0.9985, label: "I-LOC" }
  ],
  [
    Entity { word: "Paris", score: 0.9988, label: "I-LOC" }
    Entity { word: "France", score: 0.9993, label: "I-LOC" }
  ]
]

9. Extraktion von Schlüsselwörtern/Schlüsselphrasen

Extrahieren Sie Schlüsselwörter und Schlüsselphrasen aus Eingabedokumenten

 fn main ( ) -> anyhow :: Result < ( ) > {
    let keyword_extraction_model = KeywordExtractionModel :: new ( Default :: default ( ) ) ? ;

    let input = "Rust is a multi-paradigm, general-purpose programming language. 
       Rust emphasizes performance, type safety, and concurrency. Rust enforces memory safety—that is, 
       that all references point to valid memory—without requiring the use of a garbage collector or 
       reference counting present in other memory-safe languages. To simultaneously enforce 
       memory safety and prevent concurrent data races, Rust's borrow checker tracks the object lifetime 
       and variable scope of all references in a program during compilation. Rust is popular for 
       systems programming but also offers high-level features including functional programming constructs." ;

    let output = keyword_extraction_model . predict ( & [ input ] ) ? ;
}

Ausgabe:

 "rust" - 0.50910604
"programming" - 0.35731024
"concurrency" - 0.33825397
"concurrent" - 0.31229728
"program" - 0.29115444

10. Part-of-Speech-Tagging

Extrahiert Wortteil-Tags (Substantiv, Verb, Adjektiv ...) aus dem Text.

    let pos_model = POSModel :: new ( default :: default ( ) ) ? ;

let input = [ "My name is Bob" ] ;

let output = pos_model . predict ( & input ) ;

Ausgabe:

 [
    Entity { word: "My", score: 0.1560, label: "PRP" }
    Entity { word: "name", score: 0.6565, label: "NN" }
    Entity { word: "is", score: 0.3697, label: "VBZ" }
    Entity { word: "Bob", score: 0.7460, label: "NNP" }
]

11. Satzeinbettungen

Generieren Sie Satzeinbettungen (Vektordarstellung). Diese können für Anwendungen einschließlich des dichten Informationsabrufs verwendet werden.

    let model = SentenceEmbeddingsBuilder :: remote (
SentenceEmbeddingsModelType :: AllMiniLmL12V2
) . create_model ( ) ? ;

let sentences = [
"this is an example sentence" ,
"each sentence is converted"
] ;

let output = model . encode ( & sentences ) ? ;

Ausgabe:

 [
    [-0.000202666, 0.08148022, 0.03136178, 0.002920636 ...],
    [0.064757116, 0.048519745, -0.01786038, -0.0479775 ...]
]

12. Maskiertes Sprachmodell

Sagen Sie maskierte Wörter in Eingabesätzen voraus.

    let model = MaskedLanguageModel :: new ( Default :: default ( ) ) ? ;

let sentences = [
"Hello I am a <mask> student" ,
"Paris is the <mask> of France. It is <mask> in Europe." ,
] ;

let output = model . predict ( & sentences ) ;

Ausgabe:

 [
    [MaskedToken { text: "college", id: 2267, score: 8.091}],
    [
        MaskedToken { text: "capital", id: 3007, score: 16.7249}, 
        MaskedToken { text: "located", id: 2284, score: 9.0452}
    ]
]

Benchmarks

Für einfache Pipelines (Sequenzklassifizierung, Token-Klassifizierung, Beantwortung von Fragen) wird erwartet, dass die Leistung zwischen Python und Rust vergleichbar ist. Dies liegt daran, dass der teuerste Teil dieser Pipeline das Sprachmodell selbst ist, das über eine gemeinsame Implementierung im Torch-Backend verfügt. Die End-to-End-NLP-Pipelines in Rust bieten einen Benchmark-Bereich, der alle Pipelines abdeckt.

Für Textgenerierungsaufgaben (Zusammenfassung, Übersetzung, Konversation, Freitextgenerierung) sind erhebliche Vorteile zu erwarten (bis zu 2- bis 4-mal schnellere Verarbeitung je nach Eingabe und Anwendung). Der Artikel „Beschleunigung der Textgenerierung mit Rust“ konzentriert sich auf diese Textgenerierungsanwendungen und liefert weitere Details zum Leistungsvergleich mit Python.

Laden vorab trainierter und benutzerdefinierter Modellgewichte

Das Basismodell und aufgabenspezifische Köpfe sind auch für Benutzer verfügbar, die ihre eigenen transformatorbasierten Modelle bereitstellen möchten. Beispiele für die Vorbereitung des Datums mithilfe einer nativen Rust-Tokenizer-Bibliothek sind in ./examples für BERT, DistilBERT, RoBERTa, GPT, GPT2 und BART verfügbar. Beachten Sie, dass beim Importieren von Modellen aus Pytorch die Konvention für die Benennung von Parametern an das Rust-Schema angepasst werden muss. Das Laden der vorab trainierten Gewichte schlägt fehl, wenn eines der Modellparametergewichte nicht in den Gewichtsdateien gefunden werden kann. Wenn diese Qualitätsprüfung übersprungen werden soll, kann eine alternative Methode load_partial aus dem Variablenspeicher aufgerufen werden.

Vorab trainierte Modelle sind im Modell-Hub von Hugging Face verfügbar und können mithilfe der in dieser Bibliothek definierten RemoteResources geladen werden.

In ./utils ist ein Konvertierungsdienstprogramm-Skript enthalten, mit dem Pytorch-Gewichte in einen mit dieser Bibliothek kompatiblen Satz von Gewichtungen konvertiert werden können. Für dieses Skript müssen Python und torch eingerichtet sein