rust bert

Rust-bert

Canalizaciones y modelos de procesamiento de lenguaje natural de última generación nativos de Rust. Puerto de la biblioteca Transformers de Hugging Face, que utiliza enlaces tch-rs u onnxruntime y preprocesamiento desde tokenizadores oxidados. Admite tokenización multiproceso e inferencia de GPU. Este repositorio expone la arquitectura base del modelo, los encabezados de tareas específicas (ver más abajo) y los canales listos para usar. Los puntos de referencia están disponibles al final de este documento.

Comience con tareas que incluyen respuesta a preguntas, reconocimiento de entidades nombradas, traducción, resumen, generación de texto, agentes conversacionales y más en solo unas pocas líneas de código:

    let qa_model = QuestionAnsweringModel :: new ( Default :: default ( ) ) ? ;

let question = String :: from ( "Where does Amy live ?" ) ;
let context = String :: from ( "Amy lives in Amsterdam" ) ;

let answers = qa_model . predict ( & [ QaInput { question , context } ] , 1 , 32 ) ;

Producción:

 [Answer { score: 0.9976, start: 13, end: 21, answer: "Amsterdam" }]

Las tareas actualmente soportadas incluyen:

• Traducción
• Resumen
• Diálogo de varios turnos
• Clasificación de tiro cero
• Análisis de sentimiento
• Reconocimiento de entidad nombrada
• Parte del etiquetado de voz
• Preguntas y respuestas
• Generación de lenguaje
• Modelo de lenguaje enmascarado
• Incrustaciones de oraciones
• Extracción de palabras clave

Expandir para mostrar la matriz de modelos/tareas admitidos

	Clasificación de secuencia	Clasificación de tokens	Respuesta a preguntas	Generación de texto	Resumen	Traducción	LM enmascarado	Incrustaciones de oraciones
destilbert	✅	✅	✅				✅	✅
MóvilBERT	✅	✅	✅				✅
DeBERTa	✅	✅	✅				✅
DeBERTa (v2)	✅	✅	✅				✅
FNET	✅	✅	✅				✅
BERT	✅	✅	✅				✅	✅
roberta	✅	✅	✅				✅	✅
GPT				✅
GPT2				✅
GPT-Neo				✅
GPT-J				✅
BART	✅			✅	✅
mariano						✅
MBart	✅			✅
M2M100				✅
NLLB				✅
electra		✅					✅
ALBERTO	✅	✅	✅				✅	✅
T5				✅	✅	✅		✅
LargoT5				✅	✅
XLnet	✅	✅	✅	✅			✅
Reformador	✅		✅	✅			✅
ProfetaNet				✅	✅
antiguo	✅	✅	✅				✅
Pegaso					✅

Empezando

Esta biblioteca se basa en la caja tch para enlaces a la API Libtorch de C++. La biblioteca libtorch es necesaria y se puede descargar de forma automática o manual. A continuación se proporciona una referencia sobre cómo configurar su entorno para utilizar estos enlaces; consulte tch para obtener información detallada o soporte.

Además, esta biblioteca se basa en una carpeta de caché para descargar modelos previamente entrenados. Esta ubicación de caché está predeterminada en ~/.cache/.rustbert , pero se puede cambiar configurando la variable de entorno RUSTBERT_CACHE . Tenga en cuenta que los modelos de lenguaje utilizados por esta biblioteca son del orden de cientos de MB a GB.

Instalación manual (recomendado)

1. Descargue libtorch desde https://pytorch.org/get-started/locally/. Este paquete requiere v2.4 : si esta versión ya no está disponible en la página "empezar", se debe poder acceder al archivo modificando el enlace de destino, por ejemplo https://download.pytorch.org/libtorch/cu124/libtorch-cxx11-abi-shared-with-deps-2.4.0%2Bcu124.zip para una versión de Linux con CUDA12. NOTA: Cuando utilice rust-bert como dependencia de crates.io, verifique el LIBTORCH requerido en el archivo Léame del paquete publicado, ya que puede diferir de la versión documentada aquí (que se aplica a la versión actual del repositorio).
2. Extraiga la biblioteca a la ubicación que elija
3. Establezca las siguientes variables de entorno

Linux:

 export LIBTORCH=/path/to/libtorch
export LD_LIBRARY_PATH= ${LIBTORCH} /lib: $LD_LIBRARY_PATH 

ventanas

 $ Env: LIBTORCH = " X:pathtolibtorch "
$ Env: Path += " ;X:pathtolibtorchlib " 

macOS + cerveza casera

brew install pytorch jq
export LIBTORCH= $( brew --cellar pytorch ) / $( brew info --json pytorch | jq -r ' .[0].installed[0].version ' )
export LD_LIBRARY_PATH= ${LIBTORCH} /lib: $LD_LIBRARY_PATH

Instalación automática

Alternativamente, puede dejar que el script build descargue automáticamente la biblioteca libtorch . Es necesario habilitar el indicador de función download-libtorch . La versión de CPU de libtorch se descargará de forma predeterminada. Para descargar una versión de CUDA, configure la variable de entorno TORCH_CUDA_VERSION en cu124 . Tenga en cuenta que la biblioteca libtorch es grande (del orden de varios GB para la versión habilitada para CUDA) y, por lo tanto, la primera compilación puede tardar varios minutos en completarse.

Verificando la instalación

Verifique su instalación (y la vinculación con libtorch) agregando la dependencia rust-bert a su Cargo.toml o clonando la fuente de Rust-bert y ejecutando un ejemplo:

git clone [email protected]:guillaume-be/rust-bert.git
cd rust-bert
cargo run --example sentence_embeddings

Soporte ONNX (opcional)

La compatibilidad con ONNX se puede habilitar a través de la función onnx opcional. Luego, esta caja aprovecha la caja ort con enlaces a la biblioteca onnxruntime C++. Remitimos al usuario a este proyecto de página para obtener más instrucciones/soporte de instalación.

1. Habilite la función onnx opcional. La caja rust-bert no incluye ninguna dependencia opcional para ort ; el usuario final debe seleccionar el conjunto de características que serían adecuadas para extraer la biblioteca onnxruntime C++ requerida.
2. La instalación recomendada actualmente es utilizar enlaces dinámicos apuntando a una ubicación de biblioteca existente. Utilice la función de carga load-dynamic para ort .
3. configure ORT_DYLIB_PATH para que apunte a la ubicación de la biblioteca onnxruntime descargada ( onnxruntime.dll / libonnxruntime.so / libonnxruntime.dylib dependiendo del sistema operativo). Estos se pueden descargar desde la página de lanzamiento del proyecto onnxruntime.

Se admiten la mayoría de las arquitecturas (incluidos codificadores, decodificadores y codificadores-decodificadores). La biblioteca tiene como objetivo mantener la compatibilidad con los modelos exportados utilizando la biblioteca Optimum. Una guía detallada sobre cómo exportar un modelo de Transformer a ONNX usando Optimum está disponible en https://huggingface.co/docs/optimum/main/en/exporters/onnx/usage_guides/export_a_model Los recursos utilizados para crear modelos ONNX son similares a los basados ​​en Pytorch, reemplazando el pytorch por el modelo ONNX. Dado que los modelos ONNX son menos flexibles que sus homólogos de Pytorch en el manejo de argumentos opcionales, exportar un decodificador o un modelo codificador-decodificador a ONNX normalmente generará varios archivos. Se espera que estos archivos (pero no todos son necesarios) se utilicen en esta biblioteca según la siguiente tabla:

Arquitectura	Archivo codificador	Decodificador sin archivo pasado	Decodificador con archivo pasado
Codificador (por ejemplo, BERT)	requerido	no usado	no usado
Decodificador (por ejemplo, GPT2)	no usado	requerido	opcional
Codificador-decodificador (por ejemplo, BART)	requerido	requerido	opcional

Tenga en cuenta que la eficiencia computacional disminuirá cuando el decoder with past sea opcional pero no se proporcione, ya que el modelo no utilizará claves y valores anteriores almacenados en caché para el mecanismo de atención, lo que generará una gran cantidad de cálculos redundantes. La biblioteca Optimum ofrece opciones de exportación para garantizar que se cree dicho decoder with past . La arquitectura del modelo base de codificador y decodificador está disponible (y expuesta para mayor comodidad) en los módulos encoder y decoder , respectivamente.

Los modelos de generación (arquitecturas de codificador puro o codificador/decodificador) están disponibles en el módulo models . La mayoría de los canales están disponibles para los puntos de control del modelo ONNX, incluida la clasificación de secuencia, la clasificación de disparo cero, la clasificación de tokens (incluido el reconocimiento de entidades nombradas y el etiquetado de partes del discurso), la respuesta a preguntas, la generación de texto, el resumen y la traducción. Estos modelos utilizan los mismos archivos de configuración y tokenizador que sus homólogos de Pytorch cuando se utilizan en una canalización. Se proporcionan ejemplos que aprovechan los modelos ONNX en el directorio ./examples

Tuberías listas para usar

Basado en los pipelines de Hugging Face, hay disponibles pipelines de PNL de extremo a extremo listos para usar como parte de esta caja. Actualmente están disponibles las siguientes capacidades:

Descargo de responsabilidad Los contribuyentes de este repositorio no son responsables de ninguna generación a partir del uso por parte de terceros de los sistemas previamente entrenados propuestos en este documento.

1. Respuesta a preguntas

Respuesta a preguntas extractivas a partir de una pregunta y un contexto determinados. Modelo DistilBERT ajustado en SQuAD (conjunto de datos de respuesta a preguntas de Stanford)

    let qa_model = QuestionAnsweringModel :: new ( Default :: default ( ) ) ? ;

let question = String :: from ( "Where does Amy live ?" ) ;
let context = String :: from ( "Amy lives in Amsterdam" ) ;

let answers = qa_model . predict ( & [ QaInput { question , context } ] , 1 , 32 ) ;

Producción:

 [Answer { score: 0.9976, start: 13, end: 21, answer: "Amsterdam" }]

2. Traducción

Canal de traducción que admite una amplia gama de idiomas de origen y de destino. Aprovecha dos arquitecturas principales para las tareas de traducción:

• Modelos basados ​​en Marian, para combinaciones específicas de fuente/destino
• Modelos M2M100 que permiten la traducción directa entre 100 idiomas (a un mayor costo computacional y menor rendimiento para algunos idiomas seleccionados)

Los modelos previamente entrenados basados ​​en Marian para los siguientes pares de idiomas están disponibles en la biblioteca, pero el usuario puede importar cualquier modelo basado en Pytorch para realizar predicciones.

• Inglés <-> Francés
• Inglés <-> Español
• Inglés <-> Portugués
• Inglés <-> Italiano
• Inglés <-> Catalán
• Inglés <-> Alemán
• Inglés <-> Ruso
• Inglés <-> chino
• Inglés <-> Holandés
• Inglés <-> Sueco
• Inglés <-> Árabe
• Inglés <-> Hebreo
• Inglés <-> Hindi
• Francés <-> alemán

Para los idiomas que no son compatibles con los modelos Marian previamente entrenados propuestos, el usuario puede aprovechar un modelo M2M100 que admite traducción directa entre 100 idiomas (sin traducción intermedia al inglés). La lista completa de idiomas admitidos está disponible en la documentación de la caja.

 use rust_bert :: pipelines :: translation :: { Language , TranslationModelBuilder } ;
fn main ( ) -> anyhow :: Result < ( ) > {
    let model = TranslationModelBuilder :: new ( )
        . with_source_languages ( vec ! [ Language :: English ] )
        . with_target_languages ( vec ! [ Language :: Spanish , Language :: French , Language :: Italian ] )
        . create_model ( ) ? ;
    let input_text = "This is a sentence to be translated" ;
    let output = model . translate ( & [ input_text ] , None , Language :: French ) ? ;
    for sentence in output {
        println ! ( "{}" , sentence ) ;
    }
    Ok ( ( ) )
}

Producción:

 Il s'agit d'une phrase à traduire

3. Resumen

Resumen abstractivo utilizando un modelo BART previamente entrenado.

    let summarization_model = SummarizationModel :: new ( Default :: default ( ) ) ? ;

let input = [ "In findings published Tuesday in Cornell University's arXiv by a team of scientists 
from the University of Montreal and a separate report published Wednesday in Nature Astronomy by a team 
from University College London (UCL), the presence of water vapour was confirmed in the atmosphere of K2-18b, 
a planet circling a star in the constellation Leo. This is the first such discovery in a planet in its star's 
habitable zone — not too hot and not too cold for liquid water to exist. The Montreal team, led by Björn Benneke, 
used data from the NASA's Hubble telescope to assess changes in the light coming from K2-18b's star as the planet 
passed between it and Earth. They found that certain wavelengths of light, which are usually absorbed by water, 
weakened when the planet was in the way, indicating not only does K2-18b have an atmosphere, but the atmosphere 
contains water in vapour form. The team from UCL then analyzed the Montreal team's data using their own software 
and confirmed their conclusion. This was not the first time scientists have found signs of water on an exoplanet, 
but previous discoveries were made on planets with high temperatures or other pronounced differences from Earth. 
" This is the first potentially habitable planet where the temperature is right and where we now know there is water, " 
said UCL astronomer Angelos Tsiaras. " It's the best candidate for habitability right now. " " It's a good sign " , 
said Ryan Cloutier of the Harvard–Smithsonian Center for Astrophysics, who was not one of either study's authors. 
" Overall, " he continued, " the presence of water in its atmosphere certainly improves the prospect of K2-18b being 
a potentially habitable planet, but further observations will be required to say for sure. "
K2-18b was first identified in 2015 by the Kepler space telescope. It is about 110 light-years from Earth and larger 
but less dense. Its star, a red dwarf, is cooler than the Sun, but the planet's orbit is much closer, such that a year 
on K2-18b lasts 33 Earth days. According to The Guardian, astronomers were optimistic that NASA's James Webb space 
telescope — scheduled for launch in 2021 — and the European Space Agency's 2028 ARIEL program, could reveal more 
about exoplanets like K2-18b." ] ;

let output = summarization_model . summarize ( & input ) ;

(ejemplo de: WikiNews)

Producción:

 "Scientists have found water vapour on K2-18b, a planet 110 light-years from Earth. 
This is the first such discovery in a planet in its star's habitable zone. 
The planet is not too hot and not too cold for liquid water to exist."

4. Modelo de diálogo

Modelo de conversación basado en DialoGPT de Microsoft. Este canal permite la generación de conversaciones de uno o varios turnos entre un humano y un modelo. La página de DialoGPT afirma que

Los resultados de la evaluación humana indican que la respuesta generada por DialoGPT es comparable a la calidad de la respuesta humana bajo una prueba de Turing de conversación de un solo turno. (repositorio DialoGPT)

El modelo utiliza un ConversationManager para realizar un seguimiento de las conversaciones activas y generar respuestas a ellas.

 use rust_bert :: pipelines :: conversation :: { ConversationModel , ConversationManager } ;

let conversation_model = ConversationModel :: new ( Default :: default ( ) ) ;
let mut conversation_manager = ConversationManager :: new ( ) ;

let conversation_id = conversation_manager . create ( "Going to the movies tonight - any suggestions?" ) ;
let output = conversation_model . generate_responses ( & mut conversation_manager ) ;

Salida de ejemplo:

 "The Big Lebowski."

5. Generación del lenguaje natural

Generar lenguaje basado en un mensaje. GPT2 y GPT disponibles como modelos básicos. Incluya técnicas como búsqueda de haz, muestreo top-k y de núcleo, ajuste de temperatura y penalización por repetición. Admite la generación por lotes de oraciones a partir de varias indicaciones. Las secuencias se rellenarán a la izquierda con el token de relleno del modelo si está presente; en caso contrario, el token desconocido. Esto puede afectar los resultados; se recomienda enviar mensajes de duración similar para obtener mejores resultados.

    let model = GPT2Generator :: new ( Default :: default ( ) ) ? ;

let input_context_1 = "The dog" ;
let input_context_2 = "The cat was" ;

let generate_options = GenerateOptions {
max_length : 30 ,
.. Default :: default ( )
} ;

let output = model . generate ( Some ( & [ input_context_1 , input_context_2 ] ) , generate_options ) ;

Salida de ejemplo:

 [
    "The dog's owners, however, did not want to be named. According to the lawsuit, the animal's owner, a 29-year"
    "The dog has always been part of the family. "He was always going to be my dog and he was always looking out for me"
    "The dog has been able to stay in the home for more than three months now. "It's a very good dog. She's"
    "The cat was discovered earlier this month in the home of a relative of the deceased. The cat's owner, who wished to remain anonymous,"
    "The cat was pulled from the street by two-year-old Jazmine."I didn't know what to do," she said"
    "The cat was attacked by two stray dogs and was taken to a hospital. Two other cats were also injured in the attack and are being treated."
]

6. Clasificación de tiro cero

Realiza una clasificación de tiro cero en oraciones de entrada con etiquetas proporcionadas utilizando un modelo ajustado para la inferencia del lenguaje natural.

    let sequence_classification_model = ZeroShotClassificationModel :: new ( Default :: default ( ) ) ? ;

let input_sentence = "Who are you voting for in 2020?" ;
let input_sequence_2 = "The prime minister has announced a stimulus package which was widely criticized by the opposition." ;
let candidate_labels = & [ "politics" , "public health" , "economics" , "sports" ] ;

let output = sequence_classification_model . predict_multilabel (
& [ input_sentence , input_sequence_2 ] ,
candidate_labels ,
None ,
128 ,
) ;

Producción:

 [
  [ Label { "politics", score: 0.972 }, Label { "public health", score: 0.032 }, Label {"economics", score: 0.006 }, Label {"sports", score: 0.004 } ],
  [ Label { "politics", score: 0.975 }, Label { "public health", score: 0.0818 }, Label {"economics", score: 0.852 }, Label {"sports", score: 0.001 } ],
]

7. Análisis de sentimiento

Predice el sentimiento binario de una oración. Modelo DistilBERT ajustado en SST-2.

    let sentiment_classifier = SentimentModel :: new ( Default :: default ( ) ) ? ;

let input = [
"Probably my all-time favorite movie, a story of selflessness, sacrifice and dedication to a noble cause, but it's not preachy or boring." ,
"This film tried to be too many things all at once: stinging political satire, Hollywood blockbuster, sappy romantic comedy, family values promo..." ,
"If you like original gut wrenching laughter you will like this movie. If you are young or old then you will love this movie, hell even my mom liked it." ,
] ;

let output = sentiment_classifier . predict ( & input ) ;

(Ejemplo cortesía de IMDb)

Producción:

 [
    Sentiment { polarity: Positive, score: 0.9981985493795946 },
    Sentiment { polarity: Negative, score: 0.9927982091903687 },
    Sentiment { polarity: Positive, score: 0.9997248985164333 }
]

8. Reconocimiento de entidad nombrada

Extrae entidades (Persona, Ubicación, Organización, Varios) del texto. BERT presentó un modelo grande ajustado en CoNNL03, aportado por el equipo de la Biblioteca Digital MDZ de la Biblioteca Estatal de Baviera. Actualmente hay modelos disponibles para inglés, alemán, español y holandés.

    let ner_model = NERModel :: new ( default :: default ( ) ) ? ;

let input = [
"My name is Amy. I live in Paris." ,
"Paris is a city in France."
] ;

let output = ner_model . predict ( & input ) ;

Producción:

 [
  [
    Entity { word: "Amy", score: 0.9986, label: "I-PER" }
    Entity { word: "Paris", score: 0.9985, label: "I-LOC" }
  ],
  [
    Entity { word: "Paris", score: 0.9988, label: "I-LOC" }
    Entity { word: "France", score: 0.9993, label: "I-LOC" }
  ]
]

9. Extracción de palabras clave/frases clave

Extraiga extracciones de palabras clave y frases clave de documentos de entrada

 fn main ( ) -> anyhow :: Result < ( ) > {
    let keyword_extraction_model = KeywordExtractionModel :: new ( Default :: default ( ) ) ? ;

    let input = "Rust is a multi-paradigm, general-purpose programming language. 
       Rust emphasizes performance, type safety, and concurrency. Rust enforces memory safety—that is, 
       that all references point to valid memory—without requiring the use of a garbage collector or 
       reference counting present in other memory-safe languages. To simultaneously enforce 
       memory safety and prevent concurrent data races, Rust's borrow checker tracks the object lifetime 
       and variable scope of all references in a program during compilation. Rust is popular for 
       systems programming but also offers high-level features including functional programming constructs." ;

    let output = keyword_extraction_model . predict ( & [ input ] ) ? ;
}

Producción:

 "rust" - 0.50910604
"programming" - 0.35731024
"concurrency" - 0.33825397
"concurrent" - 0.31229728
"program" - 0.29115444

10. Parte del etiquetado de voz

Extrae parte de las etiquetas de voz (sustantivo, verbo, adjetivo...) del texto.

    let pos_model = POSModel :: new ( default :: default ( ) ) ? ;

let input = [ "My name is Bob" ] ;

let output = pos_model . predict ( & input ) ;

Producción:

 [
    Entity { word: "My", score: 0.1560, label: "PRP" }
    Entity { word: "name", score: 0.6565, label: "NN" }
    Entity { word: "is", score: 0.3697, label: "VBZ" }
    Entity { word: "Bob", score: 0.7460, label: "NNP" }
]

11. Incorporaciones de oraciones

Generar incrustaciones de oraciones (representación vectorial). Estos se pueden utilizar para aplicaciones que incluyen la recuperación de información densa.

    let model = SentenceEmbeddingsBuilder :: remote (
SentenceEmbeddingsModelType :: AllMiniLmL12V2
) . create_model ( ) ? ;

let sentences = [
"this is an example sentence" ,
"each sentence is converted"
] ;

let output = model . encode ( & sentences ) ? ;

Producción:

 [
    [-0.000202666, 0.08148022, 0.03136178, 0.002920636 ...],
    [0.064757116, 0.048519745, -0.01786038, -0.0479775 ...]
]

12. Modelo de lenguaje enmascarado

Predecir palabras enmascaradas en oraciones de entrada.

    let model = MaskedLanguageModel :: new ( Default :: default ( ) ) ? ;

let sentences = [
"Hello I am a <mask> student" ,
"Paris is the <mask> of France. It is <mask> in Europe." ,
] ;

let output = model . predict ( & sentences ) ;

Producción:

 [
    [MaskedToken { text: "college", id: 2267, score: 8.091}],
    [
        MaskedToken { text: "capital", id: 3007, score: 16.7249}, 
        MaskedToken { text: "located", id: 2284, score: 9.0452}
    ]
]

Puntos de referencia

Para canalizaciones simples (clasificación de secuencias, clasificación de tokens, respuesta a preguntas), se espera que el rendimiento entre Python y Rust sea comparable. Esto se debe a que la parte más cara de estos procesos es el modelo de lenguaje en sí, que comparte una implementación común en el backend de Torch. Los canales de PNL de extremo a extremo en Rust proporcionan una sección de puntos de referencia que cubre todos los canales.

Para las tareas de generación de texto (resumen, traducción, conversación, generación de texto libre), se pueden esperar beneficios significativos (procesamiento de hasta 2 a 4 veces más rápido dependiendo de la entrada y la aplicación). El artículo Acelerar la generación de texto con Rust se centra en estas aplicaciones de generación de texto y proporciona más detalles sobre la comparación de rendimiento con Python.

Carga de pesos de modelos personalizados y previamente entrenados

El modelo base y los cabezales para tareas específicas también están disponibles para los usuarios que buscan exponer sus propios modelos basados ​​en transformadores. Hay ejemplos sobre cómo preparar la fecha utilizando una biblioteca Rust de tokenizadores nativos disponibles en ./examples para BERT, DistilBERT, RoBERTa, GPT, GPT2 y BART. Tenga en cuenta que al importar modelos desde Pytorch, la convención para la denominación de parámetros debe estar alineada con el esquema de Rust. La carga de los pesos previamente entrenados fallará si alguno de los pesos de los parámetros del modelo no se puede encontrar en los archivos de pesos. Si se va a omitir este control de calidad, se puede invocar un método alternativo load_partial desde el almacén de variables.

Los modelos previamente entrenados están disponibles en el centro de modelos de Hugging face y se pueden cargar usando RemoteResources definidos en esta biblioteca.

Se incluye un script de utilidad de conversión en ./utils para convertir pesos de Pytorch en un conjunto de pesos compatibles con esta biblioteca. Este script requiere la configuración de Python y torch