الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

الصدأ بيرت

حالة البناء

نماذج وخطوط الأنابيب الحديثة لمعالجة اللغات الطبيعية. مكتبة Port of Hugging Face's Transformers، باستخدام روابط tch-rs أو onnxruntime والمعالجة المسبقة من رموز الصدأ. يدعم الترميز متعدد الخيوط واستدلال GPU. يعرض هذا المستودع البنية الأساسية للنموذج والرؤوس الخاصة بالمهام (انظر أدناه) وخطوط الأنابيب الجاهزة للاستخدام. تتوفر المعايير في نهاية هذه الوثيقة.

ابدأ في تنفيذ المهام بما في ذلك الإجابة على الأسئلة، والتعرف على الكيانات المسماة، والترجمة، والتلخيص، وإنشاء النص، ووكلاء المحادثة، والمزيد في بضعة أسطر من التعليمات البرمجية: 

    let qa_model = QuestionAnsweringModel :: new ( Default :: default ( ) ) ? ;

let question = String :: from ( "Where does Amy live ?" ) ;
let context = String :: from ( "Amy lives in Amsterdam" ) ;

let answers = qa_model . predict ( & [ QaInput { question , context } ] , 1 , 32 ) ;

الإخراج: 

 [Answer { score: 0.9976, start: 13, end: 21, answer: "Amsterdam" }]

تشمل المهام المدعومة حاليًا ما يلي:

  • ترجمة
  • تلخيص
  • حوار متعدد المنعطفات
  • تصنيف صفر طلقة
  • تحليل المشاعر
  • التعرف على الكيان المسمى
  • جزء من علامات الكلام
  • سؤال وجواب
  • جيل اللغة
  • نموذج اللغة المقنعة
  • تضمينات الجملة
  • استخراج الكلمات الرئيسية
قم بالتوسيع لعرض مصفوفة النماذج/المهام المدعومة
تصنيف التسلسل تصنيف الرمز المميز إجابة السؤال توليد النص تلخيص ترجمة ملثمون إل إم تضمينات الجملة
ديستيلبيرت ✅ ✅ ✅ ✅ ✅
موبايل بيرت ✅ ✅ ✅ ✅
ديبيرتا ✅ ✅ ✅ ✅
ديبرتا (الإصدار الثاني) ✅ ✅ ✅ ✅
فنت ✅ ✅ ✅ ✅
بيرت ✅ ✅ ✅ ✅ ✅
روبرتا ✅ ✅ ✅ ✅ ✅
جي بي تي ✅
جي بي تي 2 ✅
جي بي تي-نيو ✅
جي بي تي-ي ✅
بارت ✅ ✅ ✅
ماريان ✅
مبارت ✅ ✅
M2M100 ✅
NLLB ✅
إلكترا ✅ ✅
ألبرت ✅ ✅ ✅ ✅ ✅
T5 ✅ ✅ ✅ ✅
LongT5 ✅ ✅
XLNet ✅ ✅ ✅ ✅ ✅
المصلح ✅ ✅ ✅ ✅
النبي نت ✅ ✅
منذ فترة طويلة ✅ ✅ ✅ ✅
بيغاسوس ✅

ابدء

تعتمد هذه المكتبة على صندوق tch للارتباطات بـ C++ Libtorch API. مكتبة libtorch مطلوبة ويمكن تنزيلها تلقائيًا أو يدويًا. يوفر ما يلي مرجعًا حول كيفية إعداد بيئتك لاستخدام هذه الارتباطات، يرجى الرجوع إلى tch للحصول على معلومات مفصلة أو دعم.

علاوة على ذلك، تعتمد هذه المكتبة على مجلد ذاكرة التخزين المؤقت لتنزيل النماذج المدربة مسبقًا. الموقع الافتراضي لذاكرة التخزين المؤقت هو ~/.cache/.rustbert ، ولكن يمكن تغييره عن طريق تعيين متغير البيئة RUSTBERT_CACHE . لاحظ أن نماذج اللغة التي تستخدمها هذه المكتبة تكون في حدود 100 ميجا بايت إلى جيجا بايت.

التثبيت اليدوي (مستحسن)

  1. قم بتنزيل libtorch من https://pytorch.org/get-started/locally/. تتطلب هذه الحزمة v2.4 : إذا لم يعد هذا الإصدار متاحًا في صفحة "البدء"، فيجب أن يكون الملف قابلاً للوصول عن طريق تعديل الرابط المستهدف، على سبيل المثال https://download.pytorch.org/libtorch/cu124/libtorch-cxx11-abi-shared-with-deps-2.4.0%2Bcu124.zip لإصدار Linux مع CUDA12. ملاحظة: عند استخدام rust-bert كتبعية من crates.io، يرجى التحقق من LIBTORCH المطلوب في الملف التمهيدي للحزمة المنشورة لأنه قد يختلف عن الإصدار الموثق هنا (ينطبق على إصدار المستودع الحالي).
  2. استخراج المكتبة إلى الموقع الذي تختاره
  3. قم بتعيين متغيرات البيئة التالية
لينكس: 
 export LIBTORCH=/path/to/libtorch
export LD_LIBRARY_PATH= ${LIBTORCH} /lib: $LD_LIBRARY_PATH
ويندوز 
 $ Env: LIBTORCH = " X:pathtolibtorch "
$ Env: Path += " ;X:pathtolibtorchlib "

ماك + البيرة 

brew install pytorch jq
export LIBTORCH= $( brew --cellar pytorch ) / $( brew info --json pytorch | jq -r ' .[0].installed[0].version ' )
export LD_LIBRARY_PATH= ${LIBTORCH} /lib: $LD_LIBRARY_PATH

التثبيت التلقائي

وبدلاً من ذلك، يمكنك السماح لبرنامج build النصي بتنزيل مكتبة libtorch تلقائيًا نيابةً عنك. يجب تمكين علامة ميزة download-libtorch . سيتم تنزيل إصدار وحدة المعالجة المركزية من libtorch افتراضيًا. لتنزيل إصدار CUDA، برجاء ضبط متغير البيئة TORCH_CUDA_VERSION على cu124 . لاحظ أن مكتبة libtorch كبيرة (ترتيب عدة غيغابايت للإصدار الذي يدعم CUDA) وبالتالي قد يستغرق البناء الأول عدة دقائق حتى يكتمل.

التحقق من التثبيت

تحقق من التثبيت (والربط مع libtorch) عن طريق إضافة تبعية rust-bert إلى Cargo.toml الخاص بك أو عن طريق استنساخ مصدر Rust-bert وتشغيل مثال: 

git clone [email protected]:guillaume-be/rust-bert.git
cd rust-bert
cargo run --example sentence_embeddings

دعم ONNX (اختياري)

يمكن تمكين دعم ONNX عبر ميزة onnx الاختيارية. يقوم هذا الصندوق بعد ذلك بتعزيز صندوق ort من خلال الارتباطات بمكتبة onnxruntime C++. نحيل المستخدم إلى مشروع الصفحة هذا للحصول على مزيد من تعليمات/دعم التثبيت.

  1. تمكين ميزة onnx الاختيارية. لا يتضمن صندوق rust-bert أي تبعيات اختيارية لـ ort ، ويجب على المستخدم النهائي تحديد مجموعة الميزات التي ستكون كافية لسحب مكتبة onnxruntime C++ المطلوبة.
  2. التثبيت الحالي الموصى به هو استخدام الارتباط الديناميكي من خلال الإشارة إلى موقع مكتبة موجود. استخدم ميزة التحميل load-dynamic لـ ort .
  3. قم بتعيين ORT_DYLIB_PATH للإشارة إلى موقع مكتبة onnxruntime التي تم تنزيلها ( onnxruntime.dll / libonnxruntime.so / libonnxruntime.dylib اعتمادًا على نظام التشغيل). يمكن تنزيلها من صفحة إصدار مشروع onnxruntime

يتم دعم معظم البنيات (بما في ذلك أجهزة التشفير وأجهزة فك التشفير وأجهزة فك التشفير). تهدف المكتبة إلى الحفاظ على التوافق مع النماذج المصدرة باستخدام مكتبة Optimum. يتوفر دليل مفصل حول كيفية تصدير نموذج Transformer إلى ONNX باستخدام Optimum على https://huggingface.co/docs/optimum/main/en/exporters/onnx/usage_guides/export_a_model الموارد المستخدمة لإنشاء نماذج ONNX مشابهة لـ تلك القائمة على Pytorch، لتحل محل pytorch بنموذج ONNX. نظرًا لأن نماذج ONNX أقل مرونة من نظيراتها في Pytorch في التعامل مع الوسائط الاختيارية، فإن تصدير نموذج وحدة فك التشفير أو وحدة فك التشفير إلى ONNX سيؤدي عادةً إلى ملفات متعددة. من المتوقع استخدام هذه الملفات (ولكن ليست كلها ضرورية) في هذه المكتبة حسب الجدول أدناه:

بنيان ملف التشفير فك دون ملف الماضي فك مع الملف الماضي
التشفير (على سبيل المثال بيرت) مطلوب غير مستخدم غير مستخدم
وحدة فك التشفير (مثل GPT2) غير مستخدم مطلوب خياري
التشفير-فك التشفير (مثل BART) مطلوب مطلوب خياري

لاحظ أن الكفاءة الحسابية ستنخفض عندما يكون decoder with past اختياريًا ولكن غير متوفر لأن النموذج لن يستخدم المفاتيح والقيم السابقة المخزنة مؤقتًا لآلية الانتباه، مما يؤدي إلى عدد كبير من الحسابات الزائدة عن الحاجة. توفر مكتبة Optimum خيارات تصدير لضمان إنشاء decoder with past . تتوفر بنية نموذج التشفير ووحدة فك التشفير الأساسية (ومعروضة للراحة) في وحدات encoder ووحدة decoder ، على التوالي.

تتوفر نماذج التوليد (وحدة فك التشفير الخالصة أو معمارية التشفير/وحدة فك التشفير) في وحدة models . تتوفر معظم خطوط الأنابيب لنقاط التفتيش لنموذج ONNX، بما في ذلك تصنيف التسلسل، وتصنيف اللقطة الصفرية، وتصنيف الرمز المميز (بما في ذلك التعرف على الكيان المسمى ووضع علامات على جزء من الكلام)، والإجابة على الأسئلة، وإنشاء النص، والتلخيص والترجمة. تستخدم هذه النماذج نفس ملفات التكوين والرمز المميز مثل نظيراتها في Pytorch عند استخدامها في خط أنابيب. توجد أمثلة للاستفادة من نماذج ONNX في الدليل ./examples

خطوط الأنابيب الجاهزة للاستخدام

استنادًا إلى خطوط أنابيب Hugging Face، تتوفر خطوط أنابيب البرمجة اللغوية العصبية (NLP) الجاهزة للاستخدام من طرف إلى طرف كجزء من هذا الصندوق. الإمكانيات التالية متاحة حاليًا:

إخلاء المسؤولية المساهمون في هذا المستودع ليسوا مسؤولين عن أي جيل من استخدام الطرف الثالث للأنظمة المدربة مسبقًا المقترحة هنا.

1. الإجابة على الأسئلة

سؤال استخراجي يجيب من سؤال وسياق معين. تم ضبط نموذج DistilBERT على SQuAD (مجموعة بيانات الإجابة على الأسئلة في جامعة ستانفورد) 

    let qa_model = QuestionAnsweringModel :: new ( Default :: default ( ) ) ? ;

let question = String :: from ( "Where does Amy live ?" ) ;
let context = String :: from ( "Amy lives in Amsterdam" ) ;

let answers = qa_model . predict ( & [ QaInput { question , context } ] , 1 , 32 ) ;

الإخراج: 

 [Answer { score: 0.9976, start: 13, end: 21, answer: "Amsterdam" }]
2. الترجمة

خط أنابيب الترجمة يدعم مجموعة واسعة من اللغات المصدر والهدف. يستفيد من بنيتين رئيسيتين لمهام الترجمة:

  • النماذج المستندة إلى ماريان، لمجموعات محددة من المصدر/الهدف
  • تسمح نماذج M2M100 بالترجمة المباشرة بين 100 لغة (بتكلفة حسابية أعلى وأداء أقل لبعض اللغات المحددة)

تتوفر النماذج المدربة مسبقًا المستندة إلى Marian للأزواج اللغوية التالية بسهولة في المكتبة - ولكن يمكن للمستخدم استيراد أي نموذج قائم على Pytorch للتنبؤات

  • الإنجليزية <-> الفرنسية
  • الإنجليزية <-> الإسبانية
  • الإنجليزية <-> البرتغالية
  • الإنجليزية <-> الإيطالية
  • الإنجليزية <-> الكاتالونية
  • الإنجليزية <-> الألمانية
  • الإنجليزية <-> الروسية
  • الإنجليزية <-> الصينية
  • الإنجليزية <-> الهولندية
  • الإنجليزية <-> السويدية
  • الإنجليزية <-> العربية
  • الإنجليزية <-> العبرية
  • الإنجليزية <-> الهندية
  • الفرنسية <-> الألمانية

بالنسبة للغات غير المدعومة بواسطة نماذج Marian المدربة مسبقًا المقترحة، يمكن للمستخدم الاستفادة من نموذج M2M100 الذي يدعم الترجمة المباشرة بين 100 لغة (بدون ترجمة إنجليزية وسيطة) القائمة الكاملة للغات المدعومة متاحة في وثائق الصندوق 

 use rust_bert :: pipelines :: translation :: { Language , TranslationModelBuilder } ;
fn main ( ) -> anyhow :: Result < ( ) > {
    let model = TranslationModelBuilder :: new ( )
        . with_source_languages ( vec ! [ Language :: English ] )
        . with_target_languages ( vec ! [ Language :: Spanish , Language :: French , Language :: Italian ] )
        . create_model ( ) ? ;
    let input_text = "This is a sentence to be translated" ;
    let output = model . translate ( & [ input_text ] , None , Language :: French ) ? ;
    for sentence in output {
        println ! ( "{}" , sentence ) ;
    }
    Ok ( ( ) )
}

الإخراج: 

 Il s'agit d'une phrase à traduire
3. التلخيص

التلخيص التجريدي باستخدام نموذج BART المُدرب مسبقًا. 

    let summarization_model = SummarizationModel :: new ( Default :: default ( ) ) ? ;

let input = [ "In findings published Tuesday in Cornell University's arXiv by a team of scientists 
from the University of Montreal and a separate report published Wednesday in Nature Astronomy by a team 
from University College London (UCL), the presence of water vapour was confirmed in the atmosphere of K2-18b, 
a planet circling a star in the constellation Leo. This is the first such discovery in a planet in its star's 
habitable zone — not too hot and not too cold for liquid water to exist. The Montreal team, led by Björn Benneke, 
used data from the NASA's Hubble telescope to assess changes in the light coming from K2-18b's star as the planet 
passed between it and Earth. They found that certain wavelengths of light, which are usually absorbed by water, 
weakened when the planet was in the way, indicating not only does K2-18b have an atmosphere, but the atmosphere 
contains water in vapour form. The team from UCL then analyzed the Montreal team's data using their own software 
and confirmed their conclusion. This was not the first time scientists have found signs of water on an exoplanet, 
but previous discoveries were made on planets with high temperatures or other pronounced differences from Earth. 
" This is the first potentially habitable planet where the temperature is right and where we now know there is water, " 
said UCL astronomer Angelos Tsiaras. " It's the best candidate for habitability right now. " " It's a good sign " , 
said Ryan Cloutier of the Harvard–Smithsonian Center for Astrophysics, who was not one of either study's authors. 
" Overall, " he continued, " the presence of water in its atmosphere certainly improves the prospect of K2-18b being 
a potentially habitable planet, but further observations will be required to say for sure. "
K2-18b was first identified in 2015 by the Kepler space telescope. It is about 110 light-years from Earth and larger 
but less dense. Its star, a red dwarf, is cooler than the Sun, but the planet's orbit is much closer, such that a year 
on K2-18b lasts 33 Earth days. According to The Guardian, astronomers were optimistic that NASA's James Webb space 
telescope — scheduled for launch in 2021 — and the European Space Agency's 2028 ARIEL program, could reveal more 
about exoplanets like K2-18b." ] ;

let output = summarization_model . summarize ( & input ) ;

(مثال من: ويكي الأخبار)

الإخراج: 

 "Scientists have found water vapour on K2-18b, a planet 110 light-years from Earth. 
This is the first such discovery in a planet in its star's habitable zone. 
The planet is not too hot and not too cold for liquid water to exist."
4. نموذج الحوار

نموذج المحادثة يعتمد على DialoGPT من Microsoft. يسمح خط الأنابيب هذا بإنشاء محادثات فردية أو متعددة الأدوار بين الإنسان والنموذج. تنص صفحة DialoGPT على ذلك

تشير نتائج التقييم البشري إلى أن الاستجابة الناتجة عن DialoGPT قابلة للمقارنة بجودة الاستجابة البشرية في إطار اختبار تورينج للمحادثة المنفردة. (مستودع DialoGPT)

يستخدم النموذج ConversationManager لتتبع المحادثات النشطة وإنشاء ردود عليها. 

 use rust_bert :: pipelines :: conversation :: { ConversationModel , ConversationManager } ;

let conversation_model = ConversationModel :: new ( Default :: default ( ) ) ;
let mut conversation_manager = ConversationManager :: new ( ) ;

let conversation_id = conversation_manager . create ( "Going to the movies tonight - any suggestions?" ) ;
let output = conversation_model . generate_responses ( & mut conversation_manager ) ;

مثال الإخراج: 

 "The Big Lebowski."
5. توليد اللغة الطبيعية

إنشاء لغة بناءً على الموجه. يتوفر GPT2 وGPT كنماذج أساسية. تشمل تقنيات مثل البحث عن الشعاع وأخذ عينات من النواة والنواة وتحديد درجة الحرارة وعقوبة التكرار. يدعم توليد دفعة من الجمل من عدة مطالبات. سيتم حشو التسلسلات على اليسار برمز الحشو المميز للنموذج إذا كان موجودًا، والرمز غير المعروف بخلاف ذلك. قد يؤثر هذا على النتائج، لذا يوصى بإرسال مطالبات ذات طول مماثل للحصول على أفضل النتائج 

    let model = GPT2Generator :: new ( Default :: default ( ) ) ? ;

let input_context_1 = "The dog" ;
let input_context_2 = "The cat was" ;

let generate_options = GenerateOptions {
max_length : 30 ,
.. Default :: default ( )
} ;

let output = model . generate ( Some ( & [ input_context_1 , input_context_2 ] ) , generate_options ) ;

مثال الإخراج: 

 [
    "The dog's owners, however, did not want to be named. According to the lawsuit, the animal's owner, a 29-year"
    "The dog has always been part of the family. "He was always going to be my dog and he was always looking out for me"
    "The dog has been able to stay in the home for more than three months now. "It's a very good dog. She's"
    "The cat was discovered earlier this month in the home of a relative of the deceased. The cat's owner, who wished to remain anonymous,"
    "The cat was pulled from the street by two-year-old Jazmine."I didn't know what to do," she said"
    "The cat was attacked by two stray dogs and was taken to a hospital. Two other cats were also injured in the attack and are being treated."
]
6. تصنيف الصفر

ينفذ تصنيفًا صفريًا على جمل الإدخال باستخدام التسميات المقدمة باستخدام نموذج تم ضبطه بدقة لاستدلال اللغة الطبيعية. 

    let sequence_classification_model = ZeroShotClassificationModel :: new ( Default :: default ( ) ) ? ;

let input_sentence = "Who are you voting for in 2020?" ;
let input_sequence_2 = "The prime minister has announced a stimulus package which was widely criticized by the opposition." ;
let candidate_labels = & [ "politics" , "public health" , "economics" , "sports" ] ;

let output = sequence_classification_model . predict_multilabel (
& [ input_sentence , input_sequence_2 ] ,
candidate_labels ,
None ,
128 ,
) ;

الإخراج: 

 [
  [ Label { "politics", score: 0.972 }, Label { "public health", score: 0.032 }, Label {"economics", score: 0.006 }, Label {"sports", score: 0.004 } ],
  [ Label { "politics", score: 0.975 }, Label { "public health", score: 0.0818 }, Label {"economics", score: 0.852 }, Label {"sports", score: 0.001 } ],
]
7. تحليل المشاعر

يتنبأ بالمشاعر الثنائية للجملة. تم ضبط نموذج DistilBERT على SST-2. 

    let sentiment_classifier = SentimentModel :: new ( Default :: default ( ) ) ? ;

let input = [
"Probably my all-time favorite movie, a story of selflessness, sacrifice and dedication to a noble cause, but it's not preachy or boring." ,
"This film tried to be too many things all at once: stinging political satire, Hollywood blockbuster, sappy romantic comedy, family values promo..." ,
"If you like original gut wrenching laughter you will like this movie. If you are young or old then you will love this movie, hell even my mom liked it." ,
] ;

let output = sentiment_classifier . predict ( & input ) ;

(مثال من IMDb)

الإخراج: 

 [
    Sentiment { polarity: Positive, score: 0.9981985493795946 },
    Sentiment { polarity: Negative, score: 0.9927982091903687 },
    Sentiment { polarity: Positive, score: 0.9997248985164333 }
]
8. التعرف على الكيان المسمى

استخراج الكيانات (الشخص، الموقع، المنظمة، المتنوعة) من النص. قام BERT بتغليف نموذج كبير تم ضبطه بدقة على CoNNL03، ساهم به فريق مكتبة MDZ الرقمية في مكتبة ولاية بافاريا. النماذج متاحة حاليًا باللغات الإنجليزية والألمانية والإسبانية والهولندية. 

    let ner_model = NERModel :: new ( default :: default ( ) ) ? ;

let input = [
"My name is Amy. I live in Paris." ,
"Paris is a city in France."
] ;

let output = ner_model . predict ( & input ) ;

الإخراج: 

 [
  [
    Entity { word: "Amy", score: 0.9986, label: "I-PER" }
    Entity { word: "Paris", score: 0.9985, label: "I-LOC" }
  ],
  [
    Entity { word: "Paris", score: 0.9988, label: "I-LOC" }
    Entity { word: "France", score: 0.9993, label: "I-LOC" }
  ]
]
9. استخراج الكلمات الرئيسية/العبارات الرئيسية

استخراج الكلمات الرئيسية والعبارات الرئيسية من وثائق الإدخال 

 fn main ( ) -> anyhow :: Result < ( ) > {
    let keyword_extraction_model = KeywordExtractionModel :: new ( Default :: default ( ) ) ? ;

    let input = "Rust is a multi-paradigm, general-purpose programming language. 
       Rust emphasizes performance, type safety, and concurrency. Rust enforces memory safety—that is, 
       that all references point to valid memory—without requiring the use of a garbage collector or 
       reference counting present in other memory-safe languages. To simultaneously enforce 
       memory safety and prevent concurrent data races, Rust's borrow checker tracks the object lifetime 
       and variable scope of all references in a program during compilation. Rust is popular for 
       systems programming but also offers high-level features including functional programming constructs." ;

    let output = keyword_extraction_model . predict ( & [ input ] ) ? ;
}

الإخراج: 

 "rust" - 0.50910604
"programming" - 0.35731024
"concurrency" - 0.33825397
"concurrent" - 0.31229728
"program" - 0.29115444
10. جزء من وضع علامات على الكلام

استخراج جزء من علامات الكلام (الاسم، الفعل، الصفة...) من النص. 

    let pos_model = POSModel :: new ( default :: default ( ) ) ? ;

let input = [ "My name is Bob" ] ;

let output = pos_model . predict ( & input ) ;

الإخراج: 

 [
    Entity { word: "My", score: 0.1560, label: "PRP" }
    Entity { word: "name", score: 0.6565, label: "NN" }
    Entity { word: "is", score: 0.3697, label: "VBZ" }
    Entity { word: "Bob", score: 0.7460, label: "NNP" }
]
11. تضمينات الجملة

توليد تضمينات الجملة (تمثيل المتجهات). يمكن استخدامها للتطبيقات بما في ذلك استرجاع المعلومات الكثيفة. 

    let model = SentenceEmbeddingsBuilder :: remote (
SentenceEmbeddingsModelType :: AllMiniLmL12V2
) . create_model ( ) ? ;

let sentences = [
"this is an example sentence" ,
"each sentence is converted"
] ;

let output = model . encode ( & sentences ) ? ;

الإخراج: 

 [
    [-0.000202666, 0.08148022, 0.03136178, 0.002920636 ...],
    [0.064757116, 0.048519745, -0.01786038, -0.0479775 ...]
]
12. نموذج اللغة المقنعة

توقع الكلمات المقنعة في جمل الإدخال. 

    let model = MaskedLanguageModel :: new ( Default :: default ( ) ) ? ;

let sentences = [
"Hello I am a <mask> student" ,
"Paris is the <mask> of France. It is <mask> in Europe." ,
] ;

let output = model . predict ( & sentences ) ;

الإخراج: 

 [
    [MaskedToken { text: "college", id: 2267, score: 8.091}],
    [
        MaskedToken { text: "capital", id: 3007, score: 16.7249}, 
        MaskedToken { text: "located", id: 2284, score: 9.0452}
    ]
]

المعايير

بالنسبة لخطوط الأنابيب البسيطة (تصنيف التسلسل، تصنيف الرموز المميزة، الإجابة على الأسئلة) من المتوقع أن يكون الأداء بين Python وRust قابلاً للمقارنة. وذلك لأن الجزء الأكثر تكلفة في هذه المسارات هو نموذج اللغة نفسه، حيث يتقاسم تنفيذًا مشتركًا في الواجهة الخلفية لـ Torch. توفر خطوط أنابيب البرمجة اللغوية العصبية (NLP) الشاملة في Rust قسمًا للمعايير يغطي جميع خطوط الأنابيب.

بالنسبة لمهام إنشاء النص (التلخيص، والترجمة، والمحادثة، وإنشاء نص مجاني)، يمكن توقع فوائد كبيرة (معالجة أسرع بما يصل إلى 2 إلى 4 مرات اعتمادًا على الإدخال والتطبيق). تركز المقالة تسريع إنشاء النص باستخدام Rust على تطبيقات إنشاء النص هذه وتوفر مزيدًا من التفاصيل حول مقارنة الأداء مع Python.

تحميل أوزان النماذج المُدربة مسبقًا والمخصصة

يتوفر أيضًا النموذج الأساسي والرؤوس الخاصة بالمهمة للمستخدمين الذين يتطلعون إلى الكشف عن نماذجهم القائمة على المحولات. تتوفر أمثلة حول كيفية إعداد التاريخ باستخدام أدوات الرموز المميزة الأصلية في مكتبة Rust./ ./examples لـ BERT وDistilBERT وRoBERTa وGPT وGPT2 وBART. لاحظ أنه عند استيراد النماذج من Pytorch، يجب أن تتماشى اتفاقية تسمية المعلمات مع مخطط Rust. سوف يفشل تحميل الأوزان المدربة مسبقًا إذا تعذر العثور على أي من أوزان معلمات النموذج في ملفات الوزن. إذا تم تخطي فحص الجودة هذا، فيمكن استدعاء طريقة بديلة load_partial من مخزن المتغيرات.

تتوفر النماذج المدربة مسبقًا على مركز نماذج Huggingface ويمكن تحميلها باستخدام RemoteResources المحددة في هذه المكتبة.

تم تضمين برنامج نصي لأداة التحويل في ./utils لتحويل أوزان Pytorch إلى مجموعة من الأوزان المتوافقة مع هذه المكتبة. يتطلب هذا البرنامج النصي إعداد Python و torch

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل