الذهاب معانقة الوجه

go-huggingface ، قم بتنزيل النماذج وتحويلها إلى رموز مميزة من HuggingFace.

ملخص

واجهات برمجة التطبيقات البسيطة للتنزيل ( hub )، والترميز ( tokenizers )، وتحويل نموذج ( العمل المستقبلي ) ( models ) HuggingFace؟ النماذج باستخدام GoMLX.

تجريبية وقيد التطوير : على الرغم من أن الحزمة hub كانت مستقرة، إلا أن tokenizers models المستقبلية لا تزال قيد التطوير المكثف.

أمثلة

الديباجة: الواردات والمتغيرات

 import ("github.com/gomlx/go-huggingface/hub""github.com/gomlx/go-huggingface/tokenizers")var ( // معرفات النماذج للاختبار.hfModelIDs = []string{ "google/gemma-2" -2b-it"، "محولات الجملة/all-MiniLM-L6-v2"، "protectai/deberta-v3-base-zeroshot-v1-onnx"، "KnightsAnalytics/distilbert-base-uncased-finetuned-sst-2-english"، "KnightsAnalytics/distilbert-NER"، "SamLowe/roberta-base-go_emotions -onnx"،
	} hfAuthToken = os.Getenv("HF_TOKEN") // أنشئ رمز مصادقة HuggingFace الخاص بك في Huggingface.co، للسماح بتنزيل النماذج.)

قائمة الملفات لكل نموذج

 for _, modelID := range hfModelIDs { fmt.Printf("n%s:n", modelID) repo := hub.New(modelID).WithAuth(hfAuthToken) for fileName, err := range repo.IterFileNames() { إذا أخطأت != nil { الذعر(يخطئ) } fmt.Printf("t%sn"، اسم الملف)
	}
}

قائمة فئات الرمز المميز لكل نموذج

 for _, modelID := range hfModelIDs { fmt.Printf("n%s:n", modelID) repo := hub.New(modelID).WithAuth(hfAuthToken) config, err := tokenizers.GetConfig(repo) إذا أخطأت != nil { الذعر(يخطئ) } fmt.Printf("ttokenizer_class=%sn", التكوين.TokenizerClass)
}

رمز مميز لـ google/gemma-2-2b-it

• تظهر رسالة الإخراج "تم التنزيل" فقط، ولم يتم تخزين ملف الرمز المميز مؤقتًا بعد، لذا في المرة الأولى فقط:

 الريبو := hub.New("google/gemma-2-2b-it").WithAuth(hfAuthToken)tokenizer, err := tokenizers.New(repo)if err != nil { Panic(err) }sentence := " الكتاب على الطاولة."الرموز := tokenizer.Encode(sentence)fmt.Printf("Sentence:t%sn"، جملة)fmt.Printf("Tokens: t%vn"، الرموز المميزة) 

Downloaded 1/1 files, 4.2 MB downloaded         
Sentence:	The book is on the table.
Tokens:  	[651 2870 603 611 573 3037 235265]

قم بتنزيل وتنفيذ نموذج ONNX sentence-transformers/all-MiniLM-L6-v2

الأسطر الثلاثة الأولى فقط هي التي تعرض فعليًا go-huggingface . تستخدم الأسطر المتبقية github.com/gomlx/onnx-gomlx لتحليل نموذج ONNX وتحويله إلى GoMLX، ثم github.com/gomlx/gomlx لتنفيذ النموذج المحول لبضع جمل.

 // احصل على ONNX model.repo := hub.New("sentence-transformers/all-MiniLM-L6-v2").WithAuth(hfAuthToken)onnxFilePath, err := repo.DownloadFile("onnx/model.onnx")if err != nil { Panic(err) }onnxModel, err := onnx.ReadFile(onnxFilePath)if err != nil { Panic(err) }// تحويل متغيرات ONNX إلى سياق GoMLX (الذي يخزن المتغيرات):ctx := context.New()err = onnxModel.VariablesToContext(ctx)if err ! = nil { الذعر(يخطئ) }// اختبار input.sentences := []string{ "هذه جملة نموذجية"، "يتم تحويل كل جملة"}inputIDs := [][]int64{
	{101، 2023، 2003، 2019، 2742، 6251، 102}،
	{ 101, 2169, 6251, 2003, 4991, 102, 0}}tokenTypeIDs := [][]int64{
	{0، 0، 0، 0، 0، 0، 0}،
	{0, 0, 0, 0, 0, 0, 0}}attentionMask := [][]int64{
	{1، 1، 1، 1، 1، 1، 1}،
	{1, 1, 1, 1, 1, 1, 0}}// تنفيذ الرسم البياني GoMLX باستخدام model.embeddings := context.ExecOnce( backends.New(), ctx, func (ctx *context.Context, inputs [] *graph.Node) *graph.Node { modelOutputs := onnxModel.CallGraph(ctx, inputs[0].Graph(), Map[string]*graph.Node{ "input_ids": inputs[0], "attention_mask": inputs[1], "token_type_ids": inputs[2]}) return modelOutputs[0 ]
	},
	 معرفات الإدخال، قناع الاهتمام، معرفات tokenTypeIDs)fmt.Printf("الجمل: t%qn"، الجمل)fmt.Printf("التضمينات:t%sn"، التضمينات) 

Sentences: 	["This is an example sentence" "Each sentence is converted"]
Embeddings:	[2][7][384]float32{
 {{0.0366, -0.0162, 0.1682, ..., 0.0554, -0.1644, -0.2967},
  {0.7239, 0.6399, 0.1888, ..., 0.5946, 0.6206, 0.4897},
  {0.0064, 0.0203, 0.0448, ..., 0.3464, 1.3170, -0.1670},
  ...,
  {0.1479, -0.0643, 0.1457, ..., 0.8837, -0.3316, 0.2975},
  {0.5212, 0.6563, 0.5607, ..., -0.0399, 0.0412, -1.4036},
  {1.0824, 0.7140, 0.3986, ..., -0.2301, 0.3243, -1.0313}},
 {{0.2802, 0.1165, -0.0418, ..., 0.2711, -0.1685, -0.2961},
  {0.8729, 0.4545, -0.1091, ..., 0.1365, 0.4580, -0.2042},
  {0.4752, 0.5731, 0.6304, ..., 0.6526, 0.5612, -1.3268},
  ...,
  {0.6113, 0.7920, -0.4685, ..., 0.0854, 1.0592, -0.2983},
  {0.4115, 1.0946, 0.2385, ..., 0.8984, 0.3684, -0.7333},
  {0.1374, 0.5555, 0.2678, ..., 0.5426, 0.4665, -0.5284}}}