الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

JetStream عبارة عن محرك محسّن للذاكرة وذاكرة لاستنتاج LLM على أجهزة XLA.

عن

JetStream عبارة عن محرك محسّن للذاكرة وذاكرة لاستنتاج LLM على أجهزة XLA ، بدءًا من TPUs (و GPU في المستقبل - ترحيب PRS).

تنفيذ محرك JetStream

حاليًا ، هناك تطبيقان مرجعيان متاحان - أحدهما لنماذج Jax وآخر لنماذج Pytorch.

جاكس

  • GIT: https://github.com/google/maxtext

  • readme: https://github.com/google/jetstream/blob/main/docs/online-inference-with-maxtext-engine.md

Pytorch

  • GIT: https://github.com/google/jetstream-pytorch

  • readme: https://github.com/google/jetstream-pytorch/blob/main/readme.md

الوثائق

  • الاستدلال عبر الإنترنت مع MaxText على V5E Cloud TPU VM [README]

  • الاستدلال عبر الإنترنت مع Pytorch على V5e Cloud TPU VM [readMe]

  • خدمة Gemma باستخدام TPUs على GKE مع JetStream

  • مرجعية خادم JetStream

  • قابلية الملاحظة في خادم JetStream

  • التنميط في خادم JetStream

  • الإعداد المحلي المستقل JetStream

الإعداد المحلي المستقل JetStream

ابدء

يثبت 

make install-deps

قم بتشغيل الخادم المحلي والاختبار

استخدم الأوامر التالية لتشغيل خادم محليًا: 

# Start a server
python -m jetstream.core.implementations.mock.server

# Test local mock server
python -m jetstream.tools.requester

# Load test local mock server
python -m jetstream.tools.load_tester

اختبار الوحدات الأساسية 

# Test JetStream core orchestrator
python -m unittest -v jetstream.tests.core.test_orchestrator

# Test JetStream core server library
python -m unittest -v jetstream.tests.core.test_server

# Test mock JetStream engine implementation
python -m unittest -v jetstream.tests.engine.test_mock_engine

# Test mock JetStream token utils
python -m unittest -v jetstream.tests.engine.test_token_utils
python -m unittest -v jetstream.tests.engine.test_utils
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل