الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

Pytorch/XLA

حالة CI الحالية:

Pytorch/XLA هي حزمة Python التي تستخدم برنامج التحويل البرمجي التعليمي العميق XLA لتوصيل إطار التعلم العميق Pytorch و Cloud TPUs. يمكنك تجربتها الآن ، مجانًا ، على سحابة واحدة TPU VM مع Kaggle!

ألقِ نظرة على أحد أجهزة الكمبيوتر المحمولة الخاصة بنا للبدء:

  • انتشار مستقر مع Pytorch/XLA 2.0
  • موزعة Pytorch/XLA أساسيات

تثبيت

TPU

لتثبيت PYTORCH/XLA بناء مستقر في TPU VM جديد: 

 pip install torch~=2.5.0 torch_xla[tpu]~=2.5.0 -f https://storage.googleapis.com/libtpu-releases/index.html

لتثبيت Pytorch/XLA Nightly Build في TPU VM جديد: 

 pip3 install --pre torch torchvision --index-url https://download.pytorch.org/whl/nightly/cpu
pip install 'torch_xla[tpu] @ https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.6.0.dev-cp310-cp310-linux_x86_64.whl' -f https://storage.googleapis.com/libtpu-releases/index.html

البرنامج المساعد GPU

يوفر Pytorch/XLA الآن دعم وحدة معالجة الرسومات من خلال حزمة مكون إضافي مماثل لـ libtpu : 

 pip install torch~=2.5.0 torch_xla~=2.5.0 https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla_cuda_plugin-2.5.0-py3-none-any.whl

ابدء

لتحديث حلقة التدريب الحالية ، قم بإجراء التغييرات التالية: 

 - import torch.multiprocessing as mp
+ import torch_xla as xla
+ import torch_xla.core.xla_model as xm

 def _mp_fn(index):
   ...

+  # Move the model paramters to your XLA device
+  model.to(xla.device())

   for inputs, labels in train_loader:
+    with xla.step():
+      # Transfer data to the XLA device. This happens asynchronously.
+      inputs, labels = inputs.to(xla.device()), labels.to(xla.device())
       optimizer.zero_grad()
       outputs = model(inputs)
       loss = loss_fn(outputs, labels)
       loss.backward()
-      optimizer.step()
+      # `xm.optimizer_step` combines gradients across replicas
+      xm.optimizer_step(optimizer)

 if __name__ == '__main__':
-  mp.spawn(_mp_fn, args=(), nprocs=world_size)
+  # xla.launch automatically selects the correct world size
+  xla.launch(_mp_fn, args=())

إذا كنت تستخدم DistributedDataParallel ، فقم بإجراء التغييرات التالية: 

 import torch.distributed as dist
- import torch.multiprocessing as mp
+ import torch_xla as xla
+ import torch_xla.distributed.xla_backend

 def _mp_fn(rank):
   ...

-  os.environ['MASTER_ADDR'] = 'localhost'
-  os.environ['MASTER_PORT'] = '12355'
-  dist.init_process_group("gloo", rank=rank, world_size=world_size)
+  # Rank and world size are inferred from the XLA device runtime
+  dist.init_process_group("xla", init_method='xla://')
+
+  model.to(xm.xla_device())
+  # `gradient_as_bucket_view=True` required for XLA
+  ddp_model = DDP(model, gradient_as_bucket_view=True)

-  model = model.to(rank)
-  ddp_model = DDP(model, device_ids=[rank])

   for inputs, labels in train_loader:
+    with xla.step():
+      inputs, labels = inputs.to(xla.device()), labels.to(xla.device())
       optimizer.zero_grad()
       outputs = ddp_model(inputs)
       loss = loss_fn(outputs, labels)
       loss.backward()
       optimizer.step()

 if __name__ == '__main__':
-  mp.spawn(_mp_fn, args=(), nprocs=world_size)
+  xla.launch(_mp_fn, args=())

تتوفر معلومات إضافية عن Pytorch/XLA ، بما في ذلك وصف لدلالاتها ووظائفها ، على pytorch.org. راجع دليل API لأفضل الممارسات عند كتابة الشبكات التي تعمل على أجهزة XLA (TPU ، CUDA ، وحدة المعالجة المركزية و ...).

تتوفر أدلة المستخدم الشاملة لدينا على:

وثائق لأحدث إصدار

توثيق الفرع الرئيسي

دروس Pytorch/XLA

  • Cloud TPU VM QuickStart
  • سحابة TPU POD شريحة QuickStart
  • التنميط على TPU VM
  • دليل GPU

صور العجلات العجلة المتوفرة

حزم بيثون

ستتوفر إصدارات Pytorch/XLA بدءًا من الإصدار R2.1 على PYPI. يمكنك الآن تثبيت البناء الرئيسي مع pip install torch_xla . لتثبيت المكون الإضافي Cloud TPU المقابل لـ torch_xla المثبت ، قم بتثبيت تبعيات tpu الاختيارية بعد تثبيت البناء الرئيسي مع 

 pip install torch_xla[tpu] -f https://storage.googleapis.com/libtpu-releases/index.html

تتوفر GPU والبناء الليلي في دلو GCS العام.

إصدار عجلات GPU VM Cloud
2.5 (كودا 12.1 + بيثون 3.9) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp39-cp39-manylinux_2_28_x86_64.whl
2.5 (كودا 12.1 + بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.5 (كودا 12.1 + بيثون 3.11) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp311-cp311-manylinux_2_28_x86_64.whl
2.5 (كودا 12.4 + بيثون 3.9) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp39-cp39-manylinux_2_28_x86_64.whl
2.5 (كودا 12.4 + بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.5 (كودا 12.4 + بيثون 3.11) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp311-cp311-manylinux_2_28_x86_64.whl
ليلا (بيثون 3.8) https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.6.0.dev-cp38-cp38-linux_x86_64.whl
ليلا (بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.6.0.dev-cp310-cp310-linux_x86_64.whl
ليلا (كودا 12.1 + بيثون 3.8) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.6.0.dev-cp38-cp38-linux_x86_64.whl
استخدم البناء الليلي قبل 08/13/2024 يمكنك أيضًا إضافة `+yyyymmdd` بعد "torch_xla-nightly" للحصول على العجلة الليلية في تاريخ محدد. هنا مثال: 
 pip3 install torch==2.6.0.dev20240925+cpu --index-url https://download.pytorch.org/whl/nightly/cpu
pip3 install https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-nightly%2B20240925-cp310-cp310-linux_x86_64.whl

يمكن العثور على نسخة Torch Wheel 2.6.0.dev20240925+cpu على https://download.pytorch.org/whl/nightly/torch/.

استخدم البناء الليلي بعد 08/20/2024

يمكنك أيضًا إضافة yyyymmdd بعد torch_xla-2.6.0.dev للحصول على العجلة الليلية لتاريخ محدد. هنا مثال: 

 pip3 install torch==2.5.0.dev20240820+cpu --index-url https://download.pytorch.org/whl/nightly/cpu
pip3 install https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.5.0.dev20240820-cp310-cp310-linux_x86_64.whl

يمكن العثور على نسخة Torch Wheel 2.6.0.dev20240925+cpu على https://download.pytorch.org/whl/nightly/torch/.

إصدارات أقدم
إصدار عجلة سحابة TPU VMS
2.4 (بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.4.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.3 (بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.3.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.2 (بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.2.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.1 (XRT + Python 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/xrt/tpuvm/torch_xla-2.1.0%2Bxrt-cp310-cp310-manylinux_2_28_x86_64.whl
2.1 (بيثون 3.8) https://storage.googleapis.com/pytorch-xla-releases/wheels/tpuvm/torch_xla-2.1.0-cp38-cp38-linux_x86_64.whl

إصدار عجلة GPU
2.5 (كودا 12.1 + بيثون 3.9) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp39-cp39-manylinux_2_28_x86_64.whl
2.5 (كودا 12.1 + بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.5 (كودا 12.1 + بيثون 3.11) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.5.0-cp311-cp311-manylinux_2_28_x86_64.whl
2.5 (كودا 12.4 + بيثون 3.9) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp39-cp39-manylinux_2_28_x86_64.whl
2.5 (كودا 12.4 + بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.5 (كودا 12.4 + بيثون 3.11) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.4/torch_xla-2.5.0-cp311-cp311-manylinux_2_28_x86_64.whl
2.4 (كودا 12.1 + بيثون 3.9) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.4.0-cp39-cp39-manylinux_2_28_x86_64.whl
2.4 (كودا 12.1 + بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.4.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.4 (كودا 12.1 + بيثون 3.11) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.4.0-cp311-cp311-manylinux_2_28_x86_64.whl
2.3 (كودا 12.1 + بيثون 3.8) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.3.0-cp38-cp38-manylinux_2_28_x86_64.whl
2.3 (كودا 12.1 + بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.3.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.3 (كودا 12.1 + بيثون 3.11) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.3.0-cp311-cp311-manylinux_2_28_x86_64.whl
2.2 (كودا 12.1 + بيثون 3.8) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.2.0-cp38-cp38-manylinux_2_28_x86_64.whl
2.2 (كودا 12.1 + بيثون 3.10) https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.1/torch_xla-2.2.0-cp310-cp310-manylinux_2_28_x86_64.whl
2.1 + كودا 11.8 https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/11.8/torch_xla-2.1.0-cp38-cp38-manylinux_2_28_x86_64.whl
Nightly + Cuda 12.0> = 2023/06/27 https://storage.googleapis.com/pytorch-xla-releases/wheels/cuda/12.0/torch_xla-nightly-cp38-cp38-linux_x86_64.whl

عامل ميناء

إصدار Cloud TPU VMS Docker
2.5 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.5.0_3.10_tpuvm
2.4 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.4.0_3.10_tpuvm
2.3 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.3.0_3.10_tpuvm
2.2 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.2.0_3.10_tpuvm
2.1 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.1.0_3.10_tpuvm
بيثون الليلي us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:nightly_3.10_tpuvm

لاستخدام Dockers أعلاه ، يرجى تمرير --privileged --net host --shm-size=16G على طول. هنا مثال: 

docker run --privileged --net host --shm-size=16G -it us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:nightly_3.10_tpuvm /bin/bash

إصدار GPU CUDA 12.4 DOCKER
2.5 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.5.0_3.10_cuda_12.4
2.4 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.4.0_3.10_cuda_12.4

إصدار GPU CUDA 12.1 Docker
2.5 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.5.0_3.10_cuda_12.1
2.4 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.4.0_3.10_cuda_12.1
2.3 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.3.0_3.10_cuda_12.1
2.2 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.2.0_3.10_cuda_12.1
2.1 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.1.0_3.10_cuda_12.1
ليلا us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:nightly_3.8_cuda_12.1
ليلا في التاريخ us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:nightly_3.8_cuda_12.1_YYYYMMDD

إصدار GPU CUDA 11.8 + Docker
2.1 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.1.0_3.10_cuda_11.8
2.0 us-central1-docker.pkg.dev/tpu-pytorch-releases/docker/xla:r2.0_3.8_cuda_11.8

لتشغيل على مثيلات حساب مع وحدات معالجة الرسومات.

استكشاف الأخطاء وإصلاحها

إذا لم يكن أداء Pytorch/XLA كما هو متوقع ، راجع دليل استكشاف الأخطاء وإصلاحها ، والذي يحتوي على اقتراحات لتصحيح الأخطاء وتحسين شبكتك (شبكاتك).

توفير ردود الفعل

يسعد فريق Pytorch/XLA دائمًا أن يسمع من المستخدمين والمساهمين OSS! أفضل طريقة للتواصل مع تقديم مشكلة على هذا github. الأسئلة ، تقارير الأخطاء ، طلبات الميزات ، مشكلات البناء ، وما إلى ذلك كلها موضع ترحيب!

المساهمة

انظر دليل المساهمة.

تنصل

يتم تشغيل هذا المستودع بشكل مشترك من قبل Google و META وعدد من المساهمين الأفراد المدرجين في ملف المساهمين. للأسئلة الموجه إلى Meta ، يرجى إرسال بريد إلكتروني إلى [email protected]. للأسئلة الموجه إلى Google ، يرجى إرسال بريد إلكتروني إلى [email protected]. لجميع الأسئلة الأخرى ، يرجى فتح مشكلة في هذا المستودع هنا.

قراءات إضافية

يمكنك العثور على مواد قراءة مفيدة إضافية في

  • تصحيح الأداء على السحابة TPU VM
  • تنسور كسول مقدمة
  • تحجيم أعباء عمل التعلم العميق مع Pytorch / XLA و Cloud TPU VM
  • تحجيم نماذج pytorch على السحابة tpus مع FSDP

المشاريع ذات الصلة

  • OpenXla
  • luggingface
  • JetStream
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل