pelaksana

EksekusiTorch

ExecuTorch adalah solusi menyeluruh untuk mengaktifkan kemampuan inferensi pada perangkat di seluruh perangkat seluler dan edge termasuk perangkat yang dapat dikenakan, perangkat tertanam, dan mikrokontroler. Ini adalah bagian dari ekosistem PyTorch Edge dan memungkinkan penerapan model PyTorch secara efisien ke perangkat edge.

Proposisi nilai utama ExecuTorch adalah:

• Portabilitas: Kompatibilitas dengan beragam platform komputasi, mulai dari ponsel kelas atas hingga sistem tertanam dan mikrokontroler yang sangat terbatas.
• Produktivitas: Memungkinkan pengembang untuk menggunakan rantai alat dan Alat Pengembang yang sama mulai dari pembuatan dan konversi model PyTorch, hingga debugging dan penerapan ke berbagai platform.
• Performa: Memberikan pengalaman mulus dan berkinerja tinggi kepada pengguna akhir karena runtime yang ringan dan memanfaatkan kemampuan perangkat keras penuh seperti CPU, NPU, dan DSP.

Untuk gambaran teknis komprehensif tentang ExecuTorch dan tutorial langkah demi langkah, silakan kunjungi situs web dokumentasi kami untuk rilis terbaru (atau cabang utama).

Lihat halaman Memulai untuk melihat sekilas.

Lihat contoh Llama, Llava, dan model lain yang berjalan pada perangkat edge menggunakan ExecuTorch.

[PEMBARUAN - 24/10] Kami telah menambahkan dukungan untuk menjalankan model Llama 3.2 Quantized 1B/3B melalui ExecuTorch.

Masukan

Kami menyambut masukan, saran, dan laporan bug dari komunitas untuk membantu kami meningkatkan teknologi kami. Silakan gunakan Forum PyTorch untuk diskusi dan masukan tentang ExecuTorch menggunakan kategori ExecuTorch , dan repositori GitHub kami untuk pelaporan bug.

Kami merekomendasikan penggunaan tag rilis terbaru dari halaman Rilis saat mengembangkan.

Berkontribusi

Lihat CONTRIBUTING.md untuk detail tentang masalah, PR, gaya kode, pekerjaan CI, dan topik pengembangan lainnya.

Untuk terhubung dengan kami dan anggota komunitas lainnya, kami mengundang Anda untuk bergabung dengan komunitas PyTorch Slack dengan mengisi formulir ini. Setelah bergabung, Anda dapat:

• Kunjungi saluran #executorch-general untuk pertanyaan umum, diskusi, dan dukungan komunitas.
• Bergabunglah dengan saluran #executorch-contributors jika Anda tertarik berkontribusi langsung pada pengembangan proyek.

Struktur Direktori

 executorch
├── backends                        #  Backend delegate implementations.
├── build                           #  Utilities for managing the build system.
├── codegen                         #  Tooling to autogenerate bindings between kernels and the runtime.
├── configurations
├── docs                            #  Static docs tooling.
├── examples                        #  Examples of various user flows, such as model export, delegates, and runtime execution.
├── exir                            #  Ahead-of-time library: model capture and lowering APIs.
|   ├── _serialize                  #  Serialize final export artifact.
|   ├── backend                     #  Backend delegate ahead of time APIs
|   ├── capture                     #  Program capture.
|   ├── dialects                    #  Op sets for various dialects in the export process.
|   ├── emit                        #  Conversion from ExportedProgram to ExecuTorch execution instructions.
|   ├── operator                    #  Operator node manipulation utilities.
|   ├── passes                      #  Built-in compiler passes.
|   ├── program                     #  Export artifacts.
|   ├── serde                       #  Graph module
serialization/deserialization.
|   ├── verification                #  IR verification.
├── extension                       #  Extensions built on top of the runtime.
|   ├── android                     #  ExecuTorch wrappers for Android apps.
|   ├── apple                       #  ExecuTorch wrappers for iOS apps.
|   ├── aten_util                   #  Converts to and from PyTorch ATen types.
|   ├── data_loader                 #  1st party data loader implementations.
|   ├── evalue_util                 #  Helpers for working with EValue objects.
|   ├── gguf_util                   #  Tools to convert from the GGUF format.
|   ├── kernel_util                 #  Helpers for registering kernels.
|   ├── memory_allocator            #  1st party memory allocator implementations.
|   ├── module                      #  A simplified C++ wrapper for the runtime.
|   ├── parallel                    #  C++ threadpool integration.
|   ├── pybindings                  #  Python API for executorch runtime.
|   ├── pytree                      #  C++ and Python flattening and unflattening lib for pytrees.
|   ├── runner_util                 #  Helpers for writing C++ PTE-execution
tools.
|   ├── testing_util                #  Helpers for writing C++ tests.
|   ├── training                    #  Experimental libraries for on-device training
├── kernels                         #  1st party kernel implementations.
|   ├── aten
|   ├── optimized
|   ├── portable                    #  Reference implementations of ATen operators.
|   ├── prim_ops                    #  Special ops used in executorch runtime for control flow and symbolic primitives.
|   ├── quantized
├── profiler                        #  Utilities for profiling runtime execution.
├── runtime                         #  Core C++ runtime.
|   ├── backend                     #  Backend delegate runtime APIs.
|   ├── core                        #  Core structures used across all levels of the runtime.
|   ├── executor                    #  Model loading, initialization, and execution.
|   ├── kernel                      #  Kernel registration and management.
|   ├── platform                    #  Layer between architecture specific code and portable C++.
├── schema                          #  ExecuTorch PTE file format flatbuffer
schemas.
├── scripts                         #  Utility scripts for size management, dependency management, etc.
├── devtools                        #  Model profiling, debugging, and introspection.
├── shim                            #  Compatibility layer between OSS and Internal builds
├── test                            #  Broad scoped end-to-end tests.
├── third-party                     #  Third-party dependencies.
├── util                            #  Various helpers and scripts.

Lisensi

ExecuTorch berlisensi BSD, seperti yang ditemukan dalam file LICENSE.