serving Unduhan - serving unduhan kode sumber

serving

ular piton

2.18.0

Unduh

Penyajian TensorFlow

TensorFlow Serving adalah sistem penyajian yang fleksibel dan berperforma tinggi untuk model pembelajaran mesin, yang dirancang untuk lingkungan produksi. Ini berkaitan dengan aspek inferensi pembelajaran mesin, mengambil model setelah pelatihan dan mengelola masa hidup mereka, memberikan klien akses berversi melalui tabel pencarian berperforma tinggi dan dihitung referensi. TensorFlow Serving menyediakan integrasi unik dengan model TensorFlow, namun dapat dengan mudah diperluas untuk melayani jenis model dan data lainnya.

Perlu diperhatikan beberapa fitur:

Dapat melayani beberapa model, atau beberapa versi dari model yang sama secara bersamaan
Mengekspos titik akhir inferensi gRPC dan HTTP
Memungkinkan penerapan versi model baru tanpa mengubah kode klien apa pun
Mendukung canarying versi baru dan model eksperimental pengujian A/B
Menambahkan latensi minimal pada waktu inferensi karena penerapan overhead yang efisien dan rendah
Menampilkan penjadwal yang mengelompokkan permintaan inferensi individual ke dalam batch untuk eksekusi bersama pada GPU, dengan kontrol latensi yang dapat dikonfigurasi
Mendukung banyak server yang dapat diservis : model Tensorflow, penyematan, kosakata, transformasi fitur, dan bahkan model pembelajaran mesin berbasis non-Tensorflow

Sajikan model Tensorflow dalam 60 detik

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

Pelatihan & Tutorial Penyajian End-to-End

Lihat situs dokumentasi Tensorflow resmi untuk tutorial lengkap dalam melatih dan menyajikan Model Tensorflow.

Dokumentasi

Mendirikan

Cara termudah dan paling mudah untuk menggunakan TensorFlow Serving adalah dengan image Docker. Kami sangat merekomendasikan rute ini kecuali Anda memiliki kebutuhan khusus yang tidak dapat diatasi dengan menjalankannya dalam sebuah container.

Instal Tensorflow Serving menggunakan Docker (Disarankan)
Instal Tensorflow Serving tanpa Docker (Tidak Direkomendasikan)
Bangun Pelayanan Tensorflow dari Sumber dengan Docker
Menerapkan Pelayanan Tensorflow di Kubernetes

Menggunakan

Ekspor model Tensorflow Anda

Untuk menyajikan model Tensorflow, cukup ekspor SavedModel dari program Tensorflow Anda. SavedModel adalah format serialisasi hermetis yang netral bahasa, dapat dipulihkan, dan memungkinkan sistem dan alat tingkat tinggi memproduksi, menggunakan, dan mentransformasikan model TensorFlow.

Silakan lihat dokumentasi Tensorflow untuk petunjuk detail tentang cara mengekspor SavedModels.

Konfigurasikan dan Gunakan Penyajian Tensorflow

Ikuti tutorial tentang Melayani model Tensorflow
Konfigurasikan Tensorflow Serving agar sesuai dengan kasus penggunaan penyajian Anda
Baca Panduan Performa dan pelajari cara menggunakan TensorBoard untuk membuat profil dan mengoptimalkan permintaan inferensi
Baca Panduan REST API atau definisi API gRPC
Gunakan Pemanasan SavedModel jika permintaan inferensi awal lambat karena inisialisasi grafik yang lambat
Jika mengalami masalah terkait tanda tangan model, harap baca dokumentasi SignatureDef
Jika menggunakan model dengan operasi kustom, pelajari cara menyajikan model dengan operasi kustom

Memperpanjang

Arsitektur Tensorflow Serving sangat modular. Anda dapat menggunakan beberapa bagian secara individual (misalnya penjadwalan batch) dan/atau memperluasnya untuk melayani kasus penggunaan baru.