truss

tiang penopang

Cara paling sederhana untuk menyajikan model AI/ML dalam produksi

Kenapa Trus?

• Tulis sekali, jalankan di mana saja: Kemas dan uji kode model, bobot, dan dependensi dengan server model yang berperilaku sama dalam pengembangan dan produksi.

• Perulangan pengembang cepat: Implementasikan model Anda dengan umpan balik cepat dari server muat ulang langsung, dan lewati konfigurasi Docker dan Kubernetes dengan lingkungan penyajian model yang dilengkapi baterai.

• Dukungan untuk semua kerangka kerja Python : Dari transformers dan diffusers hingga PyTorch dan TensorFlow hingga TensorRT dan Triton , Truss mendukung model yang dibuat dan disajikan dengan kerangka kerja apa pun.

Lihat Rangka untuk model populer termasuk:

• Lama 2 7B (13B) (70B)

• Difusi Stabil XL

• Berbisik

dan puluhan contoh lainnya.

Instalasi

Pasang Truss dengan:

pip install --upgrade truss

Mulai cepat

Sebagai contoh singkat, kami akan mengemas pipeline klasifikasi teks dari paket transformers sumber terbuka.

Buat Rangka

Untuk memulai, buat Truss dengan perintah terminal berikut:

 klasifikasi teks truss init

Saat diminta, beri nama Truss Anda seperti Text classification .

Kemudian, navigasikan ke direktori yang baru dibuat:

 klasifikasi teks cd

Terapkan modelnya

Salah satu dari dua file penting dalam Truss adalah model/model.py . Dalam file ini, Anda menulis kelas Model : antarmuka antara model ML yang Anda kemas dan server model tempat Anda menjalankannya.

Ada dua fungsi anggota yang harus Anda implementasikan di kelas Model :

• load() memuat model ke server model. Ini berjalan tepat satu kali ketika server model diputar atau ditambal.

• predict() menangani inferensi model. Ini berjalan setiap kali server model dipanggil.

Berikut model/model.py lengkap untuk model klasifikasi teks:

 dari transformator impor kelas pipa Model:def __init__(mandiri, **kwargs):self._model = Beban nonedef(mandiri):self._model = pipa("klasifikasi teks")def prediksi(mandiri, model_input):return self._model (masukan_model)

Tambahkan dependensi model

File penting lainnya di Truss adalah config.yaml , yang mengonfigurasi lingkungan penyajian model. Untuk daftar lengkap opsi konfigurasi, lihat referensi konfigurasi.

Model saluran pipa mengandalkan Transformers dan PyTorch. Ketergantungan ini harus ditentukan dalam konfigurasi Truss.

Di config.yaml , temukan barisnya requirements . Ganti daftar kosong dengan:

 persyaratan:
  - obor==2.0.1
  - transformator==4.30.0

Tidak diperlukan konfigurasi lain.

Penyebaran

Truss dikelola oleh Baseten, yang menyediakan infrastruktur untuk menjalankan model ML dalam produksi. Kami akan menggunakan Baseten sebagai host jarak jauh untuk model Anda.

Remote lainnya akan segera hadir, dimulai dengan AWS SageMaker.

Dapatkan kunci API

Untuk menyiapkan remote Baseten, Anda memerlukan kunci API Baseten. Jika Anda tidak memiliki akun Baseten, jangan khawatir, cukup daftar untuk sebuah akun dan Anda akan diberikan banyak kredit gratis untuk memulai.

Jalankan truss push

Dengan kunci API Baseten yang siap ditempelkan saat diminta, Anda dapat menerapkan model Anda:

 dorongan rangka

Anda dapat memantau penerapan model Anda dari dasbor model Anda di Baseten.

Panggil modelnya

Setelah model selesai diterapkan, Anda dapat memanggilnya dari terminal.

Doa

 truss prediksi -d '"Truss luar biasa!"'

Tanggapan

 [
  {"label": "POSITIF","skor": 0,999873161315918
  }
]

Kontributor Trus

Truss didukung oleh Baseten dan dibangun melalui kolaborasi dengan para insinyur ML di seluruh dunia. Terima kasih khusus kepada Stephan Auerhahn @stability.ai dan Daniel Sarfati @ Salad Technologies atas kontribusi mereka.

Kami dengan antusias menyambut kontribusi sesuai dengan panduan kontributor dan kode etik kami.