serving ดาวน์โหลด - serving ดาวน์โหลดซอร์สโค้ด

serving

หลาม

2.18.0

ดาวน์โหลด

การแสดง TensorFlow

TensorFlow Serving คือระบบการให้บริการที่ยืดหยุ่นและมีประสิทธิภาพสูงสำหรับโมเดลการเรียนรู้ของเครื่อง ซึ่งออกแบบมาสำหรับสภาพแวดล้อมการใช้งานจริง โดยเกี่ยวข้องกับแง่มุม การอนุมาน ของแมชชีนเลิร์นนิง การสร้างโมเดลหลัง การฝึกอบรม และการจัดการอายุการใช้งาน ทำให้ลูกค้าสามารถเข้าถึงเวอร์ชันต่างๆ ผ่านทางตารางค้นหาที่นับจำนวนอ้างอิงที่มีประสิทธิภาพสูง TensorFlow Serving นำเสนอการผสานรวมกับโมเดล TensorFlow ได้ทันที แต่สามารถขยายเพื่อรองรับโมเดลและข้อมูลประเภทอื่นๆ ได้อย่างง่ายดาย

หากต้องการทราบคุณสมบัติบางประการ:

สามารถให้บริการได้หลายรุ่นหรือรุ่นเดียวกันหลายรุ่นพร้อมกัน
เปิดเผยทั้ง gRPC และปลายทางการอนุมาน HTTP
อนุญาตให้ปรับใช้เวอร์ชันโมเดลใหม่โดยไม่ต้องเปลี่ยนโค้ดไคลเอ็นต์ใดๆ
รองรับเวอร์ชัน Canary ใหม่และการทดสอบ A/B รุ่นทดลอง
เพิ่มเวลาแฝงน้อยที่สุดให้กับเวลาอนุมานเนื่องจากการใช้งานที่มีประสิทธิภาพและมีค่าใช้จ่ายต่ำ
นำเสนอตัวกำหนดเวลาที่จัดกลุ่มคำขอการอนุมานแต่ละรายการเป็นชุดสำหรับการดำเนินการร่วมกันบน GPU พร้อมการควบคุมเวลาแฝงที่กำหนดค่าได้
รองรับ การให้บริการ ได้มากมาย: โมเดล Tensorflow, การฝัง, คำศัพท์, การแปลงฟีเจอร์ และแม้แต่โมเดลการเรียนรู้ของเครื่องที่ไม่ใช่ Tensorflow

ให้บริการโมเดล Tensorflow ภายใน 60 วินาที

 # Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA= " $( pwd ) /serving/tensorflow_serving/servables/tensorflow/testdata "

# Start TensorFlow Serving container and open the REST API port
docker run -t --rm -p 8501:8501 
    -v " $TESTDATA /saved_model_half_plus_two_cpu:/models/half_plus_two " 
    -e MODEL_NAME=half_plus_two 
    tensorflow/serving &

# Query the model using the predict API
curl -d ' {"instances": [1.0, 2.0, 5.0]} ' 
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

การฝึกอบรมแบบครบวงจรและการสอนการให้บริการ

โปรดดูเว็บไซต์เอกสาร Tensorflow อย่างเป็นทางการเพื่อดูบทช่วยสอนที่สมบูรณ์เพื่อฝึกฝนและให้บริการโมเดล Tensorflow

เอกสารประกอบ

ตั้งค่า

วิธีที่ง่ายที่สุดและตรงไปตรงมาที่สุดในการใช้ TensorFlow Serving คือการใช้อิมเมจ Docker เราขอแนะนำเส้นทางนี้เป็นอย่างยิ่ง เว้นแต่คุณจะมีความต้องการเฉพาะที่ไม่ได้รับการแก้ไขโดยการทำงานในคอนเทนเนอร์

ติดตั้ง Tensorflow Serving โดยใช้ Docker (แนะนำ)
ติดตั้ง Tensorflow Serving โดยไม่ต้องใช้ Docker (ไม่แนะนำ)
สร้างการให้บริการ Tensorflow จากแหล่งที่มาด้วย Docker
ปรับใช้การให้บริการ Tensorflow บน Kubernetes

ใช้

ส่งออกโมเดล Tensorflow ของคุณ

เพื่อให้บริการโมเดล Tensorflow เพียงส่งออก SavedModel จากโปรแกรม Tensorflow ของคุณ SavedModel เป็นรูปแบบซีเรียลไลเซชันแบบสุญญากาศที่เป็นกลางทางภาษา สามารถกู้คืนได้ ซึ่งช่วยให้ระบบและเครื่องมือระดับสูงกว่าสามารถสร้าง ใช้ และแปลงโมเดล TensorFlow ได้

โปรดดูเอกสารประกอบของ Tensorflow สำหรับคำแนะนำโดยละเอียดเกี่ยวกับวิธีการส่งออก SavedModels

กำหนดค่าและใช้การแสดง Tensorflow

ทำตามบทช่วยสอนเกี่ยวกับการให้บริการโมเดล Tensorflow
กำหนดค่า Tensorflow Serving เพื่อให้เหมาะกับกรณีการใช้งานการให้บริการของคุณ
อ่านคู่มือประสิทธิภาพและเรียนรู้วิธีใช้ TensorBoard เพื่อสร้างโปรไฟล์และเพิ่มประสิทธิภาพคำขอการอนุมาน
อ่านคู่มือ REST API หรือคำจำกัดความ gRPC API
ใช้ SavedModel Warmup หากคำขอการอนุมานเริ่มต้นช้าเนื่องจากการเริ่มต้นกราฟแบบ Lazy
หากพบปัญหาเกี่ยวกับลายเซ็นโมเดล โปรดอ่านเอกสาร SignatureDef
หากใช้โมเดลที่มี Ops แบบกำหนดเอง เรียนรู้วิธีให้บริการโมเดลที่มี Ops แบบกำหนดเอง