gpt j api

gpt-j-api ?

API เพื่อโต้ตอบกับโมเดลภาษา GPT-J และตัวแปร! คุณสามารถใช้และทดสอบโมเดลได้สองวิธี:

• Streamlit เว็บแอปที่ http://api.vicgalle.net:8000/
• API ที่เหมาะสม ได้รับการบันทึกไว้ที่ http://api.vicgalle.net:5000/docs

เปิดจุดสิ้นสุด API หรือไม่

สิ่งเหล่านี้คือจุดสิ้นสุดของ API สาธารณะ และไม่จำเป็นต้องมีการตรวจสอบสิทธิ์ คลิกที่แต่ละรายการเพื่อดูพารามิเตอร์!

การสร้างข้อความ GPT-J ?

• สร้าง : POST /generate/

การจำแนกข้อความ Zero-shot (หลายภาษา) ?

• จำแนก : POST /classify/

การใช้ API

• หลาม:

 import requests
context = "In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English."
payload = {
    "context" : context ,
    "token_max_length" : 512 ,
    "temperature" : 1.0 ,
    "top_p" : 0.9 ,
}
response = requests . post ( "http://api.vicgalle.net:5000/generate" , params = payload ). json ()
print ( response )

• Python (การจำแนกประเภทซีโรช็อต):

 import requests
payload = { 
    "sequence" : "The movie started slow, but in the end was absolutely amazing!" , 
    "labels" : "positive,neutral,negative" }
response = requests . post ( "http://api.vicgalle.net:5000/classify" , params = payload ). json ()
print ( response )

• ทุบตี:

curl -X ' POST ' 
  ' http://api.vicgalle.net:5000/generate?context=In%20a%20shocking%20finding%2C%20scientists%20discovered%20a%20herd%20of%20unicorns%20living%20in%20a%20remote%2C%20previously%20unexplored%20valley%2C%20in%20the%20Andes%20Mountains.%20Even%20more%20surprising%20to%20the%20researchers%20was%20the%20fact%20that%20the%20unicorns%20spoke%20perfect%20English.&token_max_length=512&temperature=1&top_p=0.9 ' 
  -H ' accept: application/json ' 
  -d ' ' 

การปรับใช้เซิร์ฟเวอร์ API

เพียง SSH ลงใน TPU VM รหัสนี้ได้รับการทดสอบกับทั้งเวอร์ชัน v2-8 และ v3-8

ขั้นแรก ติดตั้งข้อกำหนดและรับน้ำหนัก:

 python3 -m pip install -r requirements.txt
wget https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd
sudo apt install zstd
tar -I zstd -xf step_383500_slim.tar.zstd
rm step_383500_slim.tar.zstd

และเพียงแค่วิ่ง

 python3 serve.py

จากนั้นคุณสามารถไปที่ http://localhost:5000/docs และใช้ API!

ปรับใช้แดชบอร์ด streamlit

แค่วิ่ง

 python3 -m streamlit run streamlit_app.py --server.port 8000

ติดต่อ

หากคุณมีคำขอ เรายินดีที่จะช่วยเหลือคุณที่ vgallegoalcala at gmail dot com

สปอนเซอร์ ?

ขอขอบคุณเป็นพิเศษสำหรับคนต่อไปนี้ที่สนับสนุนโครงการนี้! <3

• แอสพี96

รับทราบ

ขอบคุณมากสำหรับการสนับสนุนของ TPU Research Cloud https://sites.research.google/trc/