gpt j api

gpt-j-api?

GPT-J 언어 모델 및 변형과 상호작용하는 API입니다! 다음 두 가지 방법으로 모델을 사용하고 테스트할 수 있습니다.

• http://api.vicgalle.net:8000/의 Streamlit 웹 앱
• http://api.vicgalle.net:5000/docs에 문서화된 적절한 API

개방형 API 엔드포인트?

이는 공개 API의 끝점이며 인증이 필요하지 않습니다. 매개변수를 보려면 각각을 클릭하세요!

GPT-J 텍스트 생성?

• 생성 : POST /generate/

제로샷 텍스트 분류(다국어) ?

• 분류 : POST /classify/

API 사용

• 파이썬:

 import requests
context = "In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English."
payload = {
    "context" : context ,
    "token_max_length" : 512 ,
    "temperature" : 1.0 ,
    "top_p" : 0.9 ,
}
response = requests . post ( "http://api.vicgalle.net:5000/generate" , params = payload ). json ()
print ( response )

• Python(제로샷 분류):

 import requests
payload = { 
    "sequence" : "The movie started slow, but in the end was absolutely amazing!" , 
    "labels" : "positive,neutral,negative" }
response = requests . post ( "http://api.vicgalle.net:5000/classify" , params = payload ). json ()
print ( response )

• 세게 때리다:

curl -X ' POST ' 
  ' http://api.vicgalle.net:5000/generate?context=In%20a%20shocking%20finding%2C%20scientists%20discovered%20a%20herd%20of%20unicorns%20living%20in%20a%20remote%2C%20previously%20unexplored%20valley%2C%20in%20the%20Andes%20Mountains.%20Even%20more%20surprising%20to%20the%20researchers%20was%20the%20fact%20that%20the%20unicorns%20spoke%20perfect%20English.&token_max_length=512&temperature=1&top_p=0.9 ' 
  -H ' accept: application/json ' 
  -d ' ' 

API 서버 배포

TPU VM에 SSH로 연결하면 됩니다. 이 코드는 v2-8 및 v3-8 변형 모두에서 테스트되었습니다.

먼저 요구 사항을 설치하고 가중치를 가져옵니다.

 python3 -m pip install -r requirements.txt
wget https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd
sudo apt install zstd
tar -I zstd -xf step_383500_slim.tar.zstd
rm step_383500_slim.tar.zstd

그리고 그냥 달리세요

 python3 serve.py

그런 다음 http://localhost:5000/docs로 이동하여 API를 사용하면 됩니다!

간소화된 대시보드 배포

그냥 실행

 python3 -m streamlit run streamlit_app.py --server.port 8000

연락하다

요청사항이 있으시면 vgallegoalcala at gmail dot com 기꺼이 도와드리겠습니다.

후원자?

이 프로젝트를 후원해주신 다음 분들께 특별히 감사드립니다! <3

• Aspie96

감사의 말

TPU Research Cloud(https://sites.research.google/trc/)의 지원에 진심으로 감사드립니다.