superplatform
1.0.0
Superplatform bertujuan untuk memberikan kekuatan kembali kepada para pengembang di era AI-self host platform AI Anda sendiri!
Cara termudah untuk menjalankan Superplatform adalah dengan Docker. Instal Docker jika Anda belum memilikinya. Masuk ke root repo dan:
docker compose upuntuk menjalankan platform di latar depan. Itu berhenti berjalan jika Anda Ctrl+C itu. Jika Anda ingin menjalankannya di latar belakang:
docker compose up -dSekarang Superplatform sedang berjalan, Anda memiliki beberapa opsi untuk berinteraksi dengannya.
Anda dapat mengunjungi http://127.0.0.1:3901 dan masuk dengan nama pengguna singulatron dan kata sandi changeme dan mulai menggunakannya sama seperti Anda menggunakan ChatGPT.
Klik tombol besar "AI" dan unduh modelnya terlebih dahulu. Jangan khawatir, model ini akan bertahan selama restart (lihat volume di docker-compose.yaml).
Untuk singkatnya, contoh di bawah ini mengasumsikan Anda membuka UI dan sudah mengunduh model. (Itu juga bisa dilakukan dengan klien tetapi akan lebih lama).
Mari kita lakukan permintaan sinkronisasi di JS. Dalam menjalankan proyek Anda
npm i -s @superplatform/client Pastikan package.json Anda berisi "type": "module" , masukkan cuplikan berikut ke dalam index.js
import { UserSvcApi , PromptSvcApi , Configuration } from "@superplatform/client" ;
async function testDrive ( ) {
let userService = new UserSvcApi ( ) ;
let loginResponse = await userService . login ( {
request : {
slug : "singulatron" ,
password : "changeme" ,
} ,
} ) ;
const promptSvc = new PromptSvcApi (
new Configuration ( {
apiKey : loginResponse . token ?. token ,
} )
) ;
let promptRsp = await promptSvc . addPrompt ( {
request : {
sync : true ,
prompt : "Is a cat an animal? Just answer with yes or no please." ,
} ,
} ) ;
console . log ( promptRsp ) ;
}
testDrive ( ) ;dan lari
$ node index.js
{
answer: ' Yes, a cat is an animal.n ' +
' n ' +
' But if you meant to ask whether cats are domesticated animals or pets, then the answer is also yes. Cats belong to the Felidae family and are common household pets around the world. They are often kept for companionship and to control rodent populations. ' ,
prompt: undefined
}Tergantung pada sistem Anda, AI mungkin memerlukan waktu beberapa saat untuk merespons. Jika memerlukan waktu lama untuk memeriksa log backend apakah sedang diproses, Anda akan melihat sesuatu seperti ini:
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:14.602762664Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :1, " totalResponses " :1}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:15.602328634Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :4, " totalResponses " :9}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:16.602428481Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :5, " totalResponses " :17}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:17.602586968Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :24}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:18.602583176Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :31}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:19.602576641Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :38}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:20.602284446Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :46}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:21.602178149Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :53}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:22.602470024Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :61}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.174054316Z " , " level " : " INFO " , " msg " : " Saving chat message " , " messageId " : " msg_e3SARBJAZe " }
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.175854857Z " , " level " : " DEBUG " , " msg " : " Event published " , " eventName " : " chatMessageAdded " }
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.176260122Z " , " level " : " DEBUG " , " msg " : " Finished streaming LLM " , " error " : " <nil> " }Superplatform adalah platform layanan mikro yang pertama kali terlintas di benak saya pada tahun 2013 ketika saya bekerja untuk pesaing Uber bernama Hailo. Saya mengesampingkan ide itu, berpikir orang lain pada akhirnya akan membangunnya. Sekarang, dengan boomingnya AI dan semua aplikasi AI yang akan kami luncurkan, saya menyadari bahwa saya harus membuatnya sendiri karena belum ada orang lain yang melakukannya.
Server dan ekosistemnya memungkinkan Anda menghosting sendiri model AI, membangun aplikasi yang memanfaatkan model tersebut dalam bahasa apa pun, dan memanfaatkan backend komunal berbasis layanan mikro yang dirancang untuk mendukung beragam proyek.
Lihat halaman ini untuk membantu Anda memulai.
Lihat https://superplatform.ai/docs/category/superplatform-api/
Kami untuk sementara menghentikan distribusi versi desktop. Silakan merujuk ke halaman ini untuk mengetahui metode alternatif dalam menjalankan perangkat lunak.
Superplatform dilisensikan di bawah AGPL-3.0.
