superplatform
1.0.0
Superplatform zielt darauf ab, den Entwicklern im Zeitalter der KI die Macht zurückzugeben – hosten Sie Ihre eigene KI-Plattform selbst!
Der einfachste Weg, Superplatform auszuführen, ist mit Docker. Installieren Sie Docker, falls Sie es nicht haben. Gehen Sie in den Repo-Root und:
docker compose upum die Plattform im Vordergrund auszuführen. Die Ausführung wird gestoppt, wenn Sie Strg+C drücken. Wenn Sie es im Hintergrund ausführen möchten:
docker compose up -dDa die Superplattform nun ausgeführt wird, haben Sie einige Möglichkeiten, mit ihr zu interagieren.
Sie können zu http://127.0.0.1:3901 gehen, sich mit dem Benutzernamen singulatron und dem Passwort changeme anmelden und es genauso verwenden, wie Sie es mit ChatGPT tun würden.
Klicken Sie auf die große Schaltfläche „KI“ und laden Sie zunächst ein Modell herunter. Keine Sorge, dieses Modell bleibt über Neustarts hinweg bestehen (siehe Volumes in der docker-compose.yaml).
Der Kürze halber wird im folgenden Beispiel davon ausgegangen, dass Sie zur Benutzeroberfläche gegangen sind und bereits ein Modell heruntergeladen haben. (Das könnte auch mit Kunden gemacht werden, würde aber länger dauern).
Lassen Sie uns eine Synchronisierungsaufforderung in JS durchführen. In Ihrem Projektlauf
npm i -s @superplatform/client Stellen Sie sicher, dass Ihre package.json "type": "module" enthält, und fügen Sie das folgende Snippet in index.js ein
import { UserSvcApi , PromptSvcApi , Configuration } from "@superplatform/client" ;
async function testDrive ( ) {
let userService = new UserSvcApi ( ) ;
let loginResponse = await userService . login ( {
request : {
slug : "singulatron" ,
password : "changeme" ,
} ,
} ) ;
const promptSvc = new PromptSvcApi (
new Configuration ( {
apiKey : loginResponse . token ?. token ,
} )
) ;
let promptRsp = await promptSvc . addPrompt ( {
request : {
sync : true ,
prompt : "Is a cat an animal? Just answer with yes or no please." ,
} ,
} ) ;
console . log ( promptRsp ) ;
}
testDrive ( ) ;und laufen
$ node index.js
{
answer: ' Yes, a cat is an animal.n ' +
' n ' +
' But if you meant to ask whether cats are domesticated animals or pets, then the answer is also yes. Cats belong to the Felidae family and are common household pets around the world. They are often kept for companionship and to control rodent populations. ' ,
prompt: undefined
}Abhängig von Ihrem System kann es eine Weile dauern, bis die KI reagiert. Falls es lange dauert, überprüfen Sie die Backend-Protokolle, ob die Verarbeitung erfolgt. Sie sollten etwa Folgendes sehen:
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:14.602762664Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :1, " totalResponses " :1}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:15.602328634Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :4, " totalResponses " :9}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:16.602428481Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :5, " totalResponses " :17}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:17.602586968Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :24}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:18.602583176Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :31}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:19.602576641Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :38}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:20.602284446Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :46}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:21.602178149Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :53}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:22.602470024Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :61}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.174054316Z " , " level " : " INFO " , " msg " : " Saving chat message " , " messageId " : " msg_e3SARBJAZe " }
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.175854857Z " , " level " : " DEBUG " , " msg " : " Event published " , " eventName " : " chatMessageAdded " }
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.176260122Z " , " level " : " DEBUG " , " msg " : " Finished streaming LLM " , " error " : " <nil> " }Superplatform ist eine Microservices-Plattform, die mir 2013 zum ersten Mal in den Sinn kam, als ich für einen Uber-Konkurrenten namens Hailo arbeitete. Ich habe die Idee zurückgestellt, weil ich dachte, jemand anderes würde sie irgendwann umsetzen. Jetzt, angesichts des KI-Booms und all der KI-Apps, die wir bald einführen werden, ist mir klar geworden, dass ich es selbst erstellen muss, da es sonst niemand getan hat.
Es handelt sich um einen Server und ein Ökosystem, das es Ihnen ermöglicht, KI-Modelle selbst zu hosten, Apps zu erstellen, die diese Modelle in jeder Sprache nutzen, und ein auf Microservices basierendes gemeinschaftliches Backend zu nutzen, das zur Unterstützung einer Vielzahl von Projekten entwickelt wurde.
Sehen Sie sich diese Seite an, um Ihnen den Einstieg zu erleichtern.
Siehe https://superplatform.ai/docs/category/superplatform-api/
Wir haben den Vertrieb der Desktop-Version vorübergehend eingestellt. Auf dieser Seite finden Sie alternative Methoden zum Ausführen der Software.
Superplatform ist unter AGPL-3.0 lizenziert.
