superplatform
1.0.0
A Superplataforma tem como objetivo devolver o poder aos desenvolvedores na era da IA, hospedando sua própria plataforma de IA!
A maneira mais fácil de executar a Superplataforma é com Docker. Instale o Docker se ainda não o tiver. Entre na raiz do repositório e:
docker compose uppara executar a plataforma em primeiro plano. Ele para de funcionar se você pressionar Ctrl + C. Se você quiser executá-lo em segundo plano:
docker compose up -dAgora que a Superplataforma está funcionando você tem algumas opções para interagir com ela.
Você pode acessar http://127.0.0.1:3901 e fazer login com nome de usuário singulatron e senha changeme e começar a usá-lo como faria com o ChatGPT.
Clique no grande botão “AI” e baixe um modelo primeiro. Não se preocupe, este modelo persistirá durante as reinicializações (consulte os volumes em docker-compose.yaml).
Para resumir, o exemplo abaixo pressupõe que você acessou a IU e já baixou um modelo. (Isso também poderia ser feito com clientes, mas seria mais longo).
Vamos fazer um prompt de sincronização em JS. Na execução do seu projeto
npm i -s @superplatform/client Certifique-se de que seu package.json contenha "type": "module" , coloque o seguinte snippet em index.js
import { UserSvcApi , PromptSvcApi , Configuration } from "@superplatform/client" ;
async function testDrive ( ) {
let userService = new UserSvcApi ( ) ;
let loginResponse = await userService . login ( {
request : {
slug : "singulatron" ,
password : "changeme" ,
} ,
} ) ;
const promptSvc = new PromptSvcApi (
new Configuration ( {
apiKey : loginResponse . token ?. token ,
} )
) ;
let promptRsp = await promptSvc . addPrompt ( {
request : {
sync : true ,
prompt : "Is a cat an animal? Just answer with yes or no please." ,
} ,
} ) ;
console . log ( promptRsp ) ;
}
testDrive ( ) ;e correr
$ node index.js
{
answer: ' Yes, a cat is an animal.n ' +
' n ' +
' But if you meant to ask whether cats are domesticated animals or pets, then the answer is also yes. Cats belong to the Felidae family and are common household pets around the world. They are often kept for companionship and to control rodent populations. ' ,
prompt: undefined
}Dependendo do seu sistema, pode demorar um pouco para a IA responder. Caso demore muito para verificar se os logs de back-end estão sendo processados, você deverá ver algo assim:
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:14.602762664Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :1, " totalResponses " :1}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:15.602328634Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :4, " totalResponses " :9}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:16.602428481Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :5, " totalResponses " :17}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:17.602586968Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :24}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:18.602583176Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :31}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:19.602576641Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :38}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:20.602284446Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :46}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:21.602178149Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :53}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:22.602470024Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :61}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.174054316Z " , " level " : " INFO " , " msg " : " Saving chat message " , " messageId " : " msg_e3SARBJAZe " }
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.175854857Z " , " level " : " DEBUG " , " msg " : " Event published " , " eventName " : " chatMessageAdded " }
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.176260122Z " , " level " : " DEBUG " , " msg " : " Finished streaming LLM " , " error " : " <nil> " }Superplataforma é uma plataforma de microsserviços que me veio à mente pela primeira vez em 2013, quando eu trabalhava para um concorrente do Uber chamado Hailo. Arquivei a ideia, pensando que outra pessoa acabaria por construí-la. Agora, com o boom da IA e todos os aplicativos de IA que estamos prestes a lançar, percebi que terei que construí-los sozinho, já que ninguém mais o fez.
É um servidor e ecossistema que permite auto-hospedar modelos de IA, criar aplicativos que aproveitam esses modelos em qualquer linguagem e utilizar um back-end comunitário baseado em microsserviços projetado para oferecer suporte a uma ampla gama de projetos.
Consulte esta página para ajudá-lo a começar.
Consulte https://superplatform.ai/docs/category/superplatform-api/
Interrompemos temporariamente a distribuição da versão desktop. Consulte esta página para métodos alternativos de execução do software.
A Superplataforma está licenciada sob AGPL-3.0.
