superplatform
1.0.0
Цель «Суперплатформы» — вернуть разработчикам власть в эпоху искусственного интеллекта, самостоятельно создав собственную платформу искусственного интеллекта!
Самый простой способ запустить Superplatform — использовать Docker. Установите Docker, если у вас его нет. Войдите в корень репо и:
docker compose upчтобы запустить платформу на переднем плане. Он перестанет работать, если вы нажмете Ctrl+C. Если вы хотите запустить его в фоновом режиме:
docker compose up -dТеперь, когда Суперплатформа запущена, у вас есть несколько вариантов взаимодействия с ней.
Вы можете перейти по адресу http://127.0.0.1:3901 , войти в changeme , используя имя пользователя singulatron и пароль, и начать использовать его так же, как если бы вы использовали ChatGPT.
Нажмите на большую кнопку «AI» и сначала загрузите модель. Не волнуйтесь, эта модель будет сохраняться при перезапуске (см. тома в docker-compose.yaml).
Для краткости в приведенном ниже примере предполагается, что вы зашли в пользовательский интерфейс и уже загрузили модель. (Это также можно сделать с клиентами, но это будет дольше).
Давайте сделаем запрос на синхронизацию в JS. В вашем проекте запустите
npm i -s @superplatform/client Убедитесь, что ваш package.json содержит "type": "module" , поместите следующий фрагмент в index.js
import { UserSvcApi , PromptSvcApi , Configuration } from "@superplatform/client" ;
async function testDrive ( ) {
let userService = new UserSvcApi ( ) ;
let loginResponse = await userService . login ( {
request : {
slug : "singulatron" ,
password : "changeme" ,
} ,
} ) ;
const promptSvc = new PromptSvcApi (
new Configuration ( {
apiKey : loginResponse . token ?. token ,
} )
) ;
let promptRsp = await promptSvc . addPrompt ( {
request : {
sync : true ,
prompt : "Is a cat an animal? Just answer with yes or no please." ,
} ,
} ) ;
console . log ( promptRsp ) ;
}
testDrive ( ) ;и бежать
$ node index.js
{
answer: ' Yes, a cat is an animal.n ' +
' n ' +
' But if you meant to ask whether cats are domesticated animals or pets, then the answer is also yes. Cats belong to the Felidae family and are common household pets around the world. They are often kept for companionship and to control rodent populations. ' ,
prompt: undefined
}В зависимости от вашей системы ответ ИИ может занять некоторое время. Если это занимает много времени, проверьте журналы серверной части, если они обрабатываются, вы должны увидеть что-то вроде этого:
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:14.602762664Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :1, " totalResponses " :1}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:15.602328634Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :4, " totalResponses " :9}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:16.602428481Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :5, " totalResponses " :17}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:17.602586968Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :24}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:18.602583176Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :31}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:19.602576641Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :38}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:20.602284446Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :46}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:21.602178149Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :53}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:22.602470024Z " , " level " : " DEBUG " , " msg " : " LLM is streaming " , " promptId " : " prom_e3SA9bJV5u " , " responsesPerSecond " :6, " totalResponses " :61}
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.174054316Z " , " level " : " INFO " , " msg " : " Saving chat message " , " messageId " : " msg_e3SARBJAZe " }
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.175854857Z " , " level " : " DEBUG " , " msg " : " Event published " , " eventName " : " chatMessageAdded " }
superplatform-backend-1 | { " time " : " 2024-11-27T17:27:23.176260122Z " , " level " : " DEBUG " , " msg " : " Finished streaming LLM " , " error " : " <nil> " }Суперплатформа — это платформа микросервисов, которая впервые пришла мне на ум еще в 2013 году, когда я работал на конкурента Uber под названием Hailo. Я отложил эту идею, думая, что кто-то другой в конечном итоге ее создаст. Теперь, с бумом искусственного интеллекта и всеми приложениями искусственного интеллекта, которые мы собираемся развернуть, я понял, что мне придется создавать его самому, поскольку никто другой этого не сделал.
Этот сервер и экосистема позволяют вам самостоятельно размещать модели искусственного интеллекта, создавать приложения, использующие эти модели на любом языке, а также использовать общий бэкэнд на основе микросервисов, предназначенный для поддержки широкого спектра проектов.
См. эту страницу, которая поможет вам начать работу.
См. https://superplatform.ai/docs/category/superplatform-api/.
Мы временно прекратили распространение десктопной версии. На этой странице представлены альтернативные способы запуска программного обеспечения.
Суперплатформа распространяется под лицензией AGPL-3.0.
