Вместо использования таких сервисов, как ChatGPT, Amazon Bedrock, Google Bard, существует несколько моделей большого языка с открытым исходным кодом, которые можно использовать для локального запуска чат-бота, GPT4ALL — один из таких вариантов.
Это заставило меня задуматься, можно ли запустить LLM внутри функции AWS Lambda. Обычно это небольшие, быстро выполняемые функции, управляемые событиями. Они не предназначены для решения сложных задач обработки, но масштабируются до нуля, и вы платите только за то, что используете. Наличие LLM внутри функции Lambda кажется забавным экспериментом и способом получить размещенную модель, не требующую длительного процесса.
Этот репозиторий содержит код для создания пользовательской функции AWS Lambda во время выполнения с использованием образа контейнера. Его также можно запустить локально внутри Docker для тестирования. Функция содержит полную модель LLM и код для ее использования, позволяющий генерировать базовый текст из HTTP-вызова.
Для этого используются:
Загрузите модель GPT4ALL. Для этого я использовал gpt4all-falcon-newbpe-q4_0.gguf, потому что это небольшая модель (4 ГБ...) с хорошими откликами. Другие модели должны работать, но они должны быть достаточно маленькими, чтобы соответствовать ограничениям памяти Lambda.
Поместите файл bin
в папку function
рядом с файлом лямбда_функция.py.
Создайте образ с помощью Docker: docker build --platform linux/amd64 -t makgpt:test1
.
После сборки вы можете запустить его локально: docker run -p 9000:8080 makgpt:test1
После запуска вы можете запускать вызовы для него в другом окне терминала, например, curl "http://localhost:9000/2015-03-31/functions/function/invocations" -d '{"body":"{"action":"Set fire to a tree"}"}'
Отправьте изображение в ECR внутри своей учетной записи AWS. Для этого вы можете следовать руководству AWS в разделе Deploying the image
Руководства разработчика. Простые шаги:
aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin 111122223333.dkr.ecr.us-east-1.amazonaws.com
aws ecr create-repository --repository-name hello-world --image-scanning-configuration scanOnPush=true --image-tag-mutability MUTABLE
docker tag docker-image:test :latest
docker tag docker-image:test 111122223333.dkr.ecr.us-east-1.amazonaws.com/hello-world:latest
docker push 111122223333.dkr.ecr.us-east-1.amazonaws.com/hello-world:latest
Создайте лямбда-функцию из этого образа, обеспечив ей достаточно памяти (рекомендуется 10 ГБ) и время ожидания не менее 5 минут.
Для простоты дайте функции Lambda URL-адрес функции, и затем вы сможете использовать ее через HTTP.
Затем вы можете попробовать это с URL-адресом, например: curl "https://INSERTHERE.lambda-url.us-east-1.on.aws/" -d '{"body":"{"action":"Set fire to a tree"}"}'
Эта функция представляет собой базовую текстовую приключенческую игру с подсказкой:
You are a Text-Based Fantasy RPG. The player is exploring the dark forest and you are the dungeon master. The player performs the action: {action} What happens next? You are talking to the player.
{
"action": "Throw your sword at the angry orc"
}
"nAs the player throws their sword at the angry orc, it strikes true and lands squarely in its chest. The orc roars in pain and anger, charging towards the player with a fierce look in its eyes.nnThe player quickly dodges out of the way, but not before noticing something strange about the orc's eyes. They seem to be glowing with an otherworldly light, as if they are possessed by some dark force.nnWith the orc now dangerously close, the player decides to take a risk and try to reason with it. "Stop! I mean you no harm," they say, holding out their hands in a gesture of peace.nnTo their surprise, the orc seems to understand them and hesitates for a moment before continuing its attack. The player quickly grabs their sword and prepares to defend themselves if necessary.nnAs the fight continues, it becomes clear that this orc is not like any other they have faced before. Its movements are unnaturally quick and its strength is unmatched. But with each blow of the sword, the player gains a little more confidence in their abilities.nnFinally, after what seems like an eternity, the orc falls to the ground, defeated."
Затраченное время: 1m 33s
{
"action": "A wizard casts a spell on the player and turns them into a pencil"
}
"nAs the wizard finishes casting his spell, the player suddenly finds themselves transformed into a pencil. They look down at their new form in confusion before noticing that they are no longer holding the wand they were using to cast spells.nnThe player tries to move around, but find that they are unable to do so without making a noise. They try to speak, but find that they cannot make any sounds with their new pencil body.nnSuddenly, they hear a voice from behind them. "Well, well, well. Look who we have here." The player turns around to see the wizard who cast the spell on them.nnThe wizard chuckles at the player's transformation and begins to speak in a mocking tone. "I bet you didn't expect this when you decided to mess with magic, did you?"nnThe player tries to respond, but finds that they are unable to do so without making any noise. They feel helpless and frustrated as they try to come up with a plan to escape their new form.nnWhat will the player do next?"
Затраченное время: 1m 1s