femtoGPT
1.0.0
femtoGPT — это чистая реализация минимального генеративного предварительно обученного трансформатора на Rust.
Его можно использовать как для вывода , так и для обучения языковых моделей в стиле GPT с использованием процессоров и графических процессоров !
( ЭЙ! Я также пишу книгу, в которой скоро будет подробно обсуждаться реализация LLM! Посмотрите ее здесь: Суперпрограммист)
Обучение:
cargo run --release -- train
Вывод:
cargo run --release -- infer
(Примечание: добавьте --features gpu , чтобы использовать ускорение графического процессора!)
Все реализовано с нуля, включая логику тензорной обработки вместе с кодом обучения/вывода минимальной архитектуры GPT.
Архитектура очень похожа/почти идентична видеолекции Андрея Карпати по nanoGPT.
femtoGPT — отличное начало для тех, кто увлечен LLM и хотел бы понять, как эти модели работают на очень глубоких уровнях.
femtoGPT не использует ничего, кроме библиотек случайной генерации ( rand / rand-distr ), библиотек сериализации данных ( serde / bincode для сохранения/загрузки уже обученных моделей) и библиотеки параллельных вычислений ( rayon ).
фемтоGPT - это ОЧЕНЬ МЕДЛЕННЫЙ относительно быстро на процессоре , и большинство примитивных операций (например, умножение матриц) реализованы самым простым способом.
Корректность градиентов проверяется методом Gradient-Check, хотя вполне возможно, что некоторые слои реализованы неправильно.
(Сервер Discord для обсуждений проекта!)
Убедитесь, что в вашей системе есть набор инструментов Rust, чтобы скомпилировать и запустить проект:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
Если вы хотите тренироваться с использованием графического процессора, вам сначала необходимо убедиться, что драйверы графического процессора правильно установлены в вашей системе и доступна их среда выполнения OpenCL.
В системах Debian вы можете настроить среду выполнения OpenCL, установив пакет ocl-icd-opencl-dev :
sudo apt install ocl-icd-opencl-dev
ДОБРАЯ ВЕСТЬ! Поскольку реализация графического процессора femtoGPT основана на OpenCL, она может работать как на картах NVIDIA, так и на картах AMD, и вам не нужно будет устанавливать в вашей системе тяжелые наборы инструментов CUDA. Среды выполнения OpenCL будет достаточно!
Теперь вам просто нужно поместить текст, на котором вы хотите обучить свою модель GPT, внутри dataset.txt . Убедитесь, что в нем мало уникальных персонажей! (Например, текущий набор данных использует только 65 различных уникальных символов!)
Тогда вам нужно будет запустить:
cargo run --release
Он начнет обучение модели и поместит данные обучения в каталог train_data . Вы можете остановить обучение и продолжить позже!
После нескольких часов обучения работе с базой данных Шекспира и моделью с 300 тысячами параметров был получен следующий результат:
LIS:
Tore hend shater sorerds tougeng an herdofed seng he borind,
Ound ourere sthe, a sou so tousthe ashtherd, m se a man stousshan here hat mend serthe fo witownderstesther s ars at atheno sel theas,
thisth t are sorind bour win soutinds mater horengher
Это досадно плохо, но, если посмотреть на положительную сторону, кажется, что он смог генерировать слова, которые легко произносить.
В настоящее время я тренирую модель с параметрами 10M, чтобы дополнительно проверить правильность моей реализации.
ОБНОВЛЕНИЕ от 5 июня 2023 г.:
Это новый результат после нескольких часов обучения на модели аналогичного масштаба:
What like but wore pad wo me che nogns yous dares,
As supt it nind bupart 'the reed:
And hils not es
Очевидно, модель начала учить некоторые слова и правила пунктуации!
ОБНОВЛЕНИЕ от 9 июня 2023 г.:
Модель смогла достичь значения потерь ~1,4.
Вот пример вывода:
Adistition gone; true; schistoes for mine souls!
Before your home, bariechts should be
Carlam on that's a worf quirer of him so.
What look'd lack away more
To him foot; one hour fortious of saves:
Son;
'Tis all Earl mmistling me.
HARSARTIO:
Why, idless of my mocks fan that were percious.
Having I will thou should and the muour ne'er shor
To purple, when duke thy are out him.
But will bid you doth remember nature.
Even OF hencomey, carniffeit, I joy
Warming; my deed, but it on of mortard,
ОБНОВЛЕНИЕ 10 июня 2023 г., искры ОИИ? РЖУ НЕ МОГУ
Обучив 5-слойную модель на наборе данных, собранном из Reddit, токенизированном с помощью токенизатора предложения с размером словарного запаса 500, в течение примерно 10 часов на 32-ядерном процессоре:
Подсказка «Я думаю» :
I think it s not a scientific method of atheism
I think it s not a fairly simple possible to have a
I think that s a possible point, but I m not sure if you re not
I think that s a great idea, but I m not sure how these are you talking
I think it s a simple thing to do, but I m not sure how thes
I think that s a good thing, but I don t think that s what I mean, I think I
I think that s the only way to be able to use it to be in the same way, but
I think that the police are relatively relatively relative
I think that s a simple moron is a simple character
I think that s the only way to go to the second side of the pol
Подсказка «Жизнь есть» :
Life is not a good idea, but it s not a perfection of the opp
Life is a good thing to say that I don t know what you re talking about, but I don
Life is not the same as a religion, but I m not sure if you re a
Life is a perfectly good job of arguing that you are alm
Life is a perfectly good job of the opposite of the f
Life is a fundamentalist, and then I m not sure how the h
Life is not a good idea, and it s not a perfectly good job, but I
Life is not the same as atheists, but that s the only way to be ac
Life is a bit of a single one of these industry is a f
Life is a good idea to get the opposite of the police offic
Подсказка «Так грустно» :
So sad that you can tell you what? I think I ve been using it on the scre
So sad that I don t know about it, but I don t think I m not afraid to
So sad that I m not sure if you re not arguing with the fact that you
So sad that I was involved in the future, and I have a few we
So sad that s what I said, I m sure you are almost everything you
So sad that you can do it, and I don t think that the fact that it s a po
So sad that I m not sure if you re arguing with the fact that they are
So sad that s the one too much time, but I m not sure if you re arg
So sad that you are sadly supposed to be a big deal in the world
So sad that I don t know about this, but I m not sure how you can do it, but
ОБНОВЛЕНИЕ 29 июня 2023 г.
После внедрения тренажера графического процессора мы смогли обучать более крупные модели. Вот несколько примеров из 8-слойной 8-головной модели со 128 степенями внедрения, обученной на наборе данных TinyStories с размером словаря 1000:
Once upon a time, there was a little girl named Lily.
She loved to play with her toys and she had a lot of fun.
One day, Lily saw a big chicky playing with her toys.
She asked her mom, "Can I play with her toys?" Her mom said,
"Sure, Lily. But we have to clean the pales. Let's suet some candy, Lily."
Lily nodded and went to her mom. They played with the mots and staugning her toys.
Once upon a time, there was a little girl named Lily.
She loved to play outside and explore. One day, she found a jung on the ground.
She picked it up and tecked it. She ran around and saw it. She was very sad.
She asked her mom for her mom. Her mom said, "Lily, I'm going to find it!" Lily said.
She ran to the slock and took her to the teplace. She went to the park and found a molla.
There was a boy named Tim. Tim loved to play with his toys.
One day, Tim's mom came to the park. Tim saw a big, red ball and wanted to play with it.
Tim wanted to play with the ball. Tim was very excited. He wanted to play with the ball.
But the ball was too fast. Tim wanted to play with the ball. But the ball was too fast.
Tim tried to catch it, but it was too fast. Tim was sad. He tried to run away,
but he did not want to play. Tim was sad. He did not want to play with the ball.
