Cranium

Cranium — это портативная библиотека искусственных нейронных сетей прямого распространения, предназначенная только для заголовков, написанная на ванильном C99.

Он поддерживает полносвязные сети произвольной глубины и структуры и должен быть достаточно быстрым, поскольку использует матричный подход к вычислениям. Он особенно подходит для компьютеров с низким уровнем ресурсов или сред, в которых невозможно установить дополнительные зависимости.

Cranium поддерживает интеграцию CBLAS. Просто раскомментируйте строку 7 в matrix.h чтобы включить функцию BLAS sgemm для быстрого умножения матриц.

Ознакомьтесь с подробной документацией здесь для получения информации об отдельных структурах и функциях.

---

Функции

• Функции активации
  • сигмовидная
  • РеЛУ
  • Тань
  • softmax ( классификация )
  • линейный ( регрессия )
• Функции потерь
  • Перекрестная энтропийная потеря ( классификация )
  • Среднеквадратическая ошибка ( регрессия )
• Алгоритмы оптимизации
  • Пакетный градиентный спуск
  • Стохастический градиентный спуск
  • Мини-пакетный стохастический градиентный спуск
• Регуляризация L2
• Скорость обучения отжигу
• Простой импульс
• Инициализация веса веера
• Поддержка CBLAS для быстрого умножения матриц
• Сериализуемые сети

---

Использование

Поскольку Cranium предназначен только для заголовка, просто скопируйте каталог src в свой проект и #include "src/cranium.h" , чтобы начать его использовать.

Единственная необходимая зависимость от компилятора — это заголовок , поэтому компилируйте с -lm .

Если вы используете CBLAS, вам также необходимо будет скомпилировать с -lcblas и включить через -I путь к тому месту, где находится реализация BLAS на вашем конкретном компьютере. Общие из них включают OpenBLAS и ATLAS.

Было протестировано, что он прекрасно работает с любым уровнем оптимизации gcc, поэтому не стесняйтесь его использовать.

---

Пример

 #include "cranium.h"

/*
This basic example program is the skeleton of a classification problem.
The training data should be in matrix form, where each row is a data point, and
    each column is a feature. 
The training classes should be in matrix form, where the ith row corresponds to
    the ith training example, and each column is a 1 if it is of that class, and
    0 otherwise. Each example may only be of 1 class.
*/

// create training data and target values (data collection not shown)
int rows , features , classes ;
float * * training ;
float * * classes ;

// create datasets to hold the data
DataSet * trainingData = createDataSet ( rows , features , training );
DataSet * trainingClasses = createDataSet ( rows , classes , classes );

// create network with 2 input neurons, 1 hidden layer with sigmoid
// activation function and 5 neurons, and 2 output neurons with softmax 
// activation function
srand ( time ( NULL ));
size_t hiddenSize [] = { 5 };
Activation hiddenActivation [] = { sigmoid };
Network * net = createNetwork ( 2 , 1 , hiddenSize , hiddenActivation , 2 , softmax );

// train network with cross-entropy loss using Mini-Batch SGD
ParameterSet params ;
params . network = net ;
params . data = trainingData ;
params . classes = trainingClasses ;
params . lossFunction = CROSS_ENTROPY_LOSS ;
params . batchSize = 20 ;
params . learningRate = .01 ;
params . searchTime = 5000 ;
params . regularizationStrength = .001 ;
params . momentumFactor = .9 ;
params . maxIters = 10000 ;
params . shuffle = 1 ;
params . verbose = 1 ;
optimize ( params );

// test accuracy of network after training
printf ( "Accuracy is %fn" , accuracy ( net , trainingData , trainingClasses ));

// get network's predictions on input data after training
forwardPass ( net , trainingData );
int * predictions = predict ( net );
free ( predictions );

// save network to a file
saveNetwork ( net , "network" );

// free network and data
destroyNetwork ( net );
destroyDataSet ( trainingData );
destroyDataSet ( trainingClasses );

// load previous network from file
Network * previousNet = readNetwork ( "network" );
destroyNetwork ( previousNet );

---

Сборка и тестирование

Чтобы запустить тесты, загляните в папку tests .

В Makefile есть команды для запуска каждого пакета модульных тестов или всех их одновременно.

---

Содействие

Не стесняйтесь отправлять запрос на включение, если вы хотите добавить какие-либо функции или если вы обнаружили ошибку.

Проверьте вкладку «Проблемы», чтобы узнать, что можно сделать.