Lux.jl

Элегантное и эффективное научное машинное обучение в Джулии

Платформа глубокого обучения Pure Julia, предназначенная для научного машинного обучения

Установка

 import Pkg
Pkg . add ( " Lux " )

Кончик

Если вы используете версию Lux.jl до версии 1, инструкции по обновлению см. в разделе «Обновление до версии 1».

Пакеты	Стабильная версия	Ежемесячные загрузки	Всего загрузок	Статус сборки
? Люкс.jl
└ ? LuxLib.jl
└ ? LuxCore.jl
└ ? Млдатадевицес.jl
└ ? ВесInitializers.jl
└ ? LuxTestUtils.jl
└ ? LuxCUDA.jl

? Быстрый старт

 using Lux, Random, Optimisers, Zygote
# using LuxCUDA, AMDGPU, Metal, oneAPI # Optional packages for GPU support

# Seeding
rng = Random . default_rng ()
Random . seed! (rng, 0 )

# Construct the layer
model = Chain ( Dense ( 128 , 256 , tanh), Chain ( Dense ( 256 , 1 , tanh), Dense ( 1 , 10 )))

# Get the device determined by Lux
dev = gpu_device ()

# Parameter and State Variables
ps, st = Lux . setup (rng, model) |> dev

# Dummy Input
x = rand (rng, Float32, 128 , 2 ) |> dev

# Run the model
y, st = Lux . apply (model, x, ps, st)

# Gradients
# # First construct a TrainState
train_state = Lux . Training . TrainState (model, ps, st, Adam ( 0.0001f0 ))

# # We can compute the gradients using Training.compute_gradients
gs, loss, stats, train_state = Lux . Training . compute_gradients ( AutoZygote (), MSELoss (),
    (x, dev ( rand (rng, Float32, 10 , 2 ))), train_state)

# # Optimization
train_state = Training . apply_gradients! (train_state, gs) # or Training.apply_gradients (no `!` at the end)

# Both these steps can be combined into a single call
gs, loss, stats, train_state = Training . single_train_step! ( AutoZygote (), MSELoss (),
    (x, dev ( rand (rng, Float32, 10 , 2 ))), train_state)

Примеры

Посмотрите в каталоге примеров самостоятельные примеры использования. В документации есть примеры, отсортированные по соответствующим категориям.

? Получение помощи

По вопросам, связанным с использованием, используйте обсуждения Github, которые позволяют индексировать вопросы и ответы. Чтобы сообщить об ошибках, используйте задачи GitHub или, что еще лучше, отправьте запрос на включение.

?‍? Цитирование

Если вы нашли эту библиотеку полезной в академической работе, пожалуйста, укажите:

 @software { pal2023lux ,
  author    = { Pal, Avik } ,
  title     = { {Lux: Explicit Parameterization of Deep Neural Networks in Julia} } ,
  month     = apr,
  year      = 2023 ,
  note      = { If you use this software, please cite it as below. } ,
  publisher = { Zenodo } ,
  version   = { v0.5.0 } ,
  doi       = { 10.5281/zenodo.7808904 } ,
  url       = { https://doi.org/10.5281/zenodo.7808904 }
}

@thesis { pal2023efficient ,
  title     = { {On Efficient Training & Inference of Neural Differential Equations} } ,
  author    = { Pal, Avik } ,
  year      = { 2023 } ,
  school    = { Massachusetts Institute of Technology }
}

Также рассмотрите возможность использования нашего репозитория на github.

?‍ Содействие

Этот раздел несколько неполный. Вы можете внести свой вклад, внеся свой вклад в завершение этого раздела.

? Тестирование

Полное тестирование Lux.jl занимает много времени, вот как можно протестировать часть кода.

Для каждого @testitem есть соответствующие tags , например:

 @testitem " SkipConnection " setup = [SharedTestSetup] tags = [ :core_layers ]

Для примера рассмотрим тесты для SkipConnection :

 @testitem " SkipConnection " setup = [SharedTestSetup] tags = [ :core_layers ] begin
    ...
end

Мы можем проверить группу, к которой принадлежит SkipConnection , проверив core_layers . Для этого установите переменную среды LUX_TEST_GROUP или переименуйте тег, чтобы еще больше сузить область тестирования:

 export LUX_TEST_GROUP= " core_layers "

Или напрямую измените тестовый тег по умолчанию в runtests.jl :

 # const LUX_TEST_GROUP = lowercase(get(ENV, "LUX_TEST_GROUP", "all"))
const LUX_TEST_GROUP = lowercase ( get ( ENV , " LUX_TEST_GROUP " , " core_layers " ))

Но обязательно восстановите значение по умолчанию «все» перед отправкой кода.

Более того, если вы хотите запустить конкретный тест на основе имени набора тестов, вы можете использовать TestEnv.jl следующим образом. Начните с активации среды Lux, а затем запустите следующее:

 using TestEnv; TestEnv . activate (); using ReTestItems;

# Assuming you are in the main directory of Lux
ReTestItems . runtests ( " tests/ " ; name = " NAME OF THE TEST " )

Для тестов SkipConnection это будет:

ReTestItems . runtests ( " tests/ " ; name = " SkipConnection " )