Lux.jl

Aprendizado de máquina científica elegante e de alto desempenho em Julia

Uma estrutura de aprendizado profundo Julia pura projetada para aprendizado de máquina científico

Instalação

 import Pkg
Pkg . add ( " Lux " )

Dica

Se você estiver usando uma versão anterior à v1 do Lux.jl, consulte a seção Atualizando para v1 para obter instruções sobre como atualizar.

Pacotes	Versão estável	Downloads mensais	Total de downloads	Status de construção
? Lux.jl
└ ? LuxLib.jl
└ ? LuxCore.jl
└ ? MLDataDevices.jl
└ ? PesoInitializers.jl
└ ? LuxTestUtils.jl
└ ? LuxCUDA.jl

? Início rápido

 using Lux, Random, Optimisers, Zygote
# using LuxCUDA, AMDGPU, Metal, oneAPI # Optional packages for GPU support

# Seeding
rng = Random . default_rng ()
Random . seed! (rng, 0 )

# Construct the layer
model = Chain ( Dense ( 128 , 256 , tanh), Chain ( Dense ( 256 , 1 , tanh), Dense ( 1 , 10 )))

# Get the device determined by Lux
dev = gpu_device ()

# Parameter and State Variables
ps, st = Lux . setup (rng, model) |> dev

# Dummy Input
x = rand (rng, Float32, 128 , 2 ) |> dev

# Run the model
y, st = Lux . apply (model, x, ps, st)

# Gradients
# # First construct a TrainState
train_state = Lux . Training . TrainState (model, ps, st, Adam ( 0.0001f0 ))

# # We can compute the gradients using Training.compute_gradients
gs, loss, stats, train_state = Lux . Training . compute_gradients ( AutoZygote (), MSELoss (),
    (x, dev ( rand (rng, Float32, 10 , 2 ))), train_state)

# # Optimization
train_state = Training . apply_gradients! (train_state, gs) # or Training.apply_gradients (no `!` at the end)

# Both these steps can be combined into a single call
gs, loss, stats, train_state = Training . single_train_step! ( AutoZygote (), MSELoss (),
    (x, dev ( rand (rng, Float32, 10 , 2 ))), train_state)

Exemplos

Procure no diretório de exemplos exemplos de uso independentes. A documentação possui exemplos classificados em categorias adequadas.

? Obtendo ajuda

Para perguntas relacionadas ao uso, use as Discussões do Github, que permitem que perguntas e respostas sejam indexadas. Para relatar bugs, use problemas do github ou, melhor ainda, envie uma solicitação pull.

?‍? Citação

Se você achou esta biblioteca útil em trabalhos acadêmicos, cite:

 @software { pal2023lux ,
  author    = { Pal, Avik } ,
  title     = { {Lux: Explicit Parameterization of Deep Neural Networks in Julia} } ,
  month     = apr,
  year      = 2023 ,
  note      = { If you use this software, please cite it as below. } ,
  publisher = { Zenodo } ,
  version   = { v0.5.0 } ,
  doi       = { 10.5281/zenodo.7808904 } ,
  url       = { https://doi.org/10.5281/zenodo.7808904 }
}

@thesis { pal2023efficient ,
  title     = { {On Efficient Training & Inference of Neural Differential Equations} } ,
  author    = { Pal, Avik } ,
  year      = { 2023 } ,
  school    = { Massachusetts Institute of Technology }
}

Considere também estrelar nosso repositório no GitHub.

?‍ Contribuindo

Esta seção está um tanto incompleta. Você pode contribuir contribuindo para finalizar esta seção?.

? Teste

O teste completo do Lux.jl leva muito tempo. Veja como testar uma parte do código.

Para cada @testitem , existem tags correspondentes, por exemplo:

 @testitem " SkipConnection " setup = [SharedTestSetup] tags = [ :core_layers ]

Por exemplo, vamos considerar os testes para SkipConnection :

 @testitem " SkipConnection " setup = [SharedTestSetup] tags = [ :core_layers ] begin
    ...
end

Podemos testar o grupo ao qual SkipConnection pertence testando core_layers . Para fazer isso, defina a variável de ambiente LUX_TEST_GROUP ou renomeie a tag para restringir ainda mais o escopo do teste:

 export LUX_TEST_GROUP= " core_layers "

Ou modifique diretamente a tag de teste padrão em runtests.jl :

 # const LUX_TEST_GROUP = lowercase(get(ENV, "LUX_TEST_GROUP", "all"))
const LUX_TEST_GROUP = lowercase ( get ( ENV , " LUX_TEST_GROUP " , " core_layers " ))

Mas certifique-se de restaurar o valor padrão “todos” antes de enviar o código.

Além disso, se desejar executar um teste específico com base no nome do conjunto de testes, você pode usar TestEnv.jl da seguinte maneira. Comece ativando o ambiente Lux e execute o seguinte:

 using TestEnv; TestEnv . activate (); using ReTestItems;

# Assuming you are in the main directory of Lux
ReTestItems . runtests ( " tests/ " ; name = " NAME OF THE TEST " )

Para os testes SkipConnection , isso seria:

ReTestItems . runtests ( " tests/ " ; name = " SkipConnection " )