Lux.jl

Julia のエレガントでパフォーマンスの高い科学的機械学習

科学的機械学習用に設計された Pure Julia 深層学習フレームワーク

インストール

 import Pkg
Pkg . add ( " Lux " )

ヒント

Lux.jl の v1 より前のバージョンを使用している場合、更新方法については「v1 への更新」セクションを参照してください。

パッケージ	安定版	毎月のダウンロード	総ダウンロード数	ビルドステータス
?ラックス.jl
━ ━ ？ LuxLib.jl
━ ━ ？ LuxCore.jl
━ ━ ？ MLDataDevices.jl
━ ━ ？ WeightInitializers.jl
━ ━ ？ LuxTestUtils.jl
━ ━ ？ LuxCUDA.jl

?クイックスタート

 using Lux, Random, Optimisers, Zygote
# using LuxCUDA, AMDGPU, Metal, oneAPI # Optional packages for GPU support

# Seeding
rng = Random . default_rng ()
Random . seed! (rng, 0 )

# Construct the layer
model = Chain ( Dense ( 128 , 256 , tanh), Chain ( Dense ( 256 , 1 , tanh), Dense ( 1 , 10 )))

# Get the device determined by Lux
dev = gpu_device ()

# Parameter and State Variables
ps, st = Lux . setup (rng, model) |> dev

# Dummy Input
x = rand (rng, Float32, 128 , 2 ) |> dev

# Run the model
y, st = Lux . apply (model, x, ps, st)

# Gradients
# # First construct a TrainState
train_state = Lux . Training . TrainState (model, ps, st, Adam ( 0.0001f0 ))

# # We can compute the gradients using Training.compute_gradients
gs, loss, stats, train_state = Lux . Training . compute_gradients ( AutoZygote (), MSELoss (),
    (x, dev ( rand (rng, Float32, 10 , 2 ))), train_state)

# # Optimization
train_state = Training . apply_gradients! (train_state, gs) # or Training.apply_gradients (no `!` at the end)

# Both these steps can be combined into a single call
gs, loss, stats, train_state = Training . single_train_step! ( AutoZygote (), MSELoss (),
    (x, dev ( rand (rng, Float32, 10 , 2 ))), train_state)

例

自己完結型の使用例については、example ディレクトリを参照してください。ドキュメントには、適切なカテゴリに分類された例が記載されています。

?助けを求める

使用法に関する質問については、質問と回答のインデックスを作成できる Github Discussions をご利用ください。バグを報告するには、github issues を使用するか、プル リクエストを送信することをお勧めします。

?‍?引用

このライブラリが学術研究に役立つと思われた場合は、以下を引用してください。

 @software { pal2023lux ,
  author    = { Pal, Avik } ,
  title     = { {Lux: Explicit Parameterization of Deep Neural Networks in Julia} } ,
  month     = apr,
  year      = 2023 ,
  note      = { If you use this software, please cite it as below. } ,
  publisher = { Zenodo } ,
  version   = { v0.5.0 } ,
  doi       = { 10.5281/zenodo.7808904 } ,
  url       = { https://doi.org/10.5281/zenodo.7808904 }
}

@thesis { pal2023efficient ,
  title     = { {On Efficient Training & Inference of Neural Differential Equations} } ,
  author    = { Pal, Avik } ,
  year      = { 2023 } ,
  school    = { Massachusetts Institute of Technology }
}

github リポジトリにスターを付けることも検討してください。

?‍ 貢献しています

このセクションはやや不完全です。このセクションを完了するために貢献することができます?。

?テスト

Lux.jlの完全なテストには長い時間がかかります。コードの一部をテストする方法は次のとおりです。

各@testitemには、次のような対応するtagsがあります。

 @testitem " SkipConnection " setup = [SharedTestSetup] tags = [ :core_layers ]

たとえば、 SkipConnectionのテストを考えてみましょう。

 @testitem " SkipConnection " setup = [SharedTestSetup] tags = [ :core_layers ] begin
    ...
end

core_layersテストすることで、 SkipConnection属するグループをテストできます。これを行うには、 LUX_TEST_GROUP環境変数を設定するか、タグの名前を変更してテスト範囲をさらに絞り込みます。

 export LUX_TEST_GROUP= " core_layers "

または、 runtests.jlのデフォルトのテスト タグを直接変更します。

 # const LUX_TEST_GROUP = lowercase(get(ENV, "LUX_TEST_GROUP", "all"))
const LUX_TEST_GROUP = lowercase ( get ( ENV , " LUX_TEST_GROUP " , " core_layers " ))

ただし、コードを送信する前に必ずデフォルト値「all」に戻してください。

さらに、テストセットの名前に基づいて特定のテストを実行する場合は、次のように TestEnv.jl を使用できます。まずは Lux 環境をアクティブ化し、次のコマンドを実行します。

 using TestEnv; TestEnv . activate (); using ReTestItems;

# Assuming you are in the main directory of Lux
ReTestItems . runtests ( " tests/ " ; name = " NAME OF THE TEST " )

SkipConnectionテストの場合は次のようになります。

ReTestItems . runtests ( " tests/ " ; name = " SkipConnection " )