lambda networks

람다 네트워크 - Pytorch

ImageNet의 SOTA에 도달하는 이미지 인식에 대한 새로운 접근 방식인 람다 네트워크 구현. 새로운 방법은 컨텍스트를 람다라고 하는 선형 함수로 변환하고 이러한 선형 함수를 각 입력에 개별적으로 적용하여 상호 작용을 캡처하는 람다 레이어를 활용합니다.

Yannic Kilcher의 논문 리뷰

설치하다

$ pip install lambda-networks

용법

글로벌 컨텍스트

 import torch
from lambda_networks import LambdaLayer

layer = LambdaLayer (
    dim = 32 ,       # channels going in
    dim_out = 32 ,   # channels out
    n = 64 ,         # size of the receptive window - max(height, width)
    dim_k = 16 ,     # key dimension
    heads = 4 ,      # number of heads, for multi-query
    dim_u = 1       # 'intra-depth' dimension
)

x = torch . randn ( 1 , 32 , 64 , 64 )
layer ( x ) # (1, 32, 64, 64)

현지화된 컨텍스트

 import torch
from lambda_networks import LambdaLayer

layer = LambdaLayer (
    dim = 32 ,
    dim_out = 32 ,
    r = 23 ,         # the receptive field for relative positional encoding (23 x 23)
    dim_k = 16 ,
    heads = 4 ,
    dim_u = 4
)

x = torch . randn ( 1 , 32 , 64 , 64 )
layer ( x ) # (1, 32, 64, 64)

재미삼아 다음과 같이 가져올 수도 있습니다.

 from lambda_networks import λLayer 

Tensorflow/Keras 버전

Shinel94에 Keras 구현이 추가되었습니다! 이 저장소에서는 공식적으로 지원되지 않으므로 ./lambda_networks/tfkeras.py 아래에 코드를 복사하여 붙여넣거나 다음을 실행하기 전에 tensorflow 및 keras 설치했는지 확인하세요.

 import tensorflow as tf
from lambda_networks . tfkeras import LambdaLayer

layer = LambdaLayer (
    dim_out = 32 ,
    r = 23 ,
    dim_k = 16 ,
    heads = 4 ,
    dim_u = 1
)

x = tf . random . normal (( 1 , 64 , 64 , 16 )) # channel last format
layer ( x ) # (1, 64, 64, 32) 

인용

 @inproceedings {
    anonymous2021lambdanetworks,
    title = { LambdaNetworks: Modeling long-range Interactions without Attention } ,
    author = { Anonymous } ,
    booktitle = { Submitted to International Conference on Learning Representations } ,
    year = { 2021 } ,
    url = { https://openreview.net/forum?id=xTJEN-ggl1b } ,
    note = { under review }
}