self attention cv 다운로드 - self attention cv 소스 코드 다운로드

self attention cv

AI 소스 코드

v2

다운로드

PyTorch의 컴퓨터 비전 애플리케이션을 위한 Self-attention 빌딩 블록

einsum 및 einops를 사용하여 PyTorch에서 컴퓨터 비전을 위한 자기 주의 메커니즘을 구현합니다. 컴퓨터 비전 자체 주의 모듈에 중점을 둡니다.

pip를 통해 설치

$ pip install self-attention-cv

GPU가 없는 경우를 대비하여 귀하의 환경에 pytorch를 미리 설치해 두는 것이 좋을 것입니다. 터미널 $ pytest 에서 테스트를 실행하려면 먼저 export PYTHONPATH=$PATHONPATH:`pwd` 실행해야 할 수도 있습니다.

코드 예

멀티헤드 어텐션

 import torch
from self_attention_cv import MultiHeadSelfAttention

model = MultiHeadSelfAttention ( dim = 64 )
x = torch . rand ( 16 , 10 , 64 )  # [batch, tokens, dim]
mask = torch . zeros ( 10 , 10 )  # tokens X tokens
mask [ 5 : 8 , 5 : 8 ] = 1
y = model ( x , mask )

축주의

 import torch
from self_attention_cv import AxialAttentionBlock
model = AxialAttentionBlock ( in_channels = 256 , dim = 64 , heads = 8 )
x = torch . rand ( 1 , 256 , 64 , 64 )  # [batch, tokens, dim, dim]
y = model ( x )

바닐라 변압기 인코더

 import torch
from self_attention_cv import TransformerEncoder
model = TransformerEncoder ( dim = 64 , blocks = 6 , heads = 8 )
x = torch . rand ( 16 , 10 , 64 )  # [batch, tokens, dim]
mask = torch . zeros ( 10 , 10 )  # tokens X tokens
mask [ 5 : 8 , 5 : 8 ] = 1
y = model ( x , mask )

이미지 분류를 위한 ResNet50 백본이 있거나 없는 Vision Transformer

 import torch
from self_attention_cv import ViT , ResNet50ViT

model1 = ResNet50ViT ( img_dim = 128 , pretrained_resnet = False , 
                        blocks = 6 , num_classes = 10 , 
                        dim_linear_block = 256 , dim = 256 )
# or
model2 = ViT ( img_dim = 256 , in_channels = 3 , patch_dim = 16 , num_classes = 10 , dim = 512 )
x = torch . rand ( 2 , 3 , 256 , 256 )
y = model2 ( x ) # [2,10]

Vision Transformer 인코더를 사용한 Unet 재구현

 import torch
from self_attention_cv . transunet import TransUnet
a = torch . rand ( 2 , 3 , 128 , 128 )
model = TransUnet ( in_channels = 3 , img_dim = 128 , vit_blocks = 8 ,
vit_dim_linear_mhsa_block = 512 , classes = 5 )
y = model ( a ) # [2, 5, 128, 128]

병목 현상 주의 블록

 import torch
from self_attention_cv . bottleneck_transformer import BottleneckBlock
inp = torch . rand ( 1 , 512 , 32 , 32 )
bottleneck_block = BottleneckBlock ( in_channels = 512 , fmap_size = ( 32 , 32 ), heads = 4 , out_channels = 1024 , pooling = True )
y = bottleneck_block ( inp )

위치 임베딩도 가능합니다.

1D 위치 임베딩

 import torch
from self_attention_cv . pos_embeddings import AbsPosEmb1D , RelPosEmb1D

model = AbsPosEmb1D ( tokens = 20 , dim_head = 64 )
# batch heads tokens dim_head
q = torch . rand ( 2 , 3 , 20 , 64 )
y1 = model ( q )

model = RelPosEmb1D ( tokens = 20 , dim_head = 64 , heads = 3 )
q = torch . rand ( 2 , 3 , 20 , 64 )
y2 = model ( q )

2D 위치 임베딩

 import torch
from self_attention_cv . pos_embeddings import RelPosEmb2D
dim = 32  # spatial dim of the feat map
model = RelPosEmb2D (
    feat_map_size = ( dim , dim ),
    dim_head = 128 )

q = torch . rand ( 2 , 4 , dim * dim , 128 )
y = model ( q )

감사의 말

멋진 einops 패키지를 제공해 주신 Alex Rogozhnikov @arogozhnikov에게 감사드립니다. 재구현을 위해 저는 Phil Wang @lucidrains의 여러 저장소에서 코드를 연구하고 빌려왔습니다. 그의 코드를 연구함으로써 나는 self-attention을 파악하고, 논문에 전혀 언급되지 않은 nlp 내용을 발견하고, 그의 깔끔한 코딩 스타일에서 배울 수 있었습니다.

다음과 같이 인용

 @article{adaloglou2021transformer,
    title   = "Transformers in Computer Vision",
    author  = "Adaloglou, Nikolas",
    journal = "https://theaisummer.com/",
    year    = "2021",
    howpublished = {https://github.com/The-AI-Summer/self-attention-cv},
  }

참고자료

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, AN, ... & Polosukhin, I. (2017). 주의가 필요한 전부입니다. arXiv 사전 인쇄 arXiv:1706.03762.
Wang, H., Zhu, Y., Green, B., Adam, H., Yuille, A., & Chen, LC(2020, 8월). Axial-deeplab: 팬옵틱 분할을 위한 독립형 축 주의입니다. 컴퓨터 비전에 관한 유럽 회의(pp. 108-126). 스프링거, 참.
Srinivas, A., Lin, TY, Parmar, N., Shlens, J., Abbeel, P., & Vaswani, A. (2021). 시각적 인식을 위한 병목 현상 변환기. arXiv 사전 인쇄 arXiv:2101.11605.
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., ... & Houlsby, N.(2020). 이미지는 16x16 단어의 가치가 있습니다. 대규모 이미지 인식을 위한 변환기입니다. arXiv 사전 인쇄 arXiv:2010.11929.
Ramachandran, P., Parmar, N., Vaswani, A., Bello, I., Levskaya, A., & Shlens, J. (2019). 비전 모델의 독립형 self-attention. arXiv 사전 인쇄 arXiv:1906.05909.
Chen, J., Lu, Y., Yu, Q., Luo, X., Adeli, E., Wang, Y., ... & Zhou, Y.(2021). Transunet: Transformers는 의료 이미지 분할을 위한 강력한 인코더를 만듭니다. arXiv 사전 인쇄 arXiv:2102.04306.
Wang, S., Li, B., Khabsa, M., Fang, H., & Ma, H. (2020). Linformer: 선형적 복잡성을 지닌 Self-attention. arXiv 사전 인쇄 arXiv:2006.04768.
Bertasius, G., Wang, H., & Torresani, L. (2021). 영상 이해를 위해 필요한 것은 시공간 주의뿐인가?. arXiv 사전 인쇄 arXiv:2102.05095.
Shaw, P., Uszkoreit, J., & Vaswani, A. (2018). 상대 위치 표현을 사용한 Self-attention. arXiv 사전 인쇄 arXiv:1803.02155.