nGPT pytorch

nGPT(정규화된 GPT) - Pytorch

NvidiaAI의 하이퍼스피어에서 완전히 학습하여 nGPT를 빠르게 구현합니다. 문제는 그들이 양탄자 밑에 휩쓸었던 표현력의 상실이 있는지 여부이지만 나는 그것을 성실하게 받아들이겠습니다.

이러한 유형의 네트워크는 지속적인 학습과 가소성의 상실이라는 맥락에서도 연구되어야 합니다.

비전 트랜스포머에 대한 적응이 여기에 있습니다

설치하다

$ pip install nGPT-pytorch

용법

 import torch
from nGPT_pytorch import nGPT

model = nGPT (
    num_tokens = 256 ,
    dim = 512 ,
    depth = 4 ,
    attn_norm_qk = True
)

x = torch . randint ( 0 , 256 , ( 2 , 2048 ))

loss = model ( x , return_loss = True )
loss . backward ()

logits = model ( x ) # (2, 2048, 256) 

시험

엔윅8

$ python train.py

인용

 @inproceedings { Loshchilov2024nGPTNT ,
    title   = { nGPT: Normalized Transformer with Representation Learning on the Hypersphere } ,
    author  = { Ilya Loshchilov and Cheng-Ping Hsieh and Simeng Sun and Boris Ginsburg } ,
    year    = { 2024 } ,
    url     = { https://api.semanticscholar.org/CorpusID:273026160 }
}

 @article { Luo2017CosineNU ,
    title     = { Cosine Normalization: Using Cosine Similarity Instead of Dot Product in Neural Networks } ,
    author    = { Chunjie Luo and Jianfeng Zhan and Lei Wang and Qiang Yang } ,
    journal   = { ArXiv } ,
    year      = { 2017 } ,
    volume    = { abs/1702.05870 } ,
    url       = { https://api.semanticscholar.org/CorpusID:1505432 }
}

 @inproceedings { Zhou2024ValueRL ,
    title   = { Value Residual Learning For Alleviating Attention Concentration In Transformers } ,
    author  = { Zhanchao Zhou and Tianyi Wu and Zhiyun Jiang and Zhenzhong Lan } ,
    year    = { 2024 } ,
    url     = { https://api.semanticscholar.org/CorpusID:273532030 }
}