belgpt2

Belgisches GPT-2 ??

Ein GPT-2-Modell, das auf einem sehr großen und heterogenen französischen Korpus (~60 GB) vorab trainiert wurde.

Verwendung

Sie können BelGPT-2 mit verwenden? Transformers-Bibliothek wie folgt:

belgpt2") tokenizer = GPT2Tokenizer.from_pretrained("antoiloui/ belgpt2 ") # Generate a sample of text model.eval() output = model.generate( bos_token_id=random.randint(1,50000), do_sample=True, top_k=50, max_length=100, top_p=0.95, num_return_sequences=1 ) # Decode it decoded_output = [] for sample in output: decoded_output.append(tokenizer.decode(sample, skip_special_tokens=True)) print(decoded_output)">

 import torch
from transformers import GPT2Tokenizer , GPT2LMHeadModel

# Load pretrained model and tokenizer
model = GPT2LMHeadModel . from_pretrained ( "antoiloui/ belgpt2 " )
tokenizer = GPT2Tokenizer . from_pretrained ( "antoiloui/ belgpt2 " )

# Generate a sample of text
model . eval ()
output = model . generate (
            bos_token_id = random . randint ( 1 , 50000 ),
            do_sample = True ,   
            top_k = 50 , 
            max_length = 100 ,
            top_p = 0.95 , 
            num_return_sequences = 1
)

# Decode it
decoded_output = []
for sample in output :
    decoded_output . append ( tokenizer . decode ( sample , skip_special_tokens = True ))
print ( decoded_output )

Dokumentation

Eine ausführliche Dokumentation zum vorab trainierten Modell, seiner Implementierung und den Daten finden Sie hier.

Zitat

Für die Quellenangabe im akademischen Kontext zitieren Sie diese Arbeit bitte wie folgt:

belgpt2, author = {Louis, Antoine}, title = {{BelGPT-2: a GPT-2 model pre-trained on French corpora.}}, year = {2020}, howpublished = {url{https://github.com/antoiloui/belgpt2}}, }">

 @misc{louis2020 belgpt2 ,
  author = {Louis, Antoine},
  title = {{BelGPT-2: a GPT-2 model pre-trained on French corpora.}},
  year = {2020},
  howpublished = {url{https://github.com/antoiloui/belgpt2}},
}