calm textgame

Modelo de linguagem de ação contextual (CALM) e conjunto de dados ClubFloyd

Código e dados para papel Keep CALM and Explore: Language Models for Action Generation in Text-based Games no EMNLP 2020.

Visão geral

Nosso conjunto de dados ClubFloyd ( calm/lm_data.zip ) é rastreado do site ClubFloyd e contém 426 transcrições de jogabilidade humana, que cobrem 590 jogos baseados em texto de diversos gêneros e estilos.

Os dados consistem em 223.527 pares contexto-ação no formato [CLS] observation [SEP] action [SEP] next observation [SEP] next action [SEP] . Usamos [CLS] observation [SEP] action [SEP] next observation [SEP] como contexto para treinar modelos de linguagem (n-gram, GPT-2) para prever next action [SEP] e mostrar que essa capacidade de geração de ação generaliza para jogos invisíveis e oferece suporte à jogabilidade quando combinado com aprendizagem por reforço.

Começando

• Clone o repositório e instale as dependências:

pip install torch==1.4 transformers==2.5.1 jericho fasttext wandb importlib_metadata
git clone https://github.com/princeton-nlp/calm-textgame && cd calm-textgame
ln -s ../lm calm && ln -s ../lm drrn

(Se a instalação do pip falhar para fasttext, tente as etapas de construção aqui: https://github.com/facebookresearch/fastText#building-fasttext-for-python)

• Treine CALMA:

 cd calm
unzip lm_data.zip
python train.py

Os pesos dos modelos treinados podem ser baixados aqui para os modelos GPT-2 e n-gramas.

• Em seguida, treine DRRN usando o CALM treinado:

 cd ../drrn
python train.py --rom_path ../games/ ${GAME} --lm_path ${PATH_TO_CALM} --lm_type ${gpt_or_ngram}

• Para experimentar rapidamente o modelo GPT-2 CALM:

 from lm import GPT2LM
model = GPT2LM ( "model_weights/gpt2" )
print ( model . generate ( "[CLS] observation [SEP] action [SEP] next observation [SEP]" , k = 30 ))

Citação

 @inproceedings{yao2020calm,
    title={Keep CALM and Explore: Language Models for Action Generation in Text-based Games},
    author={Yao, Shunyu and Rao, Rohan and Hausknecht, Matthew and Narasimhan, Karthik},
    booktitle={Empirical Methods in Natural Language Processing (EMNLP)},
    year={2020}
}

Agradecimentos

Obrigado Jacqueline por hospedar o maravilhoso site ClubFloyd e conceder nosso uso!

O código é emprestado de TDQN (para a parte RL) e Huggingface Transformers (para a parte CALM).

Para qualquer dúvida entre em contato com Shunyu Yao <[email protected]> .