OpenDialog

OpenDialog

Agora temos uma interface de teste, que pode ser usada pesquisando na conta pública do WeChat OpenDialog

OpenDialog é baseado em transformadores baseados em PyTorch. Fornece uma série de modelos de diálogo de domínio aberto chinês baseados em transformadores (conversas de bate-papo), coleta recursos de dados existentes e complementa continuamente os conjuntos de dados correspondentes do sistema de conversação chinês, com a intenção de construir uma plataforma de diálogo de bate-papo chinês de código aberto.

Últimos desenvolvimentos:

• 2020.8.20, concluiu a interface do modelo de pré-treinamento generativo de domínio aberto LCCC-GPT-Large e execute o código a seguir para iniciar o serviço correspondente

  ./run_flask lccc < gpu_id >

• 2020.10.26, completou um lote de modelos de diálogo de recuperação de bi-codificador (bert-bi-encoder, polyencoder, etc.)

• ...

Tutorial

1. Breve descrição da estrutura e documentos do projeto

Arquivos e diretórios principais do OpenDialog:

• data : conjunto de dados, arquivo de configuração, lista de palavras, vetor de palavras, script de processamento de conjunto de dados
• models : modelos de diálogo
• metrics : indicadores de avaliação
• multiview : modelo de reclassificação multiângulo, reclassificação para obter respostas dos candidatos ao diálogo
• ckpt : armazena o modelo de treinamento
• rest : armazena logs do tensorboard e arquivos de resultados gerados durante a fase de teste
• utils : armazena funções da ferramenta
• dataloader.py : script de carregamento do conjunto de dados
• main.py : arquivo principal em execução
• header.py : o pacote que precisa ser importado
• eval.py : Chame o script de avaliação dos indicadores de avaliação em metrics para testar os resultados do arquivo gerado em rest
• run.sh : executa script em lote
• run_flask.sh : Chame o modelo e inicie o serviço

2. Prepare o ambiente

1. Ambiente de sistema básico: Linux/Ubuntu-16.04+ , Python 3.6+ , GPU (default 1080 Ti)

2. Instale bibliotecas dependentes de python

pip install -r requirements.txt

3. Instale ElasticSearch

   O sistema de diálogo baseado em recuperação precisa primeiro usar elasticsearch para uma triagem aproximada. Ao mesmo tempo, para alcançar a segmentação de palavras chinesas no estágio de recuperação de triagem grosseira, um segmentador de palavras chinesas precisa ser baixado e instalado.

4. Instale mongodb

   Após iniciar o serviço, mongodb será usado para armazenar o histórico da sessão e os dados necessários

3. Prepare os dados

1. Link do conjunto de dados Baidu Cloud: https://pan.baidu.com/s/1xJibJmOOCGIzmJVC6CZ39Q Código de extração: vmua;
2. Armazene os arquivos de dados correspondentes nos subdiretórios correspondentes no diretório data e armazene os arquivos vetoriais de palavras chinese_w2v.txt e english_w2v.bin em data .
3. Consulte data/README.md para detalhes de dados e dados pré-processados.
4. Conjuntos de dados disponíveis

5. Modelo de treinamento

• O modelo de treinamento suporta paralelismo multi-GPU. Você só precisa especificar vários IDs de GPU <gpu_ids> , como 0,1,2,3
• O nome dataset é consistente com o nome no diretório data .

Modelo	DMC	Tipo	Detalhes	Consulte	Modelo pré-treinamento
recuperação	./run.sh train <dataset> bertretrieval <gpu_ids>	recuperação	Modelo de ajuste fino baseado em Bert (ajuste fino)	Papel
gpt2	./run.sh train <conjunto de dados> gpt2 <gpu_ids>	generativo	Modelo de diálogo generativo GPT2	Código
gpt2gan	./run.sh train <conjunto de dados> gpt2gan <gpu_ids>	generativo	Modelo de diálogo baseado em GAN, o modelo generativo é GPT2 e o modelo discriminante é o modelo de duas classificações BERT.	Papel

6. Resultados experimentais

7. Inicie o serviço de frasco

1. Iniciar serviço de frasco

    ./run_flask.sh <model_name> <gpu_id>
   

2. Interface de chamada

   • Conta pública WeChat
   • carteiro