Chinese Chatbot PyTorch Implementation

? Сяочжи, еще один китайский чат-бот:ням:

? Используя интересный китайский корпус qingyun, китайский чат-робот, написанный @Doragd: Snowman:

• Хоть она и не идеальна :muscle:, но и не так уж хороша :paw_prints:

• Но она была закодирована мной:sparkling_heart:, так что

• Надеюсь, каждый сможет дать больше звезд, чтобы поддержать этого новичка в НЛП и его друзей?

?фон

Этот проект на самом деле является подмодулем разработки курса разработки программного обеспечения. Наша цель — разработать интеллектуальную систему обработки билетов для обслуживания клиентов.

Фактический рабочий процесс интеллектуальной системы заказов на обслуживание клиентов таков: когда человек задает вопрос системе, система сначала ищет в базе знаний, чтобы увидеть, есть ли соответствующий вопрос. Если да, она возвращает ответ на вопрос. Если человек на данный момент не удовлетворен, он или она может напрямую отправить заказ на работу. Если его нет в базе знаний, этот чат-бот вызывается для автоматического ответа.

Сценарий обслуживания этой системы аналогичен системе обслуживания клиентов Tencent Cloud. Клиенты в основном приходят для консультации по сопутствующим вопросам (облачные серверы, доменные имена и т. д.), поэтому база знаний также представляет собой набор консультаций и устранения неполадок (вопросы, ответы). про облачные серверы, доменные имена и т.д.

Внешний интерфейс системы, а также взаимодействие с внешними и внутренними сообщениями завершает другой одноклассник @adjlyadv, в основном используя React+Django.

@Doragd отвечает за приобретение базы знаний, а также написание, обучение и тестирование чат-бота. Содержание этого репо также об этом.

? Тестовый эффект

• Ответ без использования базы знаний

• Используйте базу знаний для ответа

• Общий эффект системы:

?Структура проекта

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?Зависимые библиотеки

Установить зависимости

$ pip install -r requirements.txt

?Начать

Предварительная обработка данных (можно опустить)

$ python datapreprocess.py

Предварительная обработка корпуса для создания corpus.pth ( corpus.pth загружен сюда, поэтому этот шаг можно пропустить )

Изменяемые параметры:

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

использовать

• Используйте базу знаний

При использовании базы знаний необходимо передать параметр use_QA_first=True В этот момент для входной строки лучший вопрос и ответ сначала сопоставляются в базе знаний и возвращаются. Если его не удается найти, вызывается чат-бот для автоматической генерации ответа.

База знаний здесь представляет собой сборник из 100 часто задаваемых вопросов и ответов, собранных на основе официальных документов Tencent Cloud и предназначенных только для тестирования!

$ python main.py chat --use_QA_first=True

• Не использовать базу знаний

В связи с потребностями разработки курса были добавлены пары вопросов и ответов Tencent Cloud, но это не имеет отношения к проекту чат-робота, поэтому при обычном использовании use_QA_first=False этот параметр по умолчанию имеет значение True

$ python main.py chat --use_QA_first=False

• Использовать параметры по умолчанию

$ python main.py chat

• Выход из чата: введите exit , quit или q

Другие настраиваемые параметры

Объясните в файле config.py

Когда вам нужно передать новые параметры, вам нужно передать их только из командной строки в виде

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

Приведенная выше команда указывает путь для загрузки обученной модели и следует ли использовать базу знаний.

?Техническая реализация

корпус

Название корпуса	Количество корпусов	Пояснения к источникам корпуса	Характеристики корпуса	Образец корпуса	Было ли оно причастно
Цинъюнь (корпус Цинъюнь)	10 Вт	Группа общения чат-бота	Относительно хороший, жизненный	В: Кажется, ты очень любишь деньги. А: Правда? Тогда ты почти у цели	нет

• Источник: https://github.com/codemayq/chinese_chatbot_corpus.

Seq2Seq

• Кодировщик: двухслойный двунаправленный GRU
• Декодер: двухслойный однонаправленный GRU

Внимание

• Глобальное внимание, использование точки для подсчета баллов
• Ссылка https://arxiv.org/abs/1508.04025.

?Модель обучения и оценки

$ python train_eval.py train [--options]

Часть количественной оценки еще не написана. Она должна измеряться по недоумению. В настоящее время она может только генерировать предложения и вручную оценивать качество.

$ python train_eval.py eval [--options]

?Запись и сводка прыжков с ямы

• Самый глубокий опыт показывает, что «существует разрыв N реализаций программирования между пониманием и пониманием знаний глубокого обучения». Хотя теория всем очень понятна, когда дело доходит до реализации программирования, всегда будут такие-то проблемы: от обработки наборов данных до программной реализации множества формул, настройки параметров, настройки графического процессора и других вопросов.
• Фактический процесс этой практики заключался в том, чтобы следовать учебнику PyTorch и сначала пройти часть чат-бота. Пройдя его, я изменил корпус, обработал его, а затем провел рефакторинг кода в соответствии со стилем класса. Затем была бесконечность. В процессе отладки я столкнулся со многими подводными камнями, особенно при перемещении тензоров на графический процессор, мы сталкиваемся с различными проблемами, в основном потому, что мы не знаем точно, что и когда было перемещено в (устройство).
  • В ходе тестирования мы обнаружили, что model.to(device) будет перемещать параметры только в графический процессор и не будет перемещать тензор-член, определенный в классе, поэтому, если вы определяете новый тензор в методе вперед, не забудьте переместить его.
  • Еще есть вопрос порядка перемещения: сначала переместите модель на GPU, а потом определите оптимизатор. И методу перемещения: model=model.to(device), не забудьте присвоить значение.
  • Графическому процессору легко не хватить памяти. При написании кода обращайте внимание на использование памяти и минимизируйте дублирование тензоров.
  • После изменения китайского корпуса в начале обучение всегда не сходилось. В конце концов я обнаружил, что параметр пакетного размера слишком мал. На самом деле я чувствовал, что размер пакета должен быть как можно больше, когда видеопамять. достаточно. На самом деле я видел это раньше, но совершенно забыл об этом, когда писал код. Это показывает, что я недостаточно понимал, когда увидел мини-пакет в то время. Мне все еще приходится писать код, чтобы иметь возможность глубоко укорениться в сердцах людей. По крайней мере, ошибки глубоко укоренились в сердцах людей.
  • Другая проблема заключается в том, что я неправильно понял torch.long, думая, что это высокоточный тип с плавающей запятой, но это оказался тип int64, что вызвало ошибку. Мне потребовалось много времени, чтобы понять, что происходит. Это говорит нам о необходимости внимательно прочитать документацию.
  • Конечным преимуществом является знакомство с тем, как на самом деле реализовать модель, что очень важно.
• На самом деле эффект от этой модели не очень хороший. Помимо проблем самой модели, я обнаружил, что качество сегментации слов серьезно влияет на качество предложения. Однако при этом я даже не ставил стоп-слова во время. сегментацию слов, могут возникнуть некоторые странные результаты.
• Другая проблема заключается в том, что при работе с последовательностями переменной длины, если функция потерь определена вами, она легко может стать нестабильной. Мы все еще изучаем официальный API.
• В ходе этой практики я также обнаружил, что мое понимание некоторых параметров недостаточно глубоко, и я не знаю, как их корректировать, поэтому пришлось дополнить теорию.
• Оценку модели еще предстоит сделать.

Благодарности

• Официальное руководство по чат-боту
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• Предоставить китайский корпус
  • https://github.com/codemayq/chinese_chatbot_corpus
• Содержимое соответствует официальному руководству по чат-боту, но содержит подробные комментарии к коду.
  • http://fancyerii.github.io/2019/02/14/chatbot/
• Пожалуйста, обратите внимание на метод письма и привычки модели.
  • https://github.com/chenyuntc/pytorch-book