OpenDialog

Опендиалог

Теперь у нас есть тестовый интерфейс, который можно использовать, выполнив поиск в общедоступной учетной записи WeChat OpenDialog

OpenDialog построен на преобразователях на базе PyTorch. Предоставляет серию моделей диалога в открытом домене китайского языка (чат-разговоры) на основе трансформаторов, собирает существующие ресурсы данных и постоянно дополняет соответствующие наборы данных китайской системы разговоров с целью создания диалоговой платформы китайского чата с открытым исходным кодом.

Последние разработки:

• 2020.8.20 завершил интерфейс генеративной модели предварительного обучения открытого домена LCCC-GPT-Large и запустил следующий код, чтобы запустить соответствующую службу.

  ./run_flask lccc < gpu_id >

• 26.10.2020 завершена партия моделей диалоговых окон поиска би-энкодера (берт-би-энкодер, полиэнкодер и т. д.)

• ...

Учебное пособие

1. Краткое описание структуры и документов проекта.

Основные файлы и каталоги OpenDialog:

• data : набор данных, файл конфигурации, список слов, вектор слов, сценарий обработки набора данных.
• models : диалоговые модели
• metrics : показатели оценки
• multiview : модель многоракурсного переранжирования, переранжирование для получения ответов кандидатов в диалоге
• ckpt : хранит модель обучения
• rest : хранит журналы тензорной доски и файлы результатов, созданные на этапе тестирования.
• utils : хранит функции инструмента.
• dataloader.py : скрипт загрузки набора данных.
• main.py : основной рабочий файл
• header.py : пакет, который необходимо импортировать.
• eval.py : вызов сценария оценки показателей оценки в metrics , чтобы проверить результаты файла, сгенерированного в rest
• run.sh : запустить пакетный скрипт
• run_flask.sh : вызов модели и запуск службы.

2. Подготовьте среду

1. Базовая системная среда: Linux/Ubuntu-16.04+ , Python 3.6+ , GPU (default 1080 Ti)

2. Установите библиотеки, зависящие от Python

pip install -r requirements.txt

3. Установите ElasticSearch

   Диалоговая система на основе поиска должна сначала использовать elasticsearch для грубого отбора. В то же время, чтобы добиться сегментации китайских слов на этапе грубого отбора, необходимо загрузить и установить сегментатор китайских слов.

4. Установить mongodb

   После запуска службы mongodb будет использоваться для хранения истории сеансов и необходимых данных.

3. Подготовьте данные

1. Ссылка на набор данных Baidu Cloud: https://pan.baidu.com/s/1xJibJmOOCGIzmJVC6CZ39Q. Код извлечения: vmua;
2. Сохраните соответствующие файлы данных в соответствующих подкаталогах каталога data и сохраните файлы векторов слов chinese_w2v.txt и english_w2v.bin в data .
3. Подробную информацию о данных и предварительно обработанных данных см. в data/README.md .
4. Доступные наборы данных

5. Модель обучения

• Модель обучения поддерживает параллелизм с несколькими графическими процессорами. Вам нужно указать только несколько идентификаторов графических процессоров <gpu_ids> , например 0,1,2,3
• Имя dataset соответствует имени в каталоге data .

Модель	КМД	Тип	Подробности	Ссылаться	Модель перед поездкой
берпоиск	./run.sh train <набор данных> bertretrival <gpu_ids>	поиск	Модель тонкой настройки на основе Берта (тонкая настройка)	Бумага
gpt2	./run.sh train <набор данных> gpt2 <gpu_ids>	порождающий	Модель генеративного диалога GPT2	Код
gpt2gan	./run.sh train <набор данных> gpt2gan <gpu_ids>	порождающий	Диалоговая модель на основе GAN, генеративная модель — GPT2, а дискриминантная модель — модель двух классификаций BERT.	Бумага

6. Результаты экспериментов

7. Запустите службу фляги.

1. Запустить службу колб

    ./run_flask.sh <model_name> <gpu_id>
   

2. Интерфейс вызова

   • Публичный аккаунт WeChat
   • почтальон