Главная страница>Связанные с программированием>AI Исходный код
Скачать

логотип

NLP-Models-Tensorflow . Собирает модели машинного обучения и глубокого обучения тензорного потока для задач НЛП, упрощает код внутри Jupyter Notebooks 100% .

Оглавление

  • Абстрактное обобщение
  • Чат-бот
  • Парсер зависимостей
  • Маркировка объектов
  • Экстрактивное обобщение
  • Генератор
  • Определение языка
  • Нейронный машинный перевод
  • оптическое распознавание символов
  • POS-теги
  • Вопросы-Ответы
  • Пары предложений
  • Преобразование речи в текст
  • Исправление орфографии
  • SQUAD Вопросы-Ответы
  • Стемминг
  • Увеличение текста
  • Классификация текста
  • Сходство текста
  • Преобразование текста в речь
  • Генератор тем
  • Тематическое моделирование
  • Неконтролируемое извлекающее обобщение
  • векторизатор
  • Вокодер от старых к молодым
  • Визуализация
  • Внимание

Цель

Оригинальные реализации довольно сложны и не очень удобны для новичков. Поэтому я постарался упростить большую часть этого. Кроме того, существует множество еще не выпущенных документов по реализации. Так что смело используйте его для собственных исследований!

Я приложу репозитории GitHub для моделей, которые я не реализовал с нуля, в основном я копирую, вставляю и исправляю этот код для устранения устаревших проблем.

Версия Тензорного потока

Только Tensorflow версии 1.13 и выше, версия 2.X не включена. 1.13 < Тензорный поток < 2.0 

pip install -r requirements.txt

Содержание

Абстрактное обобщение

Обучался новостям Индии.

Точность основана только на 10 эпохах и рассчитана с использованием позиций слов.

Полный список (12 тетрадей)
  1. LSTM Seq2Seq с использованием тематического моделирования, точность теста 13,22%
  2. LSTM Seq2Seq + Luong Внимание с использованием тематического моделирования, точность теста 12,39%
  3. LSTM Seq2Seq + Beam Decoder с использованием тематического моделирования, точность теста 10,67%
  4. LSTM двунаправленный + внимание Луонга + декодер луча с использованием тематического моделирования, точность теста 8,29%
  5. Pointer-Generator + Bahdanau, https://github.com/xueyouluo/my_seq2seq, точность теста 15,51%
  6. Копнет, точность теста 11,15%
  7. Pointer-Generator + Luong, https://github.com/xueyouluo/my_seq2seq, точность теста 16,51%
  8. Расширенный Seq2Seq, точность теста 10,88%
  9. Расширенный Seq2Seq + Self Attention, точность теста 11,54%
  10. BERT + расширенный CNN Seq2seq, точность теста 13,5%
  11. самовнимание + Указатель-Генератор, точность теста 4,34%
  12. Dilated-CNN Seq2seq + указатель-генератор, точность теста 5,57%

Чат-бот

Прошел обучение на корпусе Cornell Movie Dialog, таблице точности в чат-боте.

Полный список (54 тетради)
  1. Базовая ячейка Seq2Seq-руководство
  2. Руководство по LSTM Seq2Seq
  3. GRU Seq2Seq-руководство
  4. Базовая ячейка Seq2Seq-API Жадный
  5. LSTM Seq2Seq-API жадный
  6. GRU Seq2Seq-API Жадный
  7. Базовая ячейка Двунаправленная Seq2Seq-руководство
  8. LSTM Двунаправленный Seq2Seq-руководство
  9. GRU двунаправленный Seq2Seq-руководство
  10. Базовая ячейка Двунаправленный Seq2Seq-API Жадный
  11. LSTM двунаправленный Seq2Seq-API жадный
  12. GRU Двунаправленный Seq2Seq-API Жадный
  13. Базовая ячейка Seq2Seq-руководство + Внимание Luong
  14. LSTM Seq2Seq-руководство + Luong Внимание
  15. GRU Seq2Seq-руководство + Luong Внимание
  16. Базовая ячейка Seq2Seq-руководство + Богданов Внимание
  17. LSTM Seq2Seq-руководство + Богданау Внимание
  18. GRU Seq2Seq-руководство + Богданов Внимание!
  19. LSTM Двунаправленный Seq2Seq-руководство + Внимание Luong
  20. GRU двунаправленный Seq2Seq-руководство + Luong Внимание
  21. LSTM двунаправленный Seq2Seq-руководство + Багданау Внимание
  22. ГРУ Двунаправленный Seq2Seq-руководство + Богданау Внимание
  23. LSTM Двунаправленный Seq2Seq-ручной + назад Бахданау + вперед Луонг
  24. GRU Двунаправленный Seq2Seq-ручной + назад Багданау + вперед Луонг
  25. LSTM Seq2Seq-API Greedy + Внимание Луонга
  26. GRU Seq2Seq-API Greedy + Внимание Луонга
  27. LSTM Seq2Seq-API Greedy + Bahdanau Внимание
  28. GRU Seq2Seq-API Greedy + Bahdanau Внимание
  29. Декодер луча LSTM Seq2Seq-API
  30. Декодер луча GRU Seq2Seq-API
  31. Двунаправленный Seq2Seq-API LSTM + внимание Luong + декодер луча
  32. GRU Двунаправленный Seq2Seq-API + Внимание Луонга + Декодер луча
  33. LSTM Двунаправленный Seq2Seq-API + обратный Бахданау + прямой Луонг + стек Багданау Луонг Внимание + лучевой декодер
  34. GRU Двунаправленный Seq2Seq-API + обратный Бахданау + прямой Луонг + стек Багданау Луонг Внимание + лучевой декодер
  35. Байтенет
  36. LSTM Seq2Seq + tf.estimator
  37. Слои капсулы + LSTM Seq2Seq-API Greedy
  38. Слои капсулы + LSTM Seq2Seq-API + Внимание Luong + Декодер луча
  39. LSTM Двунаправленный Seq2Seq-API + обратный Bahdanau + прямой Luong + стек Bahdanau Luong Внимание + декодер луча + Dropout + L2
  40. DNC Seq2Seq
  41. Двунаправленный Seq2Seq-API LSTM + монотическое внимание Луонга + лучевой декодер
  42. Двунаправленный Seq2Seq-API LSTM + монотическое внимание Багданау + лучевой декодер
  43. Сквозная сеть памяти + базовая ячейка
  44. Сквозная сеть памяти + ячейка LSTM
  45. Внимание — это все, что вам нужно
  46. Трансформер-XL
  47. Внимание — это все, что вам нужно + Поиск по лучу
  48. Трансформер-XL + ЛСТМ
  49. ГПТ-2 + ЛСТМ
  50. CNN Seq2seq
  51. Conv-кодировщик + LSTM
  52. Такотрон + Жадный декодер
  53. Такотрон + декодер луча
  54. Google НМТ

Парсер зависимостей

Прошел обучение по теме CONLL English Dependency. Обучайте набор для обучения, разрабатывайте и тестируйте наборы для тестирования.

Stackpointer и Biaffine-attention изначально взяты из https://github.com/XuezheMax/NeuroNLP2, написаны на Pytorch.

Точность основана на точности дуги, типов и корней только после 15 эпох.

Полный список (8 тетрадей)
  1. Двунаправленный RNN + CRF + Biaffine, точность дуги 70,48%, точность типов 65,18%, корневая точность 66,4%
  2. Двунаправленный RNN + Багданау + CRF + Biaffine, точность дуги 70,82%, точность типов 65,33%, корневая точность 66,77%
  3. Двунаправленный RNN + Luong + CRF + Biaffine, точность дуги 71,22%, точность типов 65,73%, корневая точность 67,23%
  4. BERT Base + CRF + Biaffine, точность дуги 64,30%, точность типов 62,89%, корневая точность 74,19%
  5. Двунаправленный RNN + биаффинное внимание + перекрестная энтропия, точность дуги 72,42%, точность типов 63,53%, корневая точность 68,51%
  6. База BERT + Биаффинное внимание + Перекрестная энтропия, точность дуги 72,85%, точность типов 67,11%, корневая точность 73,93%
  7. Двунаправленный RNN + Stackpointer, точность дуги 61,88%, точность типов 48,20%, корневая точность 89,39%
  8. XLNET Base + Biaffine Attention + Cross Entropy, точность дуги 74,41%, точность типов 71,37%, корневая точность 73,17%

Маркировка объектов

Прошел обучение на CONLL NER.

Полный список (9 тетрадей)
  1. Двунаправленный RNN + CRF, точность теста 96%
  2. Двунаправленный RNN + Luong Attention + CRF, точность теста 93%
  3. Двунаправленный RNN + Внимание Багданау + CRF, точность теста 95%
  4. Char Ngrams + двунаправленный RNN + Внимание Багданау + CRF, точность теста 96%
  5. Char Ngrams + двунаправленный RNN + Внимание Багданау + CRF, точность теста 96%
  6. Char Ngrams + Остаточная сеть + Внимание Багданау + CRF, точность теста 69%
  7. Char Ngrams + Внимание — это все, что вам нужно + CRF, точность теста 90 %
  8. BERT, точность теста 99%
  9. База XLNET, точность тестирования 99 %

Экстрактивное обобщение

Обучался на наборе данных CNN News.

Точность на основе ROUGE-2.

Полный список (4 тетради)
  1. LSTM RNN, точность теста 16,13%
  2. Расширенный CNN, точность теста 15,54%
  3. Мультиголовка Внимание, точность теста 26,33%
  4. BERT-база

Генератор

Обучался на наборе данных Шекспира.

Полный список (15 тетрадей)
  1. Посимвольный RNN + LSTM
  2. Посимвольный RNN + лучевой поиск
  3. Посимвольный RNN + LSTM + встраивание
  4. Пословный RNN + LSTM
  5. Пословный RNN + LSTM + встраивание
  6. Посимвольно + Seq2Seq + GRU
  7. Пословно + Seq2Seq + GRU
  8. Посимвольный RNN + LSTM + Багданау Внимание
  9. Посимвольный RNN + LSTM + внимание Луонга
  10. Пословно + Seq2Seq + GRU + Beam
  11. Посимвольно + Seq2Seq + ГРУ + Богданау Внимание!
  12. Пословно + Seq2Seq + ГРУ + Богданов Внимание!
  13. Посимвольный расширенный CNN + лучевой поиск
  14. Трансформатор + Поиск луча
  15. Трансформатор XL + Поиск луча

Определение языка

Обучался на наборе данных Татоэбы.

Полный список (1 тетрадь)
  1. N-граммы быстрого текста

Нейронный машинный перевод

Обучение на английском и французском языках, таблица точности нейро-машинного перевода.

Полный список (53 тетради)

1.basic-seq2seq 2.lstm-seq2seq 3.gru-seq2seq 4.basic-seq2seq-contrib-greedy 5.lstm-seq2seq-contrib-greedy 6.gru-seq2seq-contrib-greedy 7.basic-birnn-seq2seq 8.lstm-birnn-seq2seq 9.gru-birnn-seq2seq 10.basic-birnn-seq2seq-contrib-greedy 11.lstm-birnn-seq2seq-contrib-greedy 12.gru-birnn-seq2seq-contrib-greedy 13.basic-seq2seq-luong 14.lstm-seq2seq-luong 15.gru-seq2seq-luong 16.basic-seq2seq-bahdanau 17.lstm-seq2seq-bahdanau 18.gru-seq2seq-bahdanau 19.basic-birnn-seq2seq-bahdanau 20.lstm-birnn-seq2seq-bahdanau 21.gru-birnn-seq2seq-bahdanau 22.basic-birnn-seq2seq-luong 23.lstm-birnn-seq2seq-luong 24.gru-birnn-seq2seq-luong 25.lstm-seq2seq-contrib-greedy-luong 26.gru-seq2seq-contrib-greedy-luong 27.lstm-seq2seq-contrib-greedy-bahdanau 28.gru-seq2seq-contrib- жадный-бахданау 29.lstm-seq2seq-contrib-beam-luong 30.gru-seq2seq-contrib-beam-luong 31.lstm-seq2seq-contrib-beam-bahdanau 32.gru-seq2seq-contrib-beam-bahdanau 33.lstm-birnn-seq2seq-contrib-beam-bahdanau 34.lstm-birnn-seq2seq-contrib-beam-luong 35.gru-birnn-seq2seq-contrib-beam-bahdanau 36.gru-birnn-seq2seq-contrib-beam -луонг 37.lstm-birnn-seq2seq-contrib-beam-luongmonotonic 38.gru-birnn-seq2seq-contrib-beam-luongmonotic 39.lstm-birnn-seq2seq-contrib-beam-bahdanaumonotonic 40.gru-birnn-seq2seq-contrib-beam-bahdanaumonotic 41.residual-lstm-seq2seq-greedy-luong 42.residual-gru-seq2seq-greedy-luong 43.residual-lstm-seq2seq-greedy-bahdanau 44.residual-gru-seq2seq-greedy-bahdanau 45.memory-network-lstm-decoder-greedy 46.google-nmt 47.transformer-encoder-transformer-decoder 48.transformer-encoder-lstm-decoder-greedy 49.bertmultilanguage -encoder-bertмультиязычный-декодер 50.bertmultilanguage-encoder-lstm-decoder 51.bertmultilanguage-encoder-transformer-decoder 52.bertenglish-encoder-transformer-decoder 53.transformer-t2t-2gpu

OCR (оптическое распознавание символов)

Полный список (2 тетради)
  1. CNN + LSTM RNN, точность теста 100%
  2. Im2Latex, точность теста 100%

POS-маркировка

Прошел обучение по CONLL POS.

Полный список (8 тетрадей)
  1. Двунаправленный RNN + CRF, точность теста 92%
  2. Двунаправленный RNN + Luong Attention + CRF, точность теста 91%
  3. Двунаправленный RNN + Внимание Багданау + CRF, точность теста 91%
  4. Char Ngrams + двунаправленный RNN + Внимание Багданау + CRF, точность теста 91%
  5. Char Ngrams + двунаправленный RNN + Внимание Багданау + CRF, точность теста 91%
  6. Char Ngrams + Остаточная сеть + Внимание Багданау + CRF, точность теста 3%
  7. Char Ngrams + Внимание — это все, что вам нужно + CRF, точность теста 89 %
  8. BERT, точность теста 99%

Вопросы-Ответы

Прошел обучение по набору данных bAbI.

Полный список (4 тетради)
  1. Сквозная сеть памяти + базовая ячейка
  2. Сквозная сеть памяти + ячейка GRU
  3. Сквозная сеть памяти + ячейка LSTM
  4. Динамическая память

Пара предложений

Прошел обучение на Корнеллском кино - Корпус диалогов.

Полный список (1 тетрадь)
  1. БЕРТ

Речь в текст

Прошел обучение на наборе речевых данных Торонто.

Полный список (11 тетрадей)
  1. Tacotron, https://github.com/Kyubyong/tacotron_asr, точность теста 77,09%
  2. BiRNN LSTM, точность теста 84,66%
  3. BiRNN Seq2Seq + внимание Луонга + перекрестная энтропия, точность теста 87,86%
  4. BiRNN Seq2Seq + Внимание Багданау + Перекрестная энтропия, точность теста 89,28%
  5. BiRNN Seq2Seq + Bahdanau Внимание + CTC, точность теста 86,35%
  6. BiRNN Seq2Seq + Luong Attention + CTC, точность теста 80,30%
  7. CNN RNN + Богданов Внимание, точность теста 80,23%
  8. Расширенный CNN RNN, точность теста 31,60%
  9. Wavenet, точность теста 75,11%
  10. Deep Speech 2, точность теста 81,40%
  11. Wav2Vec Трансферное обучение BiRNN LSTM, точность теста 83,24%

Исправление орфографии

Полный список (4 тетради)
  1. BERT-база
  2. База XLNET
  3. BERT-базовый быстрый
  4. BERT-база точная

SQUAD Вопросы-Ответы

Прошел обучение на наборе данных SQUAD.

Полный список (1 тетрадь)
  1. БЕРТ, 
{ "exact_match" : 77.57805108798486 , "f1" : 86.18327335287402 }

Стемминг

Обучался лемматизации английского языка.

Полный список (6 тетрадей)
  1. LSTM + Seq2Seq + луч
  2. ГРУ + Seq2Seq + Луч
  3. LSTM + BiRNN + Seq2Seq + луч
  4. ГРУ + BiRNN + Seq2Seq + Луч
  5. DNC + Seq2Seq + Жадный
  6. BiRNN + Богданов + Copynet

Увеличение текста

Полный список (8 тетрадей)
  1. Предварительно обученная перчатка
  2. ГРУ VAE-seq2seq-луч ТФ-вероятность
  3. LSTM VAE-seq2seq-луч TF-вероятность
  4. ГРУ ВАЭ-seq2seq-луч + Богданау Внимание ТФ-вероятность
  5. VAE + Детерминированный Багданау Внимание, https://github.com/HareeshBahuleyan/tf-var-attention
  6. ВАЭ + ВАЭ Бахданау Внимание, https://github.com/HareeshBahuleyan/tf-var-attention
  7. База BERT + отбор проб ядер
  8. База XLNET + отбор ядерных проб

Классификация текста

Обучение на наборе данных настроений на английском языке, таблица точности классификации текста.

Полный список (79 тетрадей)
  1. Базовая ячейка RNN
  2. Базовая ячейка RNN + Шарнир
  3. Базовая клетка RNN + Губер
  4. Базовая ячейка Двунаправленный RNN
  5. Базовая ячейка Двунаправленный RNN + Шарнир
  6. Базовая ячейка Двунаправленный RNN + Хубер
  7. Ячейка LSTM RNN
  8. Ячейка LSTM RNN + шарнир
  9. Ячейка LSTM RNN + Хубер
  10. Ячейка LSTM Двунаправленный RNN
  11. Ячейка LSTM Двунаправленный RNN + Huber
  12. Ячейка LSTM RNN + Выпадение + L2
  13. Ячейка ГРУ РНН
  14. Ячейка ГРУ RNN + Шарнир
  15. Ячейка ГРУ РНН + Хубер
  16. Ячейка GRU Двунаправленный RNN
  17. Ячейка GRU Двунаправленный RNN + Шарнир
  18. Ячейка ГРУ Двунаправленный RNN + Хубер
  19. LSTM RNN + Conv2D
  20. К-макс. конв. 1 д.
  21. LSTM RNN + Conv1D + шоссе
  22. LSTM RNN + базовое внимание
  23. LSTM Расширенный RNN
  24. Слой-норма ячейки LSTM RNN
  25. Нейронная сеть «Только внимание»
  26. Нейронная сеть с многоголовым вниманием
  27. Нейронная машина Тьюринга
  28. LSTM Seq2Seq
  29. LSTM Seq2Seq + Луонг Внимание
  30. LSTM Seq2Seq + Багданау Внимание
  31. LSTM Seq2Seq + декодер луча
  32. LSTM двунаправленный Seq2Seq
  33. Указатель Сеть
  34. Ячейка LSTM RNN + Богданау Внимание
  35. Ячейка LSTM RNN + Луонг Внимание
  36. Ячейка LSTM RNN + стек Бахданау Луонг Внимание
  37. Ячейка LSTM Двунаправленный RNN + обратный Багданау + прямой Луонг
  38. Байтенет
  39. Быстрый-медленный LSTM
  40. Сиамская сеть
  41. LSTM Seq2Seq + tf.estimator
  42. Капсульные слои + RNN LSTM
  43. Слои капсулы + LSTM Seq2Seq
  44. Слои капсулы + двунаправленный LSTM Seq2Seq
  45. Вложенный LSTM
  46. LSTM Seq2Seq + шоссе
  47. Тройная потеря + LSTM
  48. DNC (Дифференцируемый нейронный компьютер)
  49. КонвЛСТМ
  50. Временная сеть конв.
  51. Пакетная потеря триплета + LSTM
  52. Быстрый текст
  53. Закрытая сеть свертки
  54. Простая рекуррентная единица
  55. Иерархическая сеть внимания LSTM
  56. Двунаправленные трансформаторы
  57. Сеть динамической памяти
  58. Сущностная сеть
  59. Сквозная сеть памяти
  60. BOW-Chars Глубокая разреженная сеть
  61. Остаточная сеть с использованием Atrous CNN
  62. Остаточная сеть с использованием Atrous CNN + Bahdanau. Внимание!
  63. Глубокая пирамида CNN
  64. Трансформер-XL
  65. Трансферное обучение GPT-2 345M
  66. Квази-РНН
  67. Такотрон
  68. Срез ГРУ
  69. Срез ГРУ + Богданов
  70. Вейвнет
  71. Трансферное обучение База BERT
  72. Трансферное обучение XL-net Large
  73. Глобальное максимальное и среднее пулирование LSTM BiRNN
  74. Передача обучения BERT Base drop 6 слоев
  75. Перенос обучения BERT Большая капля, 12 слоев
  76. Трансферное обучение XL-net Base
  77. Трансферное обучение АЛЬБЕРТ
  78. Трансферное обучение База ELECTRA
  79. Трансферное обучение ELECTRA Large

Сходство текста

Прошел обучение по МНЛИ.

Полный список (10 тетрадей)
  1. BiRNN + потеря контрастности, точность теста 73,032%
  2. BiRNN + перекрестная энтропия, точность теста 74,265%
  3. BiRNN + потеря круга, точность теста 75,857%
  4. BiRNN + потеря прокси, точность теста 48,37%
  5. База BERT + перекрестная энтропия, точность теста 91,123%
  6. База BERT + потеря круга, точность теста 89,903%
  7. ELECTRA Base + перекрестная энтропия, точность теста 96,317%
  8. ELECTRA Base + потеря круга, точность теста 95,603%
  9. База XLNET + перекрестная энтропия, точность теста 93,998%
  10. База XLNET + потеря круга, точность теста 94,033%

Преобразование текста в речь

Прошел обучение на наборе речевых данных Торонто.

Полный список (8 тетрадей)
  1. Такотрон, https://github.com/Kyubyong/tacotron
  2. CNN Seq2seq + расширенный вокодер CNN
  3. Seq2Seq + Богданау Внимание!
  4. Seq2Seq + Луонг Внимание
  5. Расширенный CNN + монотонное внимание + расширенный вокодер CNN
  6. Расширенный CNN + Самообслуживание + Расширенный вокодер CNN
  7. Deep CNN + Monothonic Attention + Расширенный вокодер CNN
  8. Deep CNN + Self Attention + Расширенный вокодер CNN

Генератор тем

Обучался новостям Малайзии.

Полный список (4 тетради)
  1. ТАТ-ЛСТМ
  2. ТАВ-ЛСТМ
  3. МТА-LSTM
  4. Расширенный CNN Seq2seq

Тематическое моделирование

Извлечено из набора данных о настроениях на английском языке.

Полный список (3 тетради)
  1. ЛДА2Век
  2. БЕРТ Внимание
  3. XLNET Внимание

Неконтролируемое извлекающее обобщение

Тренировался на случайных книгах.

Полный список (3 тетради)
  1. Вектор пропуска мысли
  2. Остаточная сеть с использованием Atrous CNN
  3. Остаточная сеть с использованием Atrous CNN + Bahdanau. Внимание!

векторизатор

Обучался на наборе данных настроений на английском языке.

Полный список (11 тетрадей)
  1. Word Vector с использованием образца softmax CBOW
  2. Вектор слов с использованием контрастной оценки шума CBOW
  3. Word Vector с использованием образца скипграммы softmax
  4. Word Vector с использованием контрастной оценки шума скипграммы
  5. Контролируемый встроенный
  6. Тройная потеря + LSTM
  7. Автокодировщик LSTM
  8. Пакетный все триплетные потери LSTM
  9. Быстрый текст
  10. ЭЛМО (biLM)
  11. Тройная потеря + BERT

Визуализация

Полный список (4 тетради)
  1. Внимание тепловая карта на Богданова
  2. Тепловая карта внимания на Luong
  3. Внимание, БЕРТ, https://github.com/hsm207/bert_attn_viz
  4. Внимание XLNET

Вокодер от старых к молодым

Прошел обучение на наборе речевых данных Торонто.

Полный список (1 тетрадь)
  1. Расширенный CNN

Внимание

Полный список (8 тетрадей)
  1. Богданов
  2. Луонг
  3. Иерархический
  4. Добавка
  5. Мягкий
  6. Внимание сверх внимания
  7. Богданау API
  8. Луонг API

Неглубокое обучение

  1. Марков чат-бот
  2. Обобщение декомпозиции (3 тетради)
Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все