Ai learn

_{Создано Тан Юди}

Дорожная карта обучения по практическому трудоустройству в области искусственного интеллекта (интервью)

• О чем этот проект?

Первоначальная цель организации этого проекта состоит в том, чтобы помочь студентам быстро начать план самообучения по искусственному интеллекту, избежать отклонений в процессе обучения, как можно быстрее приступить к работе с ИИ и начать практические проекты. В нем представлено около 200 практических примеров ИИ . и проекты . Это не онлайн. Я собрал примеры, которые я разработал и накопил за последние пять лет онлайн- и оффлайн-обучения. Можно сказать, что они неоднократно и итеративно обновлялись и подходят для того, чтобы студенты могли учиться и практиковаться шаг за шагом. Студенты, которые приходят сюда, не забудьте нажать звездочку, чтобы сохранить!

• Как получить вспомогательные учебные материалы?

В конце 2019 года я опубликовал вспомогательный учебник для курса машинного обучения «Изучите анализ данных Python и практику машинного обучения с Диего». Этот стиль по-прежнему легко понять. Чтобы наконец встретиться с вами, потребовалось два года и более десяти редакций. . Чтобы помочь большему числу студентов быстрее приступить к учебному плану, я решил предоставить вам электронную версию этой книги бесплатно . Я надеюсь, что это принесет пользу каждому в обучении! Вы можете скачать PDF-версию на домашней странице этого проекта. Если вам нравятся учебные материалы, вы также можете приобрести их на JD.com.

«Изучите анализ данных Python и практику машинного обучения с Диего», оригинальная загрузка в формате PDF :

(Ссылка на сетевой диск: https://pan.baidu.com/s/19wzJeyPmwTBDp9ASEWBvFQ Код извлечения: tece )

• В каком порядке мне начинать обучение?

Следующий каталог представляет собой маршрут обучения. Начинающим рекомендуется учиться в порядке, указанном в каталоге. Студенты, которые уже начали, могут выбирать в соответствии со своими предпочтениями.

• Как получить предоставленный кейс?

Все данные, задействованные в этом случае, представляют собой реальные наборы данных, и некоторые из них будут довольно большими. Непосредственная загрузка их на github будет очень медленной для всех, и я буду постепенно загружать ссылки на сетевые диски каждого модуля, которые включают данные и код. , PPT и другие учебные ресурсы. Если вам нужно вспомогательное видео-объяснение, добавьте WeChat: digexiaozhushou (пиньинь из «Маленького помощника Ди Гэ»)

• Сотрудничество и обмен

Если у вас есть какие-либо проблемы сотрудничества, общения или проекта в различных аспектах, вы можете напрямую добавить WeChat: digexiaozhushou (пиньинь Dige Assistant)

Оглавление

• Основные базовые навыки
  • Основные основы Python
  • Основы базовой математики
  • Базовый набор инструментов Python
• машинное обучение
  • алгоритм машинного обучения
  • Экспериментальный анализ алгоритма машинного обучения
  • Воспроизведение кода алгоритма машинного обучения
  • Классический пример машинного обучения
  • Практические аспекты машинного обучения
• Анализ и майнинг данных
  • Практика интеллектуального анализа данных
  • Решение, победившее в конкурсе интеллектуального анализа данных
  • Анализ данных в действии
• глубокое обучение
  • Основные алгоритмы глубокого обучения
  • Основные инструменты для глубокого обучения
• структура глубокого обучения
  • Фреймворк глубокого обучения — Tensorflow2
  • Фреймворк глубокого обучения — Pytorch
  • Фреймворк глубокого обучения — Keras
  • Фреймворк глубокого обучения-Кафе
• компьютерное зрение
  • Практика обработки изображений Opencv
  • Практический проект по компьютерному зрению (на основе глубокого обучения)
• обработка естественного языка
  • Практический проект по обработке естественного языка (на основе глубокого обучения)

Основные базовые навыки

Чтобы изучить искусственный интеллект (науку о данных), вам все равно понадобятся некоторые базовые навыки. Самые базовые и основные — это Python и математика ! Этим двум братьям нетрудно начать работу. Сначала можно освоить основы и учиться, используя их!

Основные основы Python

Если вы не знакомы с Python, я предлагаю вам посмотреть мой вводный видеокурс Python, чтобы быстро начать работу! портал

• Почему Питон?

Самое прямое объяснение состоит в том, что этим пользуются все! Раньше это было объектно-ориентированное программирование, но позже люди предпочли программирование методом копирования и вставки, и теперь им лень программировать для GitHub. Это правда, нужно лениться, когда нужно лениться, и Python делает это. ! Весь последующий практический контент будет основан на Python, поэтому у вас нет выбора!

• Что необходимо установить?

Анаконды достаточно! Анаконды достаточно! Анаконды достаточно! Хорошо, я сказал это три раза. Для подробного объяснения просто обратитесь к курсу портала выше.

• С какого инструмента программирования начать? Хотя у каждого есть удобное оружие, большая часть курсов, которые я готовлю для вас, основана на блокноте Jupyter , так что это определенно must-have!

Базовый набор инструментов Python

• Что такое набор инструментов?

Инструментарий означает, что все функции написали другие, и мы можем вызывать их напрямую и все! Имеются соответствующие наборы инструментов для обработки данных, анализа, моделирования и т.д. Для обучения нет необходимости запоминать эти наборы инструментов. С ними нужно сначала ознакомиться, а потом обязательно нужно будет ими воспользоваться и проверить.

• Какие наборы инструментов необходимы новичку?

Название инструментария	Обзор функций
Нампи	Обязательно для матричных расчетов! Это ядро ​​всех последующих вычислений и основной инструментарий в области науки о данных.
Панды	Необходим для обработки данных! Чтение данных, обработка данных и анализ данных должен выполняться им!
Матплотлиб	Визуализация обязательна! Функция очень мощная. Не существует изображения, которое нельзя было бы нарисовать. Анализ и отображение с его помощью!
Сиборн	Более простой инструмент визуализации! Одна строка кода дает вам визуальное отображение результатов.

Основы базовой математики

• Важна ли математика? Нужно ли учиться?

Студенты должны хорошо осознавать, насколько важна математика, особенно в области искусственного интеллекта (науки о данных). Трудно двигаться вперед, не зная математики. Многие студенты задавали мне вопрос, можно ли действительно использовать столько математики в работе. ? Позвольте мне объяснить вам, что индустрия искусственного интеллекта развивается очень быстро. В реальной работе вы должны учиться, выполняя ее. Чему вы должны научиться? Должно быть, это одна из выдающихся работ на данный момент. Если вы не можете понять даже элементарные математические формулы, то нет необходимости говорить о передовых технологиях. Студентам, изучающим эту область, наверняка придет в голову эта идея. Так называемый искусственный интеллект просто выполняет различные математические вычисления над данными!

• Как выучить математику? Хотите составить долгосрочный план?

Я не думаю, что нужно начинать с нуля и тратить много времени на обучение шаг за шагом. Например, я и мои коллеги и друзья занимаемся этим уже давно, не знаю, сколько раз я это делал. изучал математику, время от времени я решал бесчисленное количество вопросов, но я также столкнусь с этой проблемой. Многие знания быстро забудутся, если я не буду смотреть на них какое-то время. Чаще всего я занимаюсь поиском того, что использую. Процесс поиска на самом деле является процессом обучения и прогресса. Рекомендуется быстро пройтись по общим пунктам знаний (высшая математика, линейность, основы теории вероятностей). Во время этого процесса не смотрите на различные процессы решения задач и не беспокойтесь о конкретных методах решения. Грубо говоря, достаточно просто понять, что делает формула и для чего она используется. Аналогично упражнениям в учебнике и решениям в тетради, они вам в дальнейшем не понадобятся. ручка для расчета этих хлопотных вещей. Сэкономьте время на изучении алгоритмов.

• Ниже приведены элементы знаний, разработанные в курсе, которые также являются необходимой основой.

Очки знаний	содержание	эффект
Высшая математика	Основы высшей математики, исчисления, формулы Тейлора и Лагранжа,	Необходим для вывода формул машинного обучения
линейная алгебра	Основы линейной алгебры, собственные значения и разложение матриц,	Необходимо для решения алгоритма
теория вероятностей	Основы теории вероятностей, случайные величины и оценка вероятностей, часто используемые распределения.	Машинное обучение часто упоминает эти слова
Статистический анализ	Регрессионный анализ, проверка гипотез, корреляционный анализ, дисперсионный анализ	Необходим для анализа данных

машинное обучение

Ядром области искусственного интеллекта является машинное обучение. Независимо от того, какое направление вы хотите развивать в будущем, начинать нужно с машинного обучения! Есть две основные вещи: первая — овладеть принципами классических алгоритмов, а вторая — владеть набором инструментов Python для практического моделирования!

алгоритм машинного обучения

• Что узнать об алгоритмах? Чтобы понять, как алгоритмы машинного обучения работают с данными для завершения процесса моделирования и решения, необходимо знать, как математика используется в алгоритмах. Главное понять! Не зацикливайтесь на проблеме бесконечно, это пустая трата времени, и вы, возможно, сможете решить ее в кратчайшие сроки в ходе последующего процесса обучения. Я считаю, что алгоритмы необходимо изучать не один раз, особенно для студентов, которые готовятся к собеседованию. Это нормально изучать алгоритм два или три раза (однокурсник как-то рассказал мне, что перед собеседованием он изучал курс в общей сложности 6 раз). )

• Нужно ли машинное обучение при глубоком обучении?

Можно сказать, что глубокое обучение является разновидностью алгоритма машинного обучения. Это не означает, что для нейронных сетей не нужны другие классические алгоритмы. Необходимо выбрать наиболее подходящий алгоритм на основе различных задач и данных. Путь обучения должен начинаться с. машинное обучение На самом деле, освоив эти классические алгоритмы, разобраться в нейронных сетях действительно легко!

• Ниже приведены алгоритмы, которые будут объяснены в курсе и которые должен освоить каждый! Здесь перечислены не все алгоритмы машинного обучения, поскольку многие из них уже непрактичны.

Очки знаний	содержание	Обзор
Алгоритм классификации	Логистическая регрессия, дерево решений, машина опорных векторов, ансамблевый алгоритм, байесовский алгоритм	Студенты, готовящиеся к собеседованию, должны освоить
Алгоритм регрессии	Линейная регрессия, деревья решений, ансамблевые алгоритмы	Некоторые алгоритмы могут выполнять как классификацию, так и регрессию.
Алгоритм кластеризации	k-средства, dbscan и т. д.	Неконтролируемый считается только в том случае, если метки действительно нет.
Алгоритм уменьшения размерности	Анализ главных компонент, линейный дискриминантный анализ и т. д.	Сосредоточьтесь на понимании идеи уменьшения размерности.
Расширенные алгоритмы	Алгоритм повышения GBDT, LightGBM, алгоритм EM, скрытая марковская модель	Студенты, у которых есть время и энергия, могут бросить вызов передовым алгоритмам.

Экспериментальный анализ алгоритма машинного обучения

Анализируйте влияние методов и параметров моделирования классических алгоритмов на результаты с помощью сравнительных экспериментов, а также изучайте параметры и примеры применения алгоритмов с помощью экспериментов и визуального отображения.

Название дела	Обзор контента
Экспериментальный анализ линейной регрессии	Освойте одномерную и множественную линейную регрессию, методы нелинейной регрессии и роль штрафа за регуляризацию.
Метод оценки модели	Сравнение часто используемых методов оценки алгоритмов классификации и регрессии, примеры сегментации наборов данных
Экспериментальный анализ логистической регрессии	Классический метод построения классификационной модели, метод построения границ дерева решений
Экспериментальный анализ алгоритма кластеризации	Примеры неконтролируемого моделирования, методы оценки алгоритмов кластеризации, неконтролируемые роли и примеры приложений
Экспериментальный анализ дерева решений	Примеры визуализации древовидных моделей и методы построения, применение классификации и регрессии древовидных моделей
Комплексный алгоритм экспериментального анализа	Примеры применения и анализ эффективности методов интеграции, сравнение распространенных стратегий интеграции
Машинный экспериментальный анализ опорных векторов	SVM включает в себя эксперименты по сравнению параметров и моделирования.
Практический анализ правил ассоциации	Основные сведения и примеры анализа моделирования правил ассоциации

Воспроизведение кода алгоритма машинного обучения

Чтобы лучше понять механизм работы алгоритма, мы воспроизводим классический алгоритм с нуля, придерживаемся принципа отсутствия потерь пакетов и поэтапно достраиваем все необходимые для алгоритма модули.

• Зачем копировать код самостоятельно? Какова ценность?

Основная цель — лучше понять принцип работы алгоритма, упор делается на практику! Студенты, у которых есть время, могут воспроизвести это самостоятельно, но студентам, у которых мало времени, не обязательно делать это самостоятельно.

Название дела	Обзор контента
Реализация кода линейной регрессии	Часто используемые функции алгоритмов построения модулей
Реализация кода логистической регрессии	Пример интерпретации метода реализации логистической регрессии
Реализация кода Kmeans	Очень простой и понятный алгоритм без учителя.
Реализация кода дерева решений	Древовидная модель на самом деле является рекурсивной реализацией.
Реализация кода нейронной сети	Объем кода немного велик, поэтому рекомендуется изучить режим отладки.
Реализация байесовского кода	Байес все же проще объяснить в текстовых задачах
Реализация кода правила ассоциации	Часто используемые алгоритмы анализа данных
Создайте систему музыкальных рекомендаций	Построить модель рекомендательной системы с нуля.

Классический пример машинного обучения

• Какие навыки необходимы для реального боя?

В реальном бою очки математических знаний могут быть ослаблены, поскольку большую часть времени мы используем готовые наборы инструментов для выполнения задач (package Transfer man). Здесь каждый должен освоить множество функций энергосбережения. Во-первых, необходимо обладать навыками использования этих распространенных наборов инструментов. Предварительная обработка данных, разработка функций, настройка параметров и проверка — все это очень важные этапы. Подводя итог, можно сказать, что процессы и процедуры, необходимые для выполнения различных задач, схожи, но используемые методы и алгоритмы могут быть разными, что требует от каждого постоянного накопления опыта для обогащения практического опыта. Эти кейсы, предоставленные студентам, можно использовать в качестве собственных практических шаблонов!

• Что я могу получить от этих дел?

Самое главное — научиться предварительно обрабатывать и анализировать различные данные (числовые значения, текст, изображения), умело применять основные основные функции набора инструментов для участия в предварительной обработке, предлагать несколько решений для разных задач и проводить экспериментальный анализ. Подводя итог, делайте больше экспериментов и практической работы. Чем больше вы пишете кода, тем более опытным вы становитесь!

Название дела	Обзор контента
Алгоритм K ближайшего соседа на практике	Вводный кейс в машинное обучение, освоение инструментария, применяемого к методам моделирования.
Обнаружение аномалий данных транзакций	Очень важный детальный анализ и сравнение стратегий обработки данных и моделирования.
Практика моделирования комплексных алгоритмов	Мне не нужно больше говорить об интеграции, это обязательная базовая стратегия.
Прогноз температуры на основе случайного леса	Случайный лес — наиболее часто используемый алгоритм в машинном обучении. Детальный анализ и сравнение.
Практика классификации новостей	Анализ и обработка текстовых данных, а также практическое моделирование на основе байесовского алгоритма.
Анализ практики кластеризации	Примеры неконтролируемых приложений
анализ временных рядов	Метод получения данных временных рядов, моделирование на основе данных последовательности
Предупреждение об оттоке пользователей	Я часто говорю, что пользователи Fantasy Westward Journey проигрывают, это всего лишь ДЕМО
Используйте LightGBM для прогнозирования трафика в отеле	Еще один большой убийца, даже хуже, чем xgboost.
Практика проекта набора данных переписи населения – прогноз доходов	Базовые шаблоны, анализ данных, визуализация и т. д. — все это есть.
Байесовская оптимизация на практике	Более сложные примеры использования инструментария байесовской оптимизации.
Сравнение методов текстовых объектов	Сравнение часто используемых методов извлечения признаков текстовых данных
Сделайте свой собственный набор инструментов	Сделайте свою сумку для удовольствия

Практические аспекты машинного обучения

• Мы также подготовили для вас множество практических проектов, которые очень подходят для практики каждому!

Название дела	Обзор контента
Практические правила ассоциации Python	Использовать инструментарий для создания правил ассоциации очень просто.
Анализ и моделирование наборов данных Airbnb	Анализ набора данных о ценах на жилье и примеры моделирования
Система рекомендаций отелей на основе сходства	Построить систему рекомендаций для выполнения рекомендаций отелей.
Регрессионный анализ продаж продукции	Прогноз продаж — очень рутинная задача, которую можно выполнить рутинными методами.
Анализ и моделирование набора данных PUBG	Набор данных PlayerUnknown's Battlegrounds, посмотрим, кто тебя убил
Метод интерпретации модели на практике	Как интерпретировать модель после моделирования? Эти наборы инструментов могут помочь вам в этом.
Необходимый набор инструментов для практической обработки естественного языка	Интерпретация распространенных инструментов НЛП и практические примеры
Прогноз вероятности погашения клиентом банка	Данные о клиентах банка для прогнозирования вероятности погашения
Практика кластерного анализа изображений	Как кластеризовать данные изображения?
Практика проекта набора данных переписи населения – прогноз доходов	Базовые шаблоны, анализ данных, визуализация и т. д. — все это есть.

Анализ и майнинг данных

Каждый день слышит слово «анализ данных», но что нам делать? Это не что иное, как получение ценной информации из данных, и существует еще множество методов и процедур. Это направление не требует каких-либо теоретических накоплений, просто используйте данные и делайте! Накопление кейсов – это процесс обучения!

Практика интеллектуального анализа данных

• Что такое интеллектуальный анализ данных? В чем отличие от машинного обучения?

Проще говоря, интеллектуальный анализ данных — это применение алгоритмов машинного обучения к огромным объемам данных для получения желаемых результатов. При интеллектуальном анализе данных основное внимание уделяется не выбору алгоритма машинного обучения, а тому, как обрабатывать данные для получения лучших результатов прогнозирования. Здесь ключевым решением станут разработка признаков и предварительная обработка.

Название дела	Обзор контента
Прогнозы спасения Титаника	Классический кейс для соревнований Kaggle, первый практический проект по интеллектуальному анализу данных начального уровня.
Построение признаков данных	Разработка функций — это основа интеллектуального анализа данных. На основе sklearn объясняются различные методы построения функций.
Практика создания портретов пользователей	Все наверняка слышали о портретах пользователей. Как применить данные для составления портрета?
Пример стратегии интеграции	При интеллектуальном анализе данных стратегии интеграции обычно выбираются для лучшего улучшения эффекта.
Xgboost настоящий бой	Типичный представитель в интеграции и убийственное оружие в конкурентной борьбе.
Прогноз намерения покупки JD.com	Классическая задача прогнозирования, выполнение задач прогнозирования на основе исторических данных о поведении пользователей.
опрос Kaggle по науке о данных	Визуально отображать участников соревнований по кегглу
прогноз цен на жилье	Кейсы начального уровня интеллектуального анализа данных для быстрого освоения процедур
Анализ пользователей, чувствительных к энергопотреблению	Примеры соревнований, в основном объясняющие роль разработки функций
предсказание временных рядов fbprophet	Очень практичный алгоритм прогнозирования временных рядов, очень простой в использовании.

Решение, победившее в конкурсе интеллектуального анализа данных

• Я не участвую в конкурсе, так зачем мне смотреть чужие решения?

Мы выбрали примеры крупномасштабных соревнований, такие как Tianchi, Kaggle и Rongji, а предоставленные коды и решения представляют собой идеи решений победителей во время конкурса. Точно так же, как если вы хотите научиться играть в шахматы, вам нужно играть с лучшими игроками, чтобы улучшить себя. В каждом случае будут объясняться идеи победителя и общее решение, а также обеспечиваться реализация кода. Очень полезно для всех, чтобы совершенствоваться!

Название дела	Обзор контента
Анализ активности пользователей коротких видео Kuaishou	Прогнозируйте следующее действие на основе данных о поведении пользователей.
Прогноз промышленного химического производства	Анализируйте данные и модели химической промышленности для прогнозирования эффективности производства
Умный прогноз времени в пути по городу и дорогам	Очень практичное соревнование, предсказывающее время в пути на основе дорожных данных.
Интерпретируемый инструментарий для инженерного моделирования функций	Одним из наиболее сложных аспектов интеллектуального анализа данных является интерпретация признаков. Эти наборы инструментов очень полезны.
Медицинские данные о диабете названы распознаванием сущности	Объяснение алгоритма распознавания именованного объекта и анализ примера применения
Разработка модели и функций управления рисками кредитной платформы	Использование графических моделей для разработки функций — широко используемая идея.
Модель извлечения ключевых слов для новостей	Можно сказать, что извлечение ключевых слов является важным навыком в НЛП.
Практический шаблон проекта машинного обучения	Шаблон здесь. Вы можете применить его к будущим задачам. Методы аналогичны.
Анализ пользователей, чувствительных к энергопотреблению	Примеры соревнований, в основном объясняющие роль разработки функций

Анализ данных в действии

• На что направлен анализ данных?

В интеллектуальном анализе данных в основном используется моделирование для прогнозирования, тогда как анализ данных фокусируется на визуальном отображении и анализе влияния различных показателей на результаты. Мы выбрали для вас несколько классических случаев анализа, многие из которых можно использовать непосредственно в качестве шаблонов.

Название дела	Обзор контента
Техники рисования точечной диаграммы	Было сказано, что визуализация — это ключевой момент, а рисование определенно необходимо.
Анализ и моделирование работы такси Нью-Йорка	Используя множество инструментов, вы сможете ознакомиться с тем, как анализировать и отображать географические данные.
Задача рекомендации фильмов на основе статистического анализа	Распространенные методы статистического анализа и рекомендации
Шаблоны анализа данных и машинного обучения	Этот шаблон действительно всеобъемлющий, включая анализ, отображение, моделирование и оценку.
Уменьшение размерности данных	Сравнительный анализ и отображение нескольких часто используемых алгоритмов уменьшения размерности.
Визуальное отображение продукта и обработка текста	Предварительная обработка текстовых данных и визуальное отображение
многомерный анализ	Многомерный анализ также является распространенным методом анализа данных.
Анализ набора данных заказа продукта	Анализ набора данных заказа
Анализ данных кредита KIVA	Анализ набора кредитных данных

глубокое обучение

• Наконец, когда дело доходит до глубокого обучения, чему вам нужно научиться?

Можно сказать, что глубокое обучение является наиболее полезным алгоритмом на данный момент, и его можно использовать в различных областях. Фактически, ядро ​​по-прежнему находится в компьютерном зрении и обработке естественного языка, поскольку алгоритмы нейронных сетей больше подходят для изображений и текстовых данных. Основное, что вам нужно освоить, — это алгоритмы и фреймворки. Алгоритмы — это классические сетевые модели, такие как CNN и RNN, а фреймворки — это практические инструменты, такие как tenorflow, Pytorch и т. д., которые будут подробно рассмотрены позже.

• Глубокое обучение звучит более продвинуто, но намного ли оно сложнее, чем машинное обучение?

Кажется, что когда многие друзья сейчас получают задание, их первая мысль — напрямую использовать глубокое обучение. Если бы глубокое обучение было трудным и обременительным, было бы оно по-прежнему таким популярным? На самом деле, я считаю, что глубокое обучение действительно намного проще, чем машинное обучение. В машинном обучении нам нужно выбирать разные методы предварительной обработки и методы построения функций для разных данных. Подпрограммы глубокого обучения относительно более фиксированы, и с этими платформами с открытым исходным кодом и основными классическими сетевыми архитектурами все, что нам обычно нужно делать, — это применять их. Общая сложность проще, чем задача машинного обучения (условно говоря!).

Основные алгоритмы глубокого обучения

• Какие алгоритмы вам нужно изучить для глубокого обучения?

Название алгоритма	Обзор контента
нейронная сеть	Нейронная сеть является самой базовой, что эквивалентно заложению основы для обучения последующих сетей.
сверточная нейронная сеть	Это звучит знакомо каждому, старший брат в глубоком обучении! Базовая сеть компьютерного зрения
рекуррентная нейронная сеть	Бэй Цяо Фэн и Нань Муронг — старшие братья в области обработки естественного языка!
состязательная генеративная сеть	Сейчас это популярная модель. С ней интересно играть, и ее можно использовать для различных слияний изображений.
сетевая модель последовательностей	Часто используемые архитектуры в НЛП, модели перевода машинного обучения, имеют множество точек применения.
Основные классические сетевые архитектуры	Упомянутые только что CNN и RNN являются относительно базовыми сетевыми моделями, и на их основе существует множество расширений, которые каждому необходимо освоить.

Основные инструменты для глубокого обучения

• Что такое фреймворк? Что вы можете сделать для нас?

Эта структура аналогична утверждению, что вы проектируете сетевую модель, но было бы слишком хлопотно выполнять все конкретные процессы вычислений самостоятельно. Фреймворк предоставляет эффективный метод расчета и не требует от нас его выполнения, набор полностью автоматических вычислений. Это эквивалентно тому, что нам нужно только спроектировать конструкцию и оставить ей конкретную конструкцию. Что необходимо для глубокого обучения, так это фреймворк.

• Какая среда глубокого обучения лучше?

Tensorflow, Pytorch, keras, caffe и т. д. — фреймворков так много, какой выбрать? Есть ли большие различия между разными фреймворками? Наиболее распространенными сейчас являются tensorflow и PyTorch, которые эквивалентны KFC и McDonald's. Оба очень сильны. Что касается того, какой из них выбрать, пожалуйста, обратитесь к вашей проектной команде и требованиям к задаче. Если бы мне пришлось рекомендовать один, я бы порекомендовал PyTorch всем, потому что он более краток и популярен. Я использовал все эти фреймворки. Основная причина в том, что мне часто приходится ссылаться на документы и проекты с открытым исходным кодом в своей работе. Как правило, я выполняю вторичную разработку любой фреймворка, который другие люди используют для исходного кода в своих статьях. рано или поздно все будут использовать эти фреймворки!

• Как изучить фреймворк?

Нет никакой теории, чтобы говорить о фреймворке, и не нужно читать всякие длинные объяснения, просто пользуйтесь! По сути, это набор инструментов, которому можно учиться в процессе использования, а кейсы можно использовать как шаблоны для подведения итогов!

• Для различных фреймворков мы подготовили для вас множество практических проектов и обучающих материалов.

Имя кадра	Обзор контента
Структура кафе	Структура божественного уровня в древние времена теперь упала с алтаря. Первая структура, которую я изучил.
Версия Тензорфлоу2	Версия 2 содержит множество улучшений и, наконец, стала более удобной для пользователя. Ее гораздо удобнее использовать, чем версию 1.
Керас	В одном предложении все просто! Простой! Простой! Не нужно учиться, все очень легко понять, взглянув на код.
PyTorch	Самый популярный фреймворк на данном этапе, по моим оценкам, он также будет самым популярным фреймворком в этом году (2020), рекомендуется!

структура глубокого обучения

Мы предоставляем вам множество практических примеров для каждой основной платформы глубокого обучения. Какой из них вы используете, зависит от ваших предпочтений!

Фреймворк глубокого обучения — Tensorflow2

• Пожалуйста, дайте мне повод изучить tensorflow2!

Мне не нужно объяснять, что он создан Google. Многие проекты Google с открытым исходным кодом должны быть основаны на платформе TF. Если вы хотите изучать или ссылаться на проекты и статьи с открытым исходным кодом других людей, вы должны изучить TF. Он также широко используется в промышленности. Эта волна обязательно окупится!

• Содержание подготовленного для всех кейса заимствовано из дубляжа Чэн Яоджина: одно слово, делай!

Название дела	Обзор контента
установка и внедрение тензорного потока	Версия 2 представлена ​​в методе установки, просто пройдитесь по ней вкратце.
Интерпретация принципов нейронных сетей и общей архитектуры	Обзор архитектуры нейронной сети
Создайте нейронную сеть для задач классификации и регрессии.	Используйте TF для выполнения базовых задач классификации и регрессии и освойте методы его применения.
Принципы сверточной нейронной сети и интерпретация параметров	Архитектура CNN подробно объясняется для каждого параметра.
Практика идентификации кошек и собак	Классическая задача классификации изображений, здесь есть о чем поговорить, это очень важно
Примеры улучшения данных изображения	Можно сказать, что улучшение данных теперь является обязательным навыком.
Стратегия обучения – передача обучения на практике	Эффект от трансферного обучения по-прежнему довольно хорош.
Интерпретация принципов рекурсивных нейронных сетей и векторов слов	Интерпретация модели RNN
Реализация word2vec на основе TensorFlow	Интерпретация и реализация векторной модели слова на основе TF
Задача классификации текста на основе модели RNN	Выполняйте задачи классификации текста на основе TF
tfrecord создает источник данных	Пример создания источника данных
Примените сеть CNN к практике классификации текста	CNN также может выполнять классификацию текста.
прогнозирование временных рядов	Примеры обработки и моделирования данных временных рядов
Состязательные генеративные сети на практике	ГАН здесь, это так весело
Практическое объединение изображений на основе проекта с открытым исходным кодом CycleGan.	Мой любимый ГАН, эффект очень забавный!
Классическая сетевая архитектура Resnet на практике	Вы можете изучить сетевую архитектуру, которую должны понимать!

Фреймворк глубокого обучения — Pytorch

• Я слышал, что это очень популярно, почему?

В конце 2019 года количество пользователей фреймворка Pytorch превысило Tensorflow и стал самым популярным фреймворком на данный момент. Причина на самом деле очень проста. Всем нравится использовать более простые и понятные фреймворки. В целом, его действительно проще использовать, чем tensorflow, и его очень удобно отлаживать. Новичкам также рекомендуется отдавать приоритет фреймворку Pytorch.

Название дела	Обзор контента
Основные операции обработки платформы PyTorch	Просто познакомьтесь с PyTorch, и начать работу очень легко.
Практическая классификация нейронных сетей и задачи регрессии	Использовать PyTorch для построения модели нейронной сети действительно проще, чем TF.
Принципы сверточной нейронной сети и интерпретация параметров	Архитектура модели CNN и интерпретация книги параметров
Практическая интерпретация основного модуля распознавания изображений	Очень важно, основной модуль обработки изображений в PyTorch
Роль и примеры применения трансферного обучения	Загрузка моделей в PyTorch для трансферного обучения
Интерпретация принципов рекурсивных нейронных сетей и векторов слов	Интерпретация архитектуры модели RNN
Практическая практика по текстовой классификации наборов новостных данных	Создайте модель классификации текста на основе PyTorch.
Принципы и практический анализ архитектуры состязательных генеративных сетей	Популярная интерпретация модели GAN
Практическое объединение изображений на основе проекта с открытым исходным кодом CycleGan.	Версия CYCLEGAN для PyTorch, этот проект с открытым исходным кодом очень хорошо написан.
Принцип распознавания текста OCR	Принцип оптического распознавания символов на самом деле очень прост и для его реализации требуется помощь нескольких моделей.
Практика проекта по распознаванию текста OCR	Построение сетевой модели OCR
Анализ видео и распознавание действий на основе 3D-свертки	Используйте 3D-свертку для обработки видеоданных и полного распознавания поведения
Практическая модель BERT на основе PyTorch	Архитектура BERT настолько популярна, что является одной из обязательных моделей.
Интерпретация практических шаблонов платформы PyTorch	Предоставьте шаблон, чтобы на его основе можно было улучшить будущие задачи.

Фреймворк глубокого обучения — Keras

• Говорят, что Керас прост, но насколько он прост?

Общее ощущение такое, что изучать ничего не нужно, можно просто использовать прямо из кейса. Версия TF2 на самом деле очень похожа на керас. Подходит для экспериментов и написания статей, просто и быстро!

Название дела	Обзор контента
Установка и введение	Keras легко установить и начать работу на основе tf.
Постройте модель нейронной сети	Создайте модель нейронной сети, чтобы проверить почву
Очередная битва со сверточными нейронными сетями	Модели CNN также очень легко построить.
Задача прогнозирования временных рядов LSTM	Модель LSTM, применяемая к задачам временных рядов
Практика классификации текста	Пример классификации текста
Несколько меток и несколько выходов	Задачи с несколькими метками очень распространены и имеют большую обучающую ценность.
Практическая практика по текстовой классификации наборов новостных данных	Задача классификации текста на основе керов
увеличение данных	Интерпретация примеров увеличения данных
Двоящая генеративная сеть	Архитектура GAN, легче использовать керас
Трансферный обучение и остаточная сеть Resnet	Вы должны играть с моделью Resnet
Адрес по почтовому коду задачи последовательности	Пример текстовой модели
SEQ2SEQ NETWORK PRACTICE	Модель сети последовательности все еще широко используется.
Резюме практических шаблонов	Шаблон Keras предоставляется для всех.

Глубокое обучение-каркас-конфликт

• На этом этапе все еще необходимо изучить структуру кофе?

Я думаю, что Tensorflow и Pytorch уже доступны на этом этапе, и настало время Caffe на данный момент. Там могут быть некоторые документы и задачи, которые по -прежнему требуют структуры Caffe.

Название дела	Обзор контента
Интерпретация файлов конфигурации Caffe	Интерпретация обычно используемых файлов конфигурации Caffe Framework
Различные методы создания набора данных	Метод создания набора данных, это очень важно
Интерпретация часто используемых инструментов в кофе	В него встроено много небольших инструментов, чтобы быстро выполнить задачи
Обнаружение лица на практике	Создайте модель обнаружения лица на основе каркаса Caffe
Практическая практика позиционирования ключевых моментов лица	Полная модель распознавания ключей лица на основе структуры Caffe

компьютерное зрение

• С развитием компьютерного видения, столь популярной, какие основные навыки необходимы для интервью с трудоустройством?

Мне не нужно много говорить о индустрии компьютерного зрения, она самая популярная прямо сейчас. Так что же нужно учиться? Ядро на самом деле две части, одна - обработка изображений, а другая - моделирование изображений. Так называемая обработка изображений-это то, что делает OpenCV. Моделирование изображений в основном использует глубокое обучение для выполнения таких задач, как обнаружение и распознавание. На этом этапе обучения, я думаю, вам не нужно читать о традиционных алгоритмах обработки изображений, вы можете просто ознакомиться с ними. .

Практика обработки изображений OpenCV

• Как мне узнать об OpenCV?

Рекомендуется выбирать версию Python для изучения и использования ее. Если вы столкнетесь с чем -то, с чем вы не знакомы, проверьте API и выучите во время его использования. В основном все функции в OpenCV включают в себя много математических формул.

• Мне нужно написать эти случаи сам?

Мы подготовили много учебных ресурсов и случаев для всех.

Название дела	Обзор контента
Введение OpenCV и конфигурация среды	Установка и конфигурация среды
Основные операции изображений	Используйте OpenCV, чтобы завершить базовые операции обработки изображений и практику!
Порог и сглаживание	Наиболее часто используемые операции обработки могут быть выполнены лишь несколькими строками кода
Операции морфологии изображения	Просто познакомьтесь с этими морфологическими операциями
Расчет градиента изображения	Пример расчета градиента изображения
обнаружение края	Обнаружение краев имеет широкий спектр приложений
Изображение пирамида и обнаружение контура	Пример обнаружения контура, эффект все еще хорош
Гистограмма и преобразование Фурье	Просто познакомьтесь с этим
Практическая карта Project Practice Card Digital Identification	Сделайте практический проект для обнаружения и выявления номеров кредитных карт
Практическое практическое сканирование OCR	Сканировать данные документа для распознавания OCR
Особенности изображения-Харрис	Обычно используемые методы извлечения признаков алгоритм прост и знакомы
Особенности изображения	Самый старый метод извлечения функций, он все еще требует много математики.
Практическая практика-панорамная строчка изображений	Все, должно быть, играли с панорамной камерой, как ее достичь?
Практическая практика, идентификация пространства, выявлена	Тяжелый проект, создание модели распознавания парковки с нуля
Практическая практика-идентификация карт и суждение карты	Давайте также повеселимся с автоматической маркировкой
Фоновое моделирование	Обычные методы лечения
Оценка оптического потока	Просто будьте знакомы с этим
OpenCV DNN Модуль	Загрузите обученную модель для распознавания
Практика проекта - отслеживание целей	Эффект отслеживания довольно интересный.
Принципы и операции свертывания	Куда бы ни проходила свертка, это ядро.
Практическое обнаружение практики	Обнаружение усталости в зависимости от камеры

Практический проект компьютерного видения (на основе глубокого обучения)

• Мне нужно освоить все эти предметы?

Я рекомендую, чтобы студенты, которые готовились к интервью и занятости, прочитать их все. .

• Есть ли кто -нибудь, кто должен быть сосредоточен на обучении? Лучше всего поместить это в свое резюме?

Мы настоятельно рекомендуем Practical Project Mask-Rcnn. Сценарии приложений очень широки, и это также подходит для вторичной разработки и улучшения. Я сосредоточусь на объяснении проекта и применяю его к себе.

Название проекта	Обзор контента
Перенос стиля изображения (перенос стиля)	В основном, чтобы узнать его идеи, эффект все еще очень интересен
Автоматически завершить отсутствующие изображения	Существует множество сценариев приложений для Gan Network, и изображения также могут быть отремонтированы сами по себе.
Реконструкция супер-разрешения	Один из ключевых областей исследований в последние годы, результаты этой статьи уже очень хороши.
Проект обнаружения объектов-Maskrcnn	Это проект с открытым исходным кодом, который я выделяю, обязательно нужно посмотреть! Обязательно посмотрите! Обязательно посмотрите!
Подробное объяснение исходного кода сетевой фреймворки Maskrcnn	Исходный код очень важен, вам нужно понять каждую строку!
Обучите свои собственные данные на основе фреймворка Mask-RCNN	Как пометить данные изображения и обучить их? Вот ваш ответ
Демонстрация признания осанки человека	Есть много сценариев применения для maskrcnn
Обнаружение объекта experrcnn серия	Классическая работа по обнаружению объектов, которую можно использовать в качестве учебного ресурса
Практическое слияние изображения на основе проекта Cyclegan с открытым исходным кодом	Pytorch версия Cyclegan, этот проект с открытым исходным кодом очень хорошо написан
Принцип распознавания текста OCR	Принцип OCR на самом деле очень прост и требует помощи нескольких моделей для его завершения.
Практика проекта распознавания текста OCR	Создать модель сети OCR
Анализ видео и распознавание действий на основе 3D -свертки	Используйте 3D -свертку для обработки видеодантеров и полного распознавания поведения

обработка естественного языка

• Трудно ли научиться НЛП? Как насчет направления занятости?

Можно сказать, что сложность довольно высока. Но текстовые данные не столь фиксированы, и иногда людям нелегко понять, не говоря уже о компьютерах. Высокие проблемы также являются высокими преимуществами.

Практический проект обработки естественного языка (на основе глубокого обучения)

• С таким большим количеством проектов, на чем вам нужно сосредоточиться? Лучше всего поместить это в свое резюме?

В 2018 году вышла газета Google, Берт! Это эквивалентно общей структуре решения для обработки естественного языка и может в основном выполнять все задачи! Это требует, чтобы все были сосредоточены на обучении, и это может быть написано как проект в вашем резюме.

Название проекта	Обзор контента
языковая модель	Языковая модель требует, чтобы все знакомы с основой последующих векторов слов.
Используйте Gemsim для создания векторов слов	Генсим - действительно полезный пакет!
Задача классификации на основе Word2VEC	Давайте впервые используем этот пример, чтобы понять, как использовать векторы слов
Сравнение методов функций NLP-текста	Есть так много способов построить текстовые функции, какой из них лучше?
Анализ настроений LSTM	Используйте этот проект, чтобы понять, как выглядит ввод, требуемый моделью RNN
Модель NLP-Simwarity	Метод расчета сходства текста
разговорной робот	Создайте чат -бот на основе фреймворка Tensorlfow
Создайте свой собственный метод ввода	Можете ли вы создать свой собственный метод ввода? Помогите вам сделать это!
Робот пишет поэзию танг	Взгляните на поэзию TANG, написанную моделью!
Комплексная коробка для машинного перевода NMT	Проект с открытым исходным кодом, способный к вторичной разработке
Адрес по почтовому коду задачи последовательности	Классические задачи классификации текста
Принцип Берта, общая основа для обработки естественного языка	Это БЕРТ, упомянутый выше, точка! Дело! Дело!
Интерпретация исходного кода проекта с открытым исходным кодом Google Bert	Исходный код очень важен, каждая строка должна быть понята
Анализ китайских настроений на основе BERT	Разработка модели на основе проектов с открытым исходным кодом
Признание китайцев по имени организация на основе Берта	Признание объекта на основе проектов с открытым исходным кодом

Несколько последних слов

Благодаря онлайн -курсам и офлайному корпоративному обучению в последние несколько лет я встретил много друзей. Все знают меня в основном через видеоусы, и я очень рад, что я могу принести выгоду для всех. Благодаря многим друзьям за их поддержку, давай, ты все лучшие!