data science ipython notebooks

наука о данных-ipython-ноутбуки

Индекс

• глубокое обучение
  • тензорный поток
  • теано
  • керас
  • кафе
• scikit-learn
• статистический вывод
• панды
• matplotlib
• бестолковый
• данные Python
• kaggle-и-бизнес-анализ
• искра
• Mapreduce-Python
• веб-сервисы амазонки
• командные строки
• разное
• установка ноутбука
• кредиты
• вклад
• контактная информация
• лицензия

глубокое обучение

Блокноты IPython, демонстрирующие функциональность глубокого обучения.

Учебники по тензорному потоку

Дополнительные руководства по TensorFlow:

• pkmital/tensorflow_tutorials
• nlintz/TensorFlow-Учебные пособия
• Alrojo/tensorflow-учебник
• BinRoot/TensorFlow-Book
• Туанаву/tensorflow-basic-tutorials

Блокнот	Описание
tsf-основы	Изучите базовые операции в TensorFlow, библиотеке Google для различных задач по восприятию и пониманию языка.
тсф-линейный	Реализуйте линейную регрессию в TensorFlow.
тсф-логистика	Реализуйте логистическую регрессию в TensorFlow.
тсф-нн	Реализуйте ближайших соседей в TensorFlow.
tsf-алекс	Внедрите AlexNet в TensorFlow.
tsf-cnn	Реализуйте сверточные нейронные сети в TensorFlow.
тсф-млп	Реализуйте многослойные перцептроны в TensorFlow.
тсф-рнн	Реализуйте рекуррентные нейронные сети в TensorFlow.
tsf-GPU	Узнайте об основных вычислениях с несколькими графическими процессорами в TensorFlow.
tsf-gviz	Узнайте о визуализации графов в TensorFlow.
тсф-лвиз	Узнайте о визуализации потерь в TensorFlow.

упражнения с тензорным потоком

Блокнот	Описание
тсф-не-мнисть	Научитесь простому управлению данными, создав выборку с форматированными наборами данных для обучения, разработки и тестирования в TensorFlow.
tsf-полностью подключенный	Постепенно обучайте более глубокие и точные модели, используя логистическую регрессию и нейронные сети в TensorFlow.
tsf-регуляризация	Изучите методы регуляризации, обучая полносвязные сети классифицировать символы notMNIST в TensorFlow.
tsf-свертки	Создайте сверточные нейронные сети в TensorFlow.
tsf-word2vec	Обучите модель пропуска граммы на данных Text8 в TensorFlow.
тсф-лстм	Обучите модель символов LSTM на данных Text8 в TensorFlow.

теано-уроки

Блокнот	Описание
теано-интро	Введение в Theano, которое позволяет эффективно определять, оптимизировать и оценивать математические выражения, включающие многомерные массивы. Он может использовать графические процессоры и выполнять эффективное символьное дифференцирование.
теано-скан	Изучите сканирование — механизм выполнения циклов в графе Theano.
теанологистика	Реализуйте логистическую регрессию в Theano.
теано-рнн	Реализуйте рекуррентные нейронные сети в Theano.
теано-млп	Реализуйте многослойные перцептроны в Theano.

керас-учебники

Блокнот	Описание
керас	Keras — это библиотека нейронных сетей с открытым исходным кодом, написанная на Python. Он способен работать поверх Tensorflow или Theano.
настраивать	Узнайте о целях руководства и о том, как настроить среду Keras.
введение-глубокое-обучение-энн	Получите введение в глубокое обучение с помощью Keras и искусственных нейронных сетей (ANN).
теано	Узнайте о Theano, работая с матрицами весов и градиентами.
керас-отто	Узнайте о Керасе, просмотрев задание Kaggle Otto.
ежегодник	Ознакомьтесь с простой реализацией ANN для MNIST с использованием Keras.
конв-сети	Узнайте о сверточных нейронных сетях (CNN) с Keras.
конв-сеть-1	Распознавание рукописных цифр из MNIST с помощью Keras — Часть 1.
конв-сеть-2	Распознавание рукописных цифр из MNIST с помощью Keras — Часть 2.
керас-модели	Используйте предварительно обученные модели, такие как VGG16, VGG19, ResNet50 и Inception v3, с Keras.
автоэнкодеры	Узнайте об автоэнкодерах с Keras.
рнн-лстм	Узнайте о рекуррентных нейронных сетях (RNN) с Keras.
lstm-предложение-генер	Узнайте о RNN, использующих сети долгосрочной краткосрочной памяти (LSTM) с Keras.

разное глубокое обучение

Блокнот	Описание
глубокий сон	Программа компьютерного зрения на основе Caffe, которая использует сверточную нейронную сеть для поиска и улучшения закономерностей в изображениях.

scikit-learn

Блокноты IPython, демонстрирующие функциональность scikit-learn.

Блокнот	Описание
вступление	Вводный блокнот для изучения науки. Scikit-learn добавляет поддержку Python для больших многомерных массивов и матриц, а также большую библиотеку математических функций высокого уровня для работы с этими массивами.
кнн	Реализуйте k-ближайших соседей в scikit-learn.
линейный-рег	Внедрите линейную регрессию в scikit-learn.
свм	Реализуйте машинные классификаторы опорных векторов с ядрами и без них в scikit-learn.
случайный лес	Реализуйте случайные классификаторы леса и регрессоры в scikit-learn.
k-средство	Реализуйте кластеризацию k-средних в scikit-learn.
ПКА	Внедрить анализ главных компонентов в scikit-learn.
гмм	Реализуйте модели гауссовой смеси в scikit-learn.
проверка	Реализуйте проверку и выбор модели в scikit-learn.

статистический вывод

Блокноты IPython, демонстрирующие статистический вывод с функциональностью SciPy.

Блокнот	Описание
острый	SciPy — это набор математических алгоритмов и удобных функций, построенных на расширении Python Numpy. Он значительно расширяет возможности интерактивного сеанса Python, предоставляя пользователю команды и классы высокого уровня для управления и визуализации данных.
размер эффекта	Изучите статистические данные, позволяющие количественно оценить величину эффекта, анализируя разницу в росте между мужчинами и женщинами. Использует данные Системы наблюдения за поведенческими факторами риска (BRFSS) для оценки среднего и стандартного отклонения роста взрослых женщин и мужчин в Соединенных Штатах.
выборка	Изучите случайную выборку, проанализировав средний вес мужчин и женщин в США с использованием данных BRFSS.
гипотеза	Изучите проверку гипотез, проанализировав разницу первенцев по сравнению с другими.

панды

Блокноты IPython, демонстрирующие функциональность pandas.

Блокнот	Описание
панды	Библиотека программного обеспечения, написанная для обработки и анализа данных на Python. Предлагает структуры данных и операции для управления числовыми таблицами и временными рядами.
GitHub-обсуждение данных	Узнайте, как загружать, очищать, объединять и проектировать функции, анализируя данные GitHub из репозитория Viz .
Знакомство с пандами	Знакомство с пандами.
Знакомство с объектами Pandas	Узнайте об объектах Pandas.
Индексирование и выбор данных	Узнайте об индексировании и выборе данных в Pandas.
Операции в Pandas	Узнайте, как работать с данными в Pandas.
Отсутствующие значения	Узнайте, как обрабатывать недостающие данные в Pandas.
Иерархическое индексирование	Узнайте об иерархической индексации в Pandas.
Объединение и добавление	Узнайте об объединении наборов данных: объединение и добавление в Pandas.
Слияние и объединение	Узнайте об объединении наборов данных: объединяйте и присоединяйтесь в Pandas.
Агрегация и группировка	Узнайте об агрегации и группировке в Pandas.
Сводные таблицы	Узнайте о сводных таблицах в Pandas.
Работа со строками	Узнайте о векторизованных строковых операциях в Pandas.
Работа с временными рядами	Узнайте о работе с временными рядами в pandas.
Оценка производительности и запросы	Узнайте о высокопроизводительных Pandas: eval() и query() в Pandas.

матплотлиб

Блокноты IPython, демонстрирующие функциональность matplotlib.

Блокнот	Описание
матплотлиб	Библиотека 2D-графиков Python, которая формирует показатели качества публикации в различных печатных форматах и ​​в интерактивных средах на разных платформах.
прикладной matplotlib	Применяйте визуализации matplotlib к соревнованиям Kaggle для исследовательского анализа данных. Узнайте, как создавать гистограммы, гистограммы, subplot2grid, нормализованные графики, диаграммы рассеяния, подграфики и графики оценки плотности ядра.
Введение в Matplotlib	Введение в Matplotlib.
Простые линейные графики	Узнайте о простых линейных графиках в Matplotlib.
Простые диаграммы рассеяния	Узнайте о простых диаграммах рассеяния в Matplotlib.
Errorbars.ipynb	Узнайте о визуализации ошибок в Matplotlib.
Графики плотности и контура	Узнайте о графиках плотности и контурах в Matplotlib.
Гистограммы и биннинги	Узнайте о гистограммах, биннингах и плотности в Matplotlib.
Легенды настройки	Узнайте о настройке легенд графиков в Matplotlib.
Настройка-Цветовые панели	Узнайте о настройке цветовых полос в Matplotlib.
Несколько подзаголовков	Узнайте о нескольких подзаголовках в Matplotlib.
Текст и аннотации	Узнайте о тексте и аннотациях в Matplotlib.
Настройка-Ticks	Узнайте о настройке тиков в Matplotlib.
Настройки и таблицы стилей	Узнайте о настройке Matplotlib: конфигурации и таблицы стилей.
Трехмерное построение	Узнайте о трехмерном построении графиков в Matplotlib.
Географические данные с базовой картой	Узнайте о географических данных с помощью базовой карты в Matplotlib.
Визуализация с Seaborn	Узнайте о визуализации с помощью Seaborn.

бестолковый

Блокноты IPython, демонстрирующие функциональность NumPy.

Блокнот	Описание
бестолковый	Добавляет поддержку Python для больших многомерных массивов и матриц, а также большую библиотеку математических функций высокого уровня для работы с этими массивами.
Введение в NumPy	Знакомство с NumPy.
Понимание типов данных	Узнайте о типах данных в Python.
Основы массивов NumPy	Узнайте об основах массивов NumPy.
Вычисления на массивах-ufuncs	Узнайте о вычислениях с массивами NumPy: универсальные функции.
Агрегаты вычислений на массивах	Узнайте об агрегатах: min, max и всем, что между ними, в NumPy.
Трансляция вычислений на массивах	Узнайте о вычислениях на массивах: трансляция в NumPy.
Логические массивы и маски	Узнайте о сравнениях, масках и логической логике в NumPy.
Необычное индексирование	Узнайте о необычной индексации в NumPy.
Сортировка	Узнайте о сортировке массивов в NumPy.
Структурированные данные-NumPy	Узнайте о структурированных данных: структурированные массивы NumPy.

данные Python

Блокноты IPython, демонстрирующие функциональные возможности Python, предназначенные для анализа данных.

Блокнот	Описание
структуры данных	Изучите основы Python с кортежами, списками, словарями и наборами.
утилиты структуры данных	Изучите операции Python, такие как срез, диапазон, xrange, биссектриса, сортировка, сортировка, переворот, перечисление, сжатие, составление списков.
функции	Узнайте о более продвинутых возможностях Python: функции как объекты, лямбда-функции, замыкания, *args, каррирование **kwargs, генераторы, выражения-генераторы, инструменты itertools.
дата и время	Узнайте, как работать с датами и временем Python: datetime, strftime, strptime, timedelta.
регистрация	Узнайте о ведении журнала Python с помощью RotatingFileHandler и TimedRotatingFileHandler.
PDB	Узнайте, как выполнять отладку Python с помощью интерактивного отладчика исходного кода.
модульные тесты	Узнайте, как тестировать Python с помощью модульных тестов Nose.

kaggle-и-бизнес-анализ

Блокноты IPython, используемые в соревнованиях по Kaggle и бизнес-анализе.

Блокнот	Описание
титанический	Предскажите выживание на Титанике. Изучите очистку данных, исследовательский анализ данных и машинное обучение.
анализ оттока	Прогнозируйте отток клиентов. Осуществите логистическую регрессию, классификаторы повышения градиента, машины опорных векторов, случайные леса и k-ближайших соседей. Включает обсуждение матриц путаницы, графиков ROC, важности функций, вероятностей прогнозирования и калибровки/описания.

искра

Ноутбуки IPython, демонстрирующие функциональность Spark и HDFS.

Блокнот	Описание
искра	Фреймворк кластерных вычислений в памяти работает до 100 раз быстрее для определенных приложений и хорошо подходит для алгоритмов машинного обучения.
hdfs	Надежно хранит очень большие файлы на компьютерах в большом кластере.

Mapreduce-Python

Ноутбуки IPython, демонстрирующие Hadoop MapReduce с функциональностью mrjob.

Блокнот	Описание
Mapreduce-Python	Запускает задания MapReduce на Python, выполняя задания локально или в кластерах Hadoop. Демонстрирует потоковую передачу Hadoop в коде Python с модульным тестом и файлом конфигурации mrjob для анализа журналов корзины Amazon S3 в Elastic MapReduce. Disco — еще одна альтернатива на основе Python.

оу

Ноутбуки IPython, демонстрирующие функциональность Amazon Web Services (AWS) и инструментов AWS.

Также проверьте:

• SAWS: улучшенный интерфейс командной строки (CLI) AWS.
• Awesome AWS: тщательно подобранный список библиотек, репозиториев с открытым исходным кодом, руководств, блогов и других ресурсов.

Блокнот	Описание
бото	Официальный AWS SDK для Python.
s3cmd	Взаимодействует с S3 через командную строку.
s3discp	Объединяет файлы меньшего размера и объединяет их вместе, используя шаблон и целевой файл. S3DistCp также можно использовать для передачи больших объемов данных из S3 в кластер Hadoop.
s3-параллельное размещение	Загружает несколько файлов в S3 параллельно.
красное смещение	Действует как быстрое хранилище данных, созданное на основе технологии массовой параллельной обработки (MPP).
кинезис	Потоковая передача данных в режиме реального времени с возможностью обработки тысяч потоков данных в секунду.
лямбда	Запускает код в ответ на события, автоматически управляя вычислительными ресурсами.

команды

Блокноты IPython, демонстрирующие различные командные строки для Linux, Git и т. д.

Блокнот	Описание
Linux	Unix-подобная и в основном POSIX-совместимая компьютерная операционная система. Использование диска, разделение файлов, grep, sed, curl, просмотр запущенных процессов, подсветка синтаксиса терминала и Vim.
анаконда	Распространение языка программирования Python для крупномасштабной обработки данных, прогнозного анализа и научных вычислений, целью которого является упрощение управления и развертывания пакетов.
ipython-ноутбук	Интерактивная вычислительная веб-среда, в которой вы можете объединить выполнение кода, текст, математические вычисления, графики и мультимедийные материалы в одном документе.
мерзавец	Распределенная система контроля версий с упором на скорость, целостность данных и поддержку распределенных нелинейных рабочих процессов.
рубин	Используется для взаимодействия с командной строкой AWS и для Jekyll — платформы блогов, которую можно разместить на страницах GitHub.
Джекилл	Простой генератор статических сайтов с поддержкой блогов для личных сайтов, сайтов проектов или организаций. Отрисовывает шаблоны Markdown или Textile and Liquid и создает полный статический веб-сайт, готовый к обслуживанию HTTP-сервером Apache, Nginx или другим веб-сервером.
пеликан	Альтернатива Jekyll на основе Python.
Джанго	Высокоуровневая веб-инфраструктура Python, которая способствует быстрой разработке и чистому, прагматичному дизайну. Может быть полезно делиться отчетами/анализами и вести блог. Более легкие альтернативы включают «Пирамиду», «Флягу», «Торнадо» и «Бутылку».

разное

Блокноты IPython, демонстрирующие различные функциональные возможности.

Блокнот	Описание
регулярное выражение	Шпаргалка по регулярным выражениям, полезная при обработке данных.
алгоритмия	Алгоритмия — это рынок алгоритмов. В этом ноутбуке реализованы 4 различных алгоритма: распознавание лиц, суммирование контента, скрытое распределение Дирихле и оптическое распознавание символов.

установка ноутбука

анаконда

Anaconda — это бесплатный дистрибутив языка программирования Python для крупномасштабной обработки данных, прогнозного анализа и научных вычислений, целью которого является упрощение управления пакетами и их развертывания.

Следуйте инструкциям по установке Anaconda или более легкой версии Miniconda.

настройка разработчика

Подробные инструкции, сценарии и инструменты для настройки среды разработки для анализа данных можно найти в репозитории dev-setup.

ноутбуки для бега

Чтобы просмотреть интерактивный контент или изменить элементы в записных книжках IPython, необходимо сначала клонировать или загрузить репозиторий, а затем запустить записную книжку. Дополнительную информацию о ноутбуках IPython можно найти здесь.

 $ git clone https://github.com/donnemartin/data-science-ipython-notebooks.git
$ cd data-science-ipython-notebooks
$ jupyter notebook

Ноутбуки, протестированные с использованием Python 2.7.x.

кредиты

• Python для анализа данных: обработка данных с помощью Pandas, NumPy и IPython, Уэс МакКинни
• Учебное пособие по PyCon 2015 Scikit-learn от Джейка ВандерПласа
• Справочник по Python Data Science от Джейка ВандерПласа
• Параллельное машинное обучение с scikit-learn и IPython, Оливье Гризель
• Статистическая интерференция с использованием вычислительных методов в Python Аллен Дауни
• Примеры TensorFlow от Эймерика Дэмиена
• Учебные пособия по TensorFlow от Parag K Mital
• Учебники по TensorFlow от Натана Линца
• Учебники по TensorFlow от Александра Р. Йохансена
• Книга TensorFlow Нишанта Шуклы
• Летняя школа 2015 от mila-udem
• Уроки Keras от Валерио Маджио
• Каггл
• Яхат Блог

вклад

Вклады приветствуются! Для сообщений об ошибках или запросов, пожалуйста, сообщите о проблеме.

контактная информация

Не стесняйтесь обращаться ко мне, чтобы обсудить любые проблемы, вопросы или комментарии.

• Электронная почта: [email protected]
• Твиттер: @donne_martin
• GitHub: доннемартин
• LinkedIn: Доннемартин
• Сайт: donnemartin.com.

лицензия

Этот репозиторий содержит разнообразный контент; некоторые разработаны Донном Мартином, а некоторые — сторонними разработчиками. Сторонний контент распространяется по лицензии, предоставленной этими сторонами.

Контент, разработанный Донном Мартином, распространяется по следующей лицензии:

Я предоставляю вам код и ресурсы из этого репозитория под лицензией с открытым исходным кодом. Поскольку это мой личный репозиторий, лицензия, которую вы получаете на мой код и ресурсы, принадлежит мне, а не моему работодателю (Facebook).

 Copyright 2015 Donne Martin

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

   http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.