data science ipython notebooks

数据科学-ipython-笔记本

指数

• 深度学习
  • 张量流
  • 西亚诺
  • 喀拉斯
  • 咖啡厅
• scikit学习
• 统计推断-scipy
• 熊猫
• 绘图库
• 麻木
• 蟒蛇数据
• Kaggle 和业务分析
• 火花
• 映射减少Python
• 亚马逊网络服务
• 命令行
• 杂项
• 笔记本安装
• 学分
• 贡献
• 联系方式
• 执照

深度学习

演示深度学习功能的 IPython 笔记本。

张量流教程

其他 TensorFlow 教程：

• pkmital/tensorflow_tutorials
• nlintz/TensorFlow-教程
• alrojo/tensorflow-教程
• BinRoot/TensorFlow-Book
• tuanavu/tensorflow-基础-教程

笔记本	描述
tsf 基础知识	学习 TensorFlow 中的基本操作，这是一个来自 Google 的用于各种感知和语言理解任务的库。
tsf-线性	在 TensorFlow 中实现线性回归。
tsf物流	在 TensorFlow 中实现逻辑回归。
tsf-nn	在 TensorFlow 中实现最近邻。
tsf-亚历克斯	在 TensorFlow 中实现 AlexNet。
tsf-cnn	在 TensorFlow 中实现卷积神经网络。
tsf-MLP	在 TensorFlow 中实现多层感知器。
tsf-rnn	在 TensorFlow 中实现循环神经网络。
tsf GPU	了解 TensorFlow 中的基本多 GPU 计算。
tsf-gviz	了解 TensorFlow 中的图形可视化。
tsf-lviz	了解 TensorFlow 中的损失可视化。

张量流练习

笔记本	描述
tsf-非 mnist	通过使用格式化数据集创建 pickle 来学习简单的数据管理，以便在 TensorFlow 中进行训练、开发和测试。
tsf 全连接	使用 TensorFlow 中的逻辑回归和神经网络逐步训练更深、更准确的模型。
tsf 正则化	通过训练全连接网络来对 TensorFlow 中的 notMNIST 字符进行分类，探索正则化技术。
tsf 卷积	在 TensorFlow 中创建卷积神经网络。
tsf-word2vec	在 TensorFlow 中使用 Text8 数据训练 Skip-gram 模型。
TSF-LSTM	在 TensorFlow 中通过 Text8 数据训练 LSTM 字符模型。

theano教程

笔记本	描述
theano 介绍	Theano 简介，它允许您有效地定义、优化和评估涉及多维数组的数学表达式。它可以使用 GPU 并执行高效的符号微分。
理论扫描	学习扫描，一种在 Theano 图中执行循环的机制。
神学论	在 Theano 中实现逻辑回归。
西亚诺-RNN	在 Theano 中实现循环神经网络。
西亚诺-MLP	在 Theano 中实现多层感知器。

keras 教程

笔记本	描述
喀拉斯	Keras 是一个用 Python 编写的开源神经网络库。它能够在 Tensorflow 或 Theano 之上运行。
设置	了解教程目标以及如何设置 Keras 环境。
深度学习神经网络介绍	了解 Keras 和人工神经网络 (ANN) 的深度学习简介。
西亚诺	通过使用权重矩阵和梯度来了解 Theano。
克拉斯奥托	通过查看 Kaggle Otto 挑战来了解 Keras。
安尼斯特	查看使用 Keras 的 MNIST 的 ANN 的简单实现。
卷积网络	使用 Keras 了解卷积神经网络 (CNN)。
转换网络1	使用 Keras 识别 MNIST 中的手写数字 - 第 1 部分。
转换网络2	使用 Keras 识别 MNIST 中的手写数字 - 第 2 部分。
keras-模型	将 VGG16、VGG19、ResNet50 和 Inception v3 等预训练模型与 Keras 结合使用。
自动编码器	使用 Keras 了解自动编码器。
RNN-LSTM	了解使用 Keras 的循环神经网络 (RNN)。
LSTM 句子生成	了解将长短期记忆 (LSTM) 网络与 Keras 结合使用的 RNN。

深度学习杂项

笔记本	描述
深梦	基于 Caffe 的计算机视觉程序，使用卷积神经网络来查找和增强图像中的模式。

scikit学习

演示 scikit-learn 功能的 IPython 笔记本。

笔记本	描述
介绍	scikit-learn 的笔记本介绍。 Scikit-learn 添加了对大型多维数组和矩阵的 Python 支持，以及用于对这些数组进行操作的大型高级数学函数库。
克恩	在 scikit-learn 中实现 k 最近邻。
线性调节	在 scikit-learn 中实现线性回归。
支持向量机	在 scikit-learn 中实现带核和不带核的支持向量机分类器。
随机森林	在 scikit-learn 中实现随机森林分类器和回归器。
k-均值	在 scikit-learn 中实现 k-means 聚类。
多氯联苯	在 scikit-learn 中实现主成分分析。
格姆	在 scikit-learn 中实现高斯混合模型。
验证	在 scikit-learn 中实现验证和模型选择。

统计推断-scipy

IPython 笔记本演示使用 SciPy 功能进行统计推断。

笔记本	描述
scipy	SciPy 是基于 Python 的 Numpy 扩展构建的数学算法和便利函数的集合。它通过为用户提供用于操作和可视化数据的高级命令和类，为交互式 Python 会话增添了强大的功能。
效应大小	通过分析男性和女性的身高差异来探索量化效应大小的统计数据。使用行为风险因素监测系统 (BRFSS) 的数据来估计美国成年女性和男性身高的平均值和标准差。
采样	使用 BRFSS 数据分析美国男性和女性的平均体重，探索随机抽样。
假设	通过分析第一胎婴儿与其他婴儿的差异来探索假设检验。

熊猫

演示 pandas 功能的 IPython 笔记本。

笔记本	描述
熊猫	用 Python 编写的用于数据操作和分析的软件库。提供用于操作数值表和时间序列的数据结构和操作。
github-数据争论	通过分析Viz存储库中的 GitHub 数据，了解如何加载、清理、合并和进行功能设计。
熊猫简介	熊猫简介。
介绍 Pandas 对象	了解 Pandas 对象。
数据索引和选择	了解 Pandas 中的数据索引和选择。
Pandas 中的操作	了解如何操作 Pandas 中的数据。
缺失值	了解如何处理 Pandas 中的缺失数据。
分层索引	了解 Pandas 中的分层索引。
连接并附加	了解如何组合数据集：Pandas 中的连接和追加。
合并并连接	了解如何合并数据集：在 Pandas 中合并和加入。
聚合和分组	了解 Pandas 中的聚合和分组。
数据透视表	了解 Pandas 中的数据透视表。
使用字符串	了解 Pandas 中的矢量化字符串操作。
处理时间序列	了解如何使用 Pandas 中的时间序列。
性能评估和查询	了解高性能 Pandas：Pandas 中的 eval() 和 query()。

绘图库

演示 matplotlib 功能的 IPython 笔记本。

笔记本	描述
绘图库	Python 2D 绘图库，以各种硬拷贝格式和跨平台的交互环境生成出版质量的图形。
应用 matplotlib	将 matplotlib 可视化应用于 Kaggle 竞赛以进行探索性数据分析。了解如何创建条形图、直方图、subplot2grid、归一化图、散点图、子图和核密度估计图。
Matplotlib 简介	Matplotlib 简介。
简单线图	了解 Matplotlib 中的简单线图。
简单散点图	了解 Matplotlib 中的简单散点图。
错误栏.ipynb	了解如何在 Matplotlib 中可视化错误。
密度和等值线图	了解 Matplotlib 中的密度图和等高线图。
直方图和分箱	了解 Matplotlib 中的直方图、分箱和密度。
定制-图例	了解如何在 Matplotlib 中自定义绘图图例。
定制-颜色条	了解如何在 Matplotlib 中自定义颜色条。
多个子图	了解 Matplotlib 中的多个子图。
文本和注释	了解 Matplotlib 中的文本和注释。
定制-Ticks	了解如何在 Matplotlib 中自定义刻度。
设置和样式表	了解如何自定义 Matplotlib：配置和样式表。
三维绘图	了解 Matplotlib 中的三维绘图。
带底图的地理数据	通过 Matplotlib 中的底图了解地理数据。
使用 Seaborn 进行可视化	了解 Seaborn 的可视化。

麻木

演示 NumPy 功能的 IPython 笔记本。

笔记本	描述
麻木	添加了对大型多维数组和矩阵的 Python 支持，以及用于对这些数组进行操作的大型高级数学函数库。
NumPy 简介	NumPy 简介。
理解数据类型	了解 Python 中的数据类型。
NumPy 数组的基础知识	了解 NumPy 数组的基础知识。
数组计算 ufuncs	了解 NumPy 数组的计算：通用函数。
数组聚合计算	了解 NumPy 中的聚合：最小值、最大值以及介于两者之间的所有内容。
数组计算广播	了解数组计算：NumPy 中的广播。
布尔数组和掩码	了解 NumPy 中的比较、掩码和布尔逻辑。
花式索引	了解 NumPy 中的精美索引。
排序	了解如何在 NumPy 中对数组进行排序。
结构化数据 NumPy	了解结构化数据：NumPy 的结构化数组。

python-数据

IPython 笔记本演示了面向数据分析的 Python 功能。

笔记本	描述
数据结构	通过元组、列表、字典、集合学习 Python 基础知识。
数据结构实用程序	学习 Python 操作，例如切片、范围、xrange、二等分、排序、排序、反转、枚举、zip、列表推导式。
功能	了解更多高级 Python 功能：函数作为对象、lambda 函数、闭包、*args、**kwargs 柯里化、生成器、生成器表达式、itertools。
日期时间	了解如何使用 Python 日期和时间：datetime、strftime、strptime、timedelta。
记录	了解有关使用 RotatingFileHandler 和 TimedRotatingFileHandler 进行 Python 日志记录的信息。
数据库	了解如何使用交互式源代码调试器在 Python 中进行调试。
单元测试	了解如何使用 Nose 单元测试在 Python 中进行测试。

Kaggle 和业务分析

用于 Kaggle 竞赛和业务分析的 IPython Notebook。

笔记本	描述
泰坦尼克号	预测泰坦尼克号上的生存情况。学习数据清理、探索性数据分析和机器学习。
流失分析	预测客户流失。练习逻辑回归、梯度增强分类器、支持向量机、随机森林和 k 最近邻。包括对混淆矩阵、ROC 图、特征重要性、预测概率和校准/判别的讨论。

火花

演示 Spark 和 HDFS 功能的 IPython Notebook。

笔记本	描述
火花	内存集群计算框架，对于某些应用程序速度最高可达 100 倍，非常适合机器学习算法。
HDFS	在大型集群中跨机器可靠地存储非常大的文件。

映射减少Python

IPython 笔记本演示具有 mrjob 功能的 Hadoop MapReduce。

笔记本	描述
映射减少Python	在 Python 中运行 MapReduce 作业，在本地或 Hadoop 集群上执行作业。使用单元测试和 mrjob 配置文件在 Python 代码中演示 Hadoop Streaming，以分析 Elastic MapReduce 上的 Amazon S3 存储桶日志。 Disco 是另一种基于 python 的替代方案。

AWS

IPython 笔记本演示 Amazon Web Services (AWS) 和 AWS 工具功能。

另请查看：

• SAWS：增强的 AWS 命令​​行界面 (CLI)。
• 很棒的 AWS：库、开源存储库、指南、博客和其他资源的精选列表。

笔记本	描述
博托	适用于 Python 的官方 AWS 开发工具包。
s3cmd	通过命令行与 S3 交互。
s3distcp	组合较小的文件，并通过采用模式和目标文件将它们聚合在一起。 S3DistCp 还可用于将大量数据从 S3 传输到 Hadoop 集群。
s3 并行放置	并行上传多个文件到 S3。
红移	充当基于大规模并行处理 (MPP) 技术构建的快速数据仓库。
运动	实时传输数据，能够每秒处理数千个数据流。
拉姆达	运行代码以响应事件，自动管理计算资源。

命令

IPython Notebook(s) 演示 Linux、Git 等的各种命令行。

笔记本	描述
操作系统	类 Unix 且大多兼容 POSIX 的计算机操作系统。磁盘使用情况、分割文件、grep、sed、curl、查看正在运行的进程、终端语法突出显示和 Vim。
蟒蛇	用于大规模数据处理、预测分析和科学计算的 Python 编程语言的分发，旨在简化包管理和部署。
ipython笔记本	基于 Web 的交互式计算环境，您可以将代码执行、文本、数学、绘图和富媒体组合到单个文档中。
git	分布式修订控制系统，强调速度、数据完整性以及对分布式非线性工作流程的支持。
红宝石	用于与 AWS 命令​​行和 Jekyll 交互，Jekyll 是一个可以托管在 GitHub Pages 上的博客框架。
杰基尔	适用于个人、项目或组织网站的简单、博客感知的静态网站生成器。渲染 Markdown 或 Textile 和 Liquid 模板，并生成一个完整的静态网站，可供 Apache HTTP Server、Nginx 或其他 Web 服务器提供服务。
鹈	基于 Python 的 Jekyll 替代品。
姜戈	高级 Python Web 框架，鼓励快速开发和简洁、务实的设计。共享报告/分析和博客可能很有用。更轻量级的替代品包括 Pyramid、Flask、Tornado 和 Bottle。

杂项

演示各种功能的 IPython 笔记本。

笔记本	描述
正则表达式	正则表达式备忘单在数据整理中很有用。
算法	Algorithmia 是一个算法市场。该笔记本展示了 4 种不同的算法：人脸检测、内容摘要器、潜在狄利克雷分配和光学字符识别。

笔记本安装

蟒蛇

Anaconda 是 Python 编程语言的免费发行版，用于大规模数据处理、预测分析和科学计算，旨在简化包管理和部署。

按照说明安装 Anaconda 或更轻量级的 miniconda。

开发设置

有关设置数据分析开发环境的详细说明、脚本和工具，请查看 dev-setup 存储库。

跑步笔记本

要查看交互式内容或修改 IPython 笔记本中的元素，您必须首先克隆或下载存储库，然后运行笔记本。有关 IPython Notebooks 的更多信息可以在此处找到。

 $ git clone https://github.com/donnemartin/data-science-ipython-notebooks.git
$ cd data-science-ipython-notebooks
$ jupyter notebook

使用 Python 2.7.x 测试的笔记本。

学分

• 用于数据分析的 Python：使用 Pandas、NumPy 和 IPython 进行数据整理 作者：Wes McKinney
• PyCon 2015 Scikit-learn 教程，作者：Jake VanderPlas
• Python 数据科学手册，作者：Jake VanderPlas
• 使用 scikit-learn 和 IPython 进行并行机器学习，作者：Olivier Grisel
• 使用 Python 中的计算方法进行统计干扰 作者：Allen Downey
• Aymeric Damien 的 TensorFlow 示例
• Parag K Mital 的 TensorFlow 教程
• Nathan Lintz 的 TensorFlow 教程
• TensorFlow 教程，作者：Alexander R Johansen
• Nishant Shukla 的 TensorFlow 书籍
• 2015 年暑期学校 by mila-udem
• Keras 教程，作者：Valerio Maggio
• 卡格尔
• 博客

贡献

欢迎贡献！对于错误报告或请求，请提交问题。

联系方式

请随时与我联系讨论任何问题、疑问或意见。

• 电子邮件：[email protected]
• 推特：@donne_martin
• GitHub: 多尼马丁
• 领英： 多尼马丁
• 网站：donnemartin.com

执照

该存储库包含各种内容；有些是由 Donne Martin 开发的，有些是来自第三方。第三方内容根据这些方提供的许可进行分发。

Donne Martin 开发的内容根据以下许可证分发：

我根据开源许可证向您提供此存储库中的代码和资源。因为这是我的个人存储库，所以您收到的我的代码和资源的许可证来自我，而不是我的雇主 (Facebook)。

 Copyright 2015 Donne Martin

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

   http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.