data science ipython notebooks

데이터 과학-ipython-노트북

색인

• 딥러닝
  • 텐서플로우
  • 테아노
  • 케라스
  • 카페
• scikit-learn
• 통계적 추론
• 팬더
• matplotlib
• 멍청하다
• 파이썬 데이터
• Kaggle 및 비즈니스 분석
• 불꽃
• mapreduce-python
• 아마존 웹 서비스
• 명령줄
• 기타
• 노트북 설치
• 크레딧
• 기여
• 연락처 정보
• 특허

딥러닝

딥 러닝 기능을 시연하는 IPython 노트북.

텐서 흐름 튜토리얼

추가 TensorFlow 튜토리얼:

• pkmital/tensorflow_tutorials
• nlintz/TensorFlow-튜토리얼
• alrojo/tensorflow-tutorial
• BinRoot/TensorFlow-Book
• 투아나부/텐서플로우-기본-튜토리얼

공책	설명
tsf-기본	Google의 다양한 지각 및 언어 이해 작업을 위한 라이브러리인 TensorFlow의 기본 작업을 알아보세요.
tsf-선형	TensorFlow에서 선형 회귀를 구현합니다.
tsf-물류	TensorFlow에서 로지스틱 회귀를 구현합니다.
tsf-nn	TensorFlow에서 가장 가까운 이웃을 구현합니다.
tsf-알렉스	TensorFlow에서 AlexNet을 구현합니다.
tsf-cnn	TensorFlow에서 컨벌루션 신경망을 구현합니다.
tsf-mlp	TensorFlow에서 다층 퍼셉트론을 구현합니다.
tsf-rnn	TensorFlow에서 순환 신경망을 구현합니다.
tsf-gpu	TensorFlow의 기본 다중 GPU 계산에 대해 알아보세요.
tsf-gviz	TensorFlow의 그래프 시각화에 대해 알아보세요.
tsf-lviz	TensorFlow의 손실 시각화에 대해 알아보세요.

텐서 흐름 연습

공책	설명
tsf-not-mnist	TensorFlow에서 훈련, 개발, 테스트를 위해 형식이 지정된 데이터세트로 피클을 만들어 간단한 데이터 큐레이션을 알아보세요.
tsf-완전히 연결됨	TensorFlow의 로지스틱 회귀 및 신경망을 사용하여 더욱 심층적이고 정확한 모델을 점진적으로 학습합니다.
tsf-정규화	TensorFlow에서 notMNIST 문자를 분류하기 위해 완전히 연결된 네트워크를 훈련하여 정규화 기술을 살펴보세요.
tsf-컨볼루션	TensorFlow에서 컨벌루션 신경망을 만듭니다.
tsf-word2vec	TensorFlow에서 Text8 데이터에 대한 스킵 그램 모델을 학습합니다.
tsf-lstm	TensorFlow의 Text8 데이터를 통해 LSTM 문자 모델을 학습합니다.

테아노 튜토리얼

공책	설명
테아노 소개	다차원 배열과 관련된 수학적 표현식을 효율적으로 정의, 최적화 및 평가할 수 있는 Theano를 소개합니다. GPU를 사용하고 효율적인 기호 미분을 수행할 수 있습니다.
테아노 스캔	Theano 그래프에서 루프를 수행하는 메커니즘인 스캔을 알아보세요.
테아노로지스틱	Theano에서 로지스틱 회귀를 구현합니다.
테아노-rnn	Theano에서 순환 신경망을 구현합니다.
테아노-mlp	Theano에서 다층 퍼셉트론을 구현합니다.

케라스 튜토리얼

공책	설명
케라스	Keras는 Python으로 작성된 오픈 소스 신경망 라이브러리입니다. Tensorflow 또는 Theano 위에서 실행될 수 있습니다.
설정	튜토리얼 목표와 Keras 환경 설정 방법에 대해 알아보세요.
소개-딥-러닝-앤	Keras와 인공 신경망(ANN)을 사용한 딥 러닝을 소개합니다.
테아노	가중치 행렬과 그래디언트를 사용하여 Theano에 대해 알아보세요.
케라스오토	Kaggle Otto 챌린지를 통해 Keras에 대해 알아보세요.
앤니스트	Keras를 사용하여 MNIST용 ANN의 간단한 구현을 검토합니다.
컨브넷	Keras를 사용한 CNN(컨벌루션 신경망)에 대해 알아보세요.
전환망-1	Keras를 사용하여 MNIST에서 손으로 쓴 숫자를 인식합니다 - 1부.
전환망-2	Keras를 사용하여 MNIST에서 손으로 쓴 숫자를 인식합니다 - 2부.
케라스 모델	Keras와 함께 VGG16, VGG19, ResNet50, Inception v3 등 사전 학습된 모델을 사용하세요.
자동 인코더	Keras를 사용한 자동 인코더에 대해 알아보세요.
Rnn-lstm	Keras를 사용한 순환 신경망(RNN)에 대해 알아보세요.
lstm-문장-gen	Keras와 함께 LSTM(Long Short Term Memory) 네트워크를 사용하는 RNN에 대해 알아보세요.

딥러닝 기타

공책	설명
깊은 꿈	컨볼루션 신경망을 사용하여 이미지의 패턴을 찾고 향상시키는 Caffe 기반 컴퓨터 비전 프로그램입니다.

scikit-learn

scikit-learn 기능을 시연하는 IPython 노트북입니다.

공책	설명
소개	scikit-learn 소개 노트입니다. Scikit-learn은 대규모 다차원 배열 및 행렬에 대한 Python 지원을 추가하고 이러한 배열에서 작동하는 고급 수학 함수의 대규모 라이브러리를 추가합니다.
knn	scikit-learn에서 k-최근접 이웃을 구현합니다.
선형 등록	scikit-learn에서 선형 회귀를 구현합니다.
svm	scikit-learn에서 커널 유무에 관계없이 지원 벡터 머신 분류자를 구현합니다.
랜덤 포레스트	scikit-learn에서 무작위 포리스트 분류기와 회귀자를 구현합니다.
k-평균	scikit-learn에서 k-평균 클러스터링을 구현합니다.
PCA	scikit-learn에서 주성분 분석을 구현합니다.
그엠	scikit-learn에서 가우스 혼합 모델을 구현합니다.
확인	scikit-learn에서 검증 및 모델 선택을 구현합니다.

통계적 추론

SciPy 기능을 사용한 통계적 추론을 보여주는 IPython 노트북입니다.

공책	설명
사이피	SciPy는 Python의 Numpy 확장을 기반으로 구축된 수학적 알고리즘과 편의 함수 모음입니다. 사용자에게 데이터 조작 및 시각화를 위한 고급 명령과 클래스를 제공하여 대화형 Python 세션에 상당한 성능을 추가합니다.
효과 크기	남성과 여성의 키 차이를 분석하여 효과크기를 정량화하는 통계를 살펴보세요. BRFSS(행동 위험 요인 감시 시스템)의 데이터를 사용하여 미국 성인 여성과 남성의 신장의 평균 및 표준 편차를 추정합니다.
견본 추출	BRFSS 데이터를 사용하여 미국 남성과 여성의 평균 체중을 분석하여 무작위 샘플링을 살펴보세요.
가설	첫 번째 아이의 차이를 다른 아이와 비교하여 분석하여 가설 검정을 탐색합니다.

팬더

팬더 기능을 시연하는 IPython 노트북.

공책	설명
팬더	Python에서 데이터 조작 및 분석을 위해 작성된 소프트웨어 라이브러리입니다. 숫자 테이블과 시계열을 조작하기 위한 데이터 구조와 작업을 제공합니다.
github-데이터 랭글링	Viz 리포지토리에서 GitHub 데이터를 분석하여 로드, 정리, 병합 및 기능 엔지니어링 방법을 알아보세요.
Pandas 소개	팬더 소개.
Pandas-Object 소개	Pandas 객체에 대해 알아보세요.
데이터 인덱싱 및 선택	Pandas의 데이터 인덱싱 및 선택에 대해 알아보세요.
Pandas에서의 작업	Pandas의 데이터 작업에 대해 알아보세요.
결측값	Pandas에서 누락된 데이터를 처리하는 방법을 알아보세요.
계층적 인덱싱	Pandas의 계층적 인덱싱에 대해 알아보세요.
연결 및 추가	데이터 세트 결합: Pandas의 연결 및 추가에 대해 알아보세요.
병합 및 조인	데이터 세트 결합에 대해 알아보세요: Pandas에서 병합 및 조인.
집계 및 그룹화	Pandas의 집계 및 그룹화에 대해 알아보세요.
피벗 테이블	Pandas의 피벗 테이블에 대해 알아보세요.
문자열 작업	Pandas의 벡터화된 문자열 작업에 대해 알아보세요.
시계열 작업	Pandas에서 시계열 작업에 대해 알아보세요.
성능 평가 및 쿼리	고성능 Pandas: Pandas의 eval() 및 query()에 대해 알아보세요.

matplotlib

matplotlib 기능을 시연하는 IPython 노트북.

공책	설명
matplotlib	다양한 하드카피 형식과 플랫폼 전반의 대화형 환경에서 출판 품질 수치를 생성하는 Python 2D 플로팅 라이브러리입니다.
matplotlib 적용	탐색적 데이터 분석을 위해 Kaggle 대회에 matplotlib 시각화를 적용합니다. 막대 그래프, 히스토그램, subplot2grid, 정규화된 플롯, 산점도, 서브플롯 및 커널 밀도 추정 플롯을 생성하는 방법을 알아보세요.
Matplotlib 소개	Matplotlib 소개.
단순선 도표	Matplotlib의 간단한 선 그래프에 대해 알아보세요.
단순 산점도	Matplotlib의 간단한 산점도에 대해 알아보세요.
오류바.ipynb	Matplotlib의 오류 시각화에 대해 알아보세요.
밀도 및 윤곽선 플롯	Matplotlib의 밀도 및 등고선 플롯에 대해 알아보세요.
히스토그램 및 비닝	Matplotlib의 히스토그램, 비닝 및 밀도에 대해 알아보세요.
커스터마이징-전설	Matplotlib에서 플롯 범례를 사용자 정의하는 방법을 알아보세요.
사용자 정의 - 컬러바	Matplotlib에서 컬러바를 사용자 정의하는 방법에 대해 알아보세요.
다중 하위 도표	Matplotlib의 여러 하위 플롯에 대해 알아보세요.
텍스트 및 주석	Matplotlib의 텍스트와 주석에 대해 알아보세요.
커스터마이징-틱	Matplotlib에서 눈금을 사용자 정의하는 방법에 대해 알아보세요.
설정 및 스타일시트	Matplotlib 사용자 정의: 구성 및 스타일시트에 대해 알아보세요.
3차원 플로팅	Matplotlib의 3차원 플로팅에 대해 알아보세요.
베이스맵이 포함된 지리 데이터	Matplotlib의 베이스맵을 사용하여 지리 데이터에 대해 알아보세요.
시각화-With-Seaborn	Seaborn을 사용한 시각화에 대해 알아보세요.

멍청하다

NumPy 기능을 시연하는 IPython 노트북.

공책	설명
멍청하다	대규모 다차원 배열 및 행렬에 대한 Python 지원을 추가하고 이러한 배열에서 작동하는 고급 수학 함수의 대규모 라이브러리를 추가합니다.
NumPy 소개	NumPy 소개.
데이터 유형 이해	Python의 데이터 유형에 대해 알아보세요.
NumPy 배열의 기본	NumPy 배열의 기본 사항에 대해 알아보세요.
배열에 대한 계산-ufuncs	NumPy 배열 계산: 범용 함수에 대해 알아보세요.
배열 집계에 대한 계산	NumPy의 최소, 최대 및 그 사이의 모든 집계에 대해 알아보세요.
배열 브로드캐스팅에 대한 계산	배열 계산에 대해 알아보세요: NumPy에서의 브로드캐스팅.
부울 배열 및 마스크	NumPy의 비교, 마스크 및 부울 논리에 대해 알아보세요.
팬시인덱싱	NumPy의 고급 색인 생성에 대해 알아보세요.
정렬	NumPy의 배열 정렬에 대해 알아보세요.
구조화된 데이터-NumPy	구조화된 데이터에 대해 알아보세요: NumPy의 구조화된 배열.

파이썬 데이터

데이터 분석에 맞춰진 Python 기능을 보여주는 IPython 노트북입니다.

공책	설명
데이터 구조	튜플, 목록, 사전, 세트로 Python 기본 사항을 알아보세요.
데이터 구조 유틸리티	슬라이스, 범위, xrange, 이등분, 정렬, 정렬, 역순, 열거, zip, 목록 이해와 같은 Python 작업을 알아보세요.
기능	고급 Python 기능에 대해 알아보세요: 객체로서의 함수, 람다 함수, 클로저, *args, **kwargs 커링, 생성기, 생성기 표현식, itertools.
날짜시간	Python 날짜 및 시간(datetime, strftime, strptime, timedelta)으로 작업하는 방법을 알아보세요.
벌채 반출	RotatingFileHandler 및 TimedRotatingFileHandler를 사용한 Python 로깅에 대해 알아보세요.
pdb	대화형 소스 코드 디버거를 사용하여 Python에서 디버깅하는 방법을 알아보세요.
단위 테스트	Nose 단위 테스트를 통해 Python에서 테스트하는 방법을 알아보세요.

Kaggle 및 비즈니스 분석

Kaggle 대회 및 비즈니스 분석에 사용되는 IPython 노트북입니다.

공책	설명
거대한	타이타닉호의 생존을 예측해보세요. 데이터 정리, 탐색적 데이터 분석 및 기계 학습을 알아보세요.
이탈 분석	고객 이탈을 예측합니다. 로지스틱 회귀 분석, 그래디언트 부스팅 분류기, 지원 벡터 머신, 랜덤 포레스트 및 k-최근접 이웃을 연습합니다. 혼동 행렬, ROC 플롯, 기능 중요도, 예측 확률 및 보정/구분에 대한 논의가 포함됩니다.

불꽃

스파크 및 HDFS 기능을 시연하는 IPython 노트북.

공책	설명
불꽃	인메모리 클러스터 컴퓨팅 프레임워크는 특정 애플리케이션의 경우 최대 100배 더 빠르며 기계 학습 알고리즘에 매우 적합합니다.
HDFS	대규모 클러스터의 여러 컴퓨터에 매우 큰 파일을 안정적으로 저장합니다.

mapreduce-python

mrjob 기능을 갖춘 Hadoop MapReduce를 시연하는 IPython 노트북입니다.

공책	설명
mapreduce-python	Python에서 MapReduce 작업을 실행하여 로컬로 또는 Hadoop 클러스터에서 작업을 실행합니다. Elastic MapReduce에서 Amazon S3 버킷 로그를 분석하기 위해 단위 테스트 및 mrjob 구성 파일을 사용하여 Python 코드에서 Hadoop 스트리밍을 보여줍니다. Disco는 또 다른 Python 기반 대안입니다.

아아

Amazon Web Services(AWS) 및 AWS 도구 기능을 시연하는 IPython 노트북입니다.

또한 확인해 보세요:

• SAWS: 강력한 AWS 명령줄 인터페이스(CLI)입니다.
• Awesome AWS: 선별된 라이브러리, 오픈 소스 저장소, 가이드, 블로그 및 기타 리소스 목록입니다.

공책	설명
보토	Python용 공식 AWS SDK.
s3cmd	명령줄을 통해 S3와 상호 작용합니다.
s3distcp	패턴과 대상 파일을 가져와 더 작은 파일을 결합하고 함께 집계합니다. S3DistCp를 사용하여 S3에서 Hadoop 클러스터로 대량의 데이터를 전송할 수도 있습니다.
s3-병렬-put	여러 파일을 S3에 병렬로 업로드합니다.
적색편이	MPP(대량 병렬 처리) 기술을 기반으로 구축된 빠른 데이터 웨어하우스 역할을 합니다.
키네시스	초당 수천 개의 데이터 스트림을 처리하는 기능을 통해 실시간으로 데이터를 스트리밍합니다.
람다	이벤트에 대한 응답으로 코드를 실행하여 컴퓨팅 리소스를 자동으로 관리합니다.

명령

Linux, Git 등의 다양한 명령줄을 보여주는 IPython 노트북

공책	설명
리눅스	Unix와 유사하며 대부분 POSIX와 호환되는 컴퓨터 운영 체제입니다. 디스크 사용량, 파일 분할, grep, sed, 컬, 실행 중인 프로세스 보기, 터미널 구문 강조 및 Vim.
아나콘다	패키지 관리 및 배포 단순화를 목표로 하는 대규모 데이터 처리, 예측 분석 및 과학 컴퓨팅을 위한 Python 프로그래밍 언어 배포입니다.
아이파이썬 노트북	코드 실행, 텍스트, 수학, 플롯 및 리치 미디어를 단일 문서로 결합할 수 있는 웹 기반 대화형 계산 환경입니다.
자식	속도, 데이터 무결성 및 분산된 비선형 워크플로우 지원에 중점을 둔 분산 개정 제어 시스템입니다.
루비	AWS 명령줄과 GitHub 페이지에서 호스팅할 수 있는 블로그 프레임워크인 Jekyll과 상호 작용하는 데 사용됩니다.
지킬	개인, 프로젝트 또는 조직 사이트를 위한 간단한 블로그 인식 정적 사이트 생성기입니다. Markdown 또는 Textile 및 Liquid 템플릿을 렌더링하고 Apache HTTP Server, Nginx 또는 다른 웹 서버에서 제공할 준비가 된 완전한 정적 웹 사이트를 생성합니다.
펠리컨	Jekyll의 Python 기반 대안.
장고	신속한 개발과 깔끔하고 실용적인 디자인을 장려하는 고급 Python 웹 프레임워크입니다. 보고서/분석을 공유하고 블로깅하는 데 유용할 수 있습니다. 더 가벼운 대안으로는 피라미드(Pyramid), 플라스크(Flask), 토네이도(Tornado), 병(Bottle)이 있습니다.

기타

기타 기능을 시연하는 IPython 노트북.

공책	설명
정규식	데이터 랭글링에 유용한 정규식 치트 시트입니다.
알고리즘	알고리즘은 알고리즘을 위한 마켓플레이스입니다. 이 노트북은 얼굴 감지, 콘텐츠 요약기, 잠재 디리클레 할당 및 광학 문자 인식의 4가지 알고리즘을 보여줍니다.

노트북 설치

아나콘다

Anaconda는 패키지 관리 및 배포 단순화를 목표로 하는 대규모 데이터 처리, 예측 분석 및 과학 컴퓨팅을 위한 Python 프로그래밍 언어의 무료 배포판입니다.

Anaconda 또는 더 가벼운 miniconda를 설치하려면 지침을 따르십시오.

개발 설정

데이터 분석을 위한 개발 환경을 설정하기 위한 자세한 지침, 스크립트 및 도구는 dev-setup 저장소를 확인하세요.

러닝 노트북

대화형 콘텐츠를 보거나 IPython 노트북 내의 요소를 수정하려면 먼저 리포지토리를 복제하거나 다운로드한 후 노트북을 실행해야 합니다. IPython 노트북에 대한 자세한 내용은 여기에서 확인할 수 있습니다.

 $ git clone https://github.com/donnemartin/data-science-ipython-notebooks.git
$ cd data-science-ipython-notebooks
$ jupyter notebook

Python 2.7.x로 테스트된 노트북입니다.

크레딧

• 데이터 분석을 위한 Python: Pandas, NumPy 및 IPython을 사용한 데이터 랭글링(Wes McKinney 저)
• Jake VanderPlas의 PyCon 2015 Scikit-learn 튜토리얼
• Jake VanderPlas의 Python 데이터 과학 핸드북
• Olivier Grisel의 scikit-learn 및 IPython을 사용한 병렬 기계 학습
• Allen Downey가 작성한 Python의 계산 방법을 사용한 통계적 간섭
• Aymeric Damien의 TensorFlow 예제
• Parag K Mital의 TensorFlow 튜토리얼
• Nathan Lintz의 TensorFlow 튜토리얼
• Alexander R Johansen의 TensorFlow 튜토리얼
• Nishant Shukla의 TensorFlow 도서
• mila-udem의 2015 여름 학교
• Valerio Maggio의 Keras 튜토리얼
• 캐글
• Yhat 블로그

기여

기여를 환영합니다! 버그 보고서나 요청이 있는 경우 문제를 제출해 주세요.

연락처 정보

문제, 질문 또는 의견에 대해 논의하려면 언제든지 저에게 연락하십시오.

• 이메일: [email protected]
• 트위터: @donne_martin
• GitHub: 돈네마틴
• 링크드인: 돈네마틴
• 웹사이트: donnemartin.com

특허

이 저장소에는 다양한 콘텐츠가 포함되어 있습니다. 일부는 Donne Martin이 개발했고 일부는 타사에서 개발했습니다. 제3자 콘텐츠는 해당 당사자가 제공한 라이선스에 따라 배포됩니다.

Donne Martin이 개발한 콘텐츠는 다음 라이선스에 따라 배포됩니다.

저는 오픈 소스 라이선스에 따라 이 저장소의 코드와 리소스를 귀하에게 제공하고 있습니다. 이것은 내 개인 저장소이기 때문에 귀하가 내 코드와 리소스에 대해 받는 라이선스는 내 고용주(Facebook)가 아닌 나에게서 오는 것입니다.

 Copyright 2015 Donne Martin

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

   http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.