data science ipython notebooks
1.0.0
IPython-Notebook(s) demonstrieren Deep-Learning-Funktionalität.
Zusätzliche TensorFlow-Tutorials:
| Notizbuch | Beschreibung |
|---|---|
| Tsf-Grundlagen | Lernen Sie grundlegende Vorgänge in TensorFlow, einer Bibliothek für verschiedene Arten von Wahrnehmungs- und Sprachverständnisaufgaben von Google. |
| tsf-linear | Implementieren Sie die lineare Regression in TensorFlow. |
| tsf-logistic | Implementieren Sie die logistische Regression in TensorFlow. |
| tsf-nn | Implementieren Sie die nächsten Nachbarn in TensorFlow. |
| tsf-alex | Implementieren Sie AlexNet in TensorFlow. |
| tsf-cnn | Implementieren Sie Faltungs-Neuronale Netze in TensorFlow. |
| tsf-mlp | Implementieren Sie mehrschichtige Perzeptrone in TensorFlow. |
| tsf-rnn | Implementieren Sie wiederkehrende neuronale Netze in TensorFlow. |
| tsf-gpu | Erfahren Sie mehr über die grundlegende Multi-GPU-Berechnung in TensorFlow. |
| tsf-gviz | Erfahren Sie mehr über die Diagrammvisualisierung in TensorFlow. |
| tsf-lviz | Erfahren Sie mehr über die Verlustvisualisierung in TensorFlow. |
| Notizbuch | Beschreibung |
|---|---|
| tsf-not-mnist | Lernen Sie die einfache Datenkuratierung, indem Sie eine Auswahl mit formatierten Datensätzen für Training, Entwicklung und Tests in TensorFlow erstellen. |
| tsf-vollständig verbunden | Trainieren Sie schrittweise tiefere und genauere Modelle mithilfe logistischer Regression und neuronaler Netze in TensorFlow. |
| TSF-Regularisierung | Entdecken Sie Regularisierungstechniken, indem Sie vollständig verbundene Netzwerke trainieren, um notMNIST-Zeichen in TensorFlow zu klassifizieren. |
| Tsf-Faltungen | Erstellen Sie Faltungs-Neuronale Netze in TensorFlow. |
| tsf-word2vec | Trainieren Sie ein Skip-Gramm-Modell über Text8-Daten in TensorFlow. |
| tsf-lstm | Trainieren Sie ein LSTM-Zeichenmodell über Text8-Daten in TensorFlow. |
| Notizbuch | Beschreibung |
|---|---|
| theano-intro | Einführung in Theano, mit dem Sie mathematische Ausdrücke mit mehrdimensionalen Arrays effizient definieren, optimieren und auswerten können. Es kann GPUs verwenden und eine effiziente symbolische Differenzierung durchführen. |
| theano-scan | Lernen Sie Scans, einen Mechanismus zum Ausführen von Schleifen in einem Theano-Diagramm. |
| theano-logistisch | Implementieren Sie die logistische Regression in Theano. |
| theano-rnn | Implementieren Sie wiederkehrende neuronale Netze in Theano. |
| theano-mlp | Implementieren Sie mehrschichtige Perzeptrone in Theano. |
| Notizbuch | Beschreibung |
|---|---|
| Keras | Keras ist eine in Python geschriebene Open-Source-Bibliothek für neuronale Netze. Es kann entweder auf Tensorflow oder Theano ausgeführt werden. |
| aufstellen | Erfahren Sie mehr über die Ziele des Tutorials und wie Sie Ihre Keras-Umgebung einrichten. |
| Einführung-Deep-Learning-Ann | Erhalten Sie eine Einführung in Deep Learning mit Keras und künstlichen neuronalen Netzen (ANN). |
| theano | Erfahren Sie mehr über Theano, indem Sie mit Gewichtungsmatrizen und Verläufen arbeiten. |
| Keras-Otto | Erfahren Sie mehr über Keras, indem Sie sich die Kaggle Otto-Herausforderung ansehen. |
| ann-mnist | Sehen Sie sich eine einfache Implementierung von ANN für MNIST mit Keras an. |
| Conv-Netze | Erfahren Sie mehr über Convolutional Neural Networks (CNNs) mit Keras. |
| conv-net-1 | Erkennen Sie handgeschriebene Ziffern von MNIST mit Keras – Teil 1. |
| conv-net-2 | Erkennen Sie handgeschriebene Ziffern von MNIST mit Keras – Teil 2. |
| Keras-Modelle | Verwenden Sie vorab trainierte Modelle wie VGG16, VGG19, ResNet50 und Inception v3 mit Keras. |
| Auto-Encoder | Erfahren Sie mehr über Autoencoder mit Keras. |
| rnn-lstm | Erfahren Sie mehr über wiederkehrende neuronale Netze (RNNs) mit Keras. |
| lstm-Satz-Gen | Erfahren Sie mehr über RNNs, die LSTM-Netzwerke (Long Short Term Memory) mit Keras verwenden. |
| Notizbuch | Beschreibung |
|---|---|
| tiefer Traum | Caffe-basiertes Computer-Vision-Programm, das ein Faltungs-Neuronales Netzwerk verwendet, um Muster in Bildern zu finden und zu verbessern. |
IPython-Notebook(s), die die Scikit-Learn-Funktionalität demonstrieren.
| Notizbuch | Beschreibung |
|---|---|
| Einführung | Einführungsnotizbuch zum Scikit-Learn. Scikit-learn bietet Python-Unterstützung für große, mehrdimensionale Arrays und Matrizen sowie eine große Bibliothek hochrangiger mathematischer Funktionen zur Bearbeitung dieser Arrays. |
| knn | Implementieren Sie k-nächste Nachbarn in scikit-learn. |
| linear-reg | Implementieren Sie die lineare Regression in scikit-learn. |
| svm | Implementieren Sie Support-Vector-Machine-Klassifikatoren mit und ohne Kernel in scikit-learn. |
| Zufallswald | Implementieren Sie zufällige Gesamtstrukturklassifizierer und Regressoren in scikit-learn. |
| k-bedeutet | Implementieren Sie K-Means-Clustering in scikit-learn. |
| pca | Implementieren Sie die Hauptkomponentenanalyse in scikit-learn. |
| gmm | Implementieren Sie Gaußsche Mischungsmodelle in scikit-learn. |
| Validierung | Implementieren Sie Validierung und Modellauswahl in scikit-learn. |
IPython-Notebook(s), die statistische Inferenz mit SciPy-Funktionalität demonstrieren.
| Notizbuch | Beschreibung |
|---|---|
| scipy | SciPy ist eine Sammlung mathematischer Algorithmen und praktischer Funktionen, die auf der Numpy-Erweiterung von Python basieren. Es erweitert die interaktive Python-Sitzung erheblich, indem es dem Benutzer Befehle und Klassen auf hoher Ebene zur Bearbeitung und Visualisierung von Daten bereitstellt. |
| Effektgröße | Entdecken Sie Statistiken, die die Effektgröße quantifizieren, indem Sie den Größenunterschied zwischen Männern und Frauen analysieren. Verwendet Daten aus dem Behavioral Risk Factor Surveillance System (BRFSS), um den Mittelwert und die Standardabweichung der Körpergröße für erwachsene Frauen und Männer in den Vereinigten Staaten zu schätzen. |
| Probenahme | Entdecken Sie Zufallsstichproben, indem Sie das Durchschnittsgewicht von Männern und Frauen in den Vereinigten Staaten mithilfe von BRFSS-Daten analysieren. |
| Hypothese | Entdecken Sie Hypothesentests, indem Sie den Unterschied zwischen Erstgeborenen und anderen analysieren. |
IPython-Notebook(s) demonstrieren die Pandas-Funktionalität.
| Notizbuch | Beschreibung |
|---|---|
| Pandas | Softwarebibliothek zur Datenbearbeitung und -analyse in Python geschrieben. Bietet Datenstrukturen und Operationen zur Bearbeitung numerischer Tabellen und Zeitreihen. |
| Github-Daten-Wrangling | Erfahren Sie, wie Sie GitHub-Daten aus dem Viz -Repository analysieren, laden, bereinigen, zusammenführen und Features entwickeln. |
| Einführung in Pandas | Einführung in Pandas. |
| Wir stellen Pandas-Objekte vor | Erfahren Sie mehr über Pandas-Objekte. |
| Datenindizierung und -auswahl | Erfahren Sie mehr über die Datenindizierung und -auswahl in Pandas. |
| Operationen in Pandas | Erfahren Sie mehr über den Umgang mit Daten in Pandas. |
| Fehlende Werte | Erfahren Sie mehr über den Umgang mit fehlenden Daten in Pandas. |
| Hierarchische Indizierung | Erfahren Sie mehr über die hierarchische Indizierung in Pandas. |
| Zusammenfassen und anhängen | Erfahren Sie mehr über das Kombinieren von Datensätzen: Concat und Append in Pandas. |
| Zusammenführen und verbinden | Erfahren Sie mehr über das Kombinieren von Datensätzen: Zusammenführen und Beitreten in Pandas. |
| Aggregation und Gruppierung | Erfahren Sie mehr über Aggregation und Gruppierung in Pandas. |
| Pivot-Tabellen | Erfahren Sie mehr über Pivot-Tabellen in Pandas. |
| Arbeiten-mit-Strings | Erfahren Sie mehr über vektorisierte String-Operationen in Pandas. |
| Arbeiten mit Zeitreihen | Erfahren Sie mehr über die Arbeit mit Zeitreihen in Pandas. |
| Leistungsbewertung und -abfrage | Erfahren Sie mehr über leistungsstarke Pandas: eval() und query() in Pandas. |
IPython-Notebook(s) demonstrieren die Matplotlib-Funktionalität.
| Notizbuch | Beschreibung |
|---|---|
| matplotlib | Python-2D-Plot-Bibliothek, die Abbildungen in Publikationsqualität in verschiedenen Papierformaten und interaktiven Umgebungen auf allen Plattformen erstellt. |
| matplotlib-angewendet | Wenden Sie Matplotlib-Visualisierungen auf Kaggle-Wettbewerbe zur explorativen Datenanalyse an. Erfahren Sie, wie Sie Balkendiagramme, Histogramme, Subplot2Grid, normalisierte Diagramme, Streudiagramme, Unterdiagramme und Kerndichteschätzungsdiagramme erstellen. |
| Einführung in Matplotlib | Einführung in Matplotlib. |
| Simple-Line-Plots | Erfahren Sie mehr über einfache Liniendiagramme in Matplotlib. |
| Einfache Streudiagramme | Erfahren Sie mehr über einfache Streudiagramme in Matplotlib. |
| Errorbars.ipynb | Erfahren Sie mehr über die Visualisierung von Fehlern in Matplotlib. |
| Dichte- und Konturdiagramme | Erfahren Sie mehr über Dichte- und Konturdiagramme in Matplotlib. |
| Histogramme und Klasseneinteilungen | Erfahren Sie mehr über Histogramme, Binnings und Dichte in Matplotlib. |
| Customizing-Legenden | Erfahren Sie mehr über das Anpassen von Plotlegenden in Matplotlib. |
| Anpassen von Farbleisten | Erfahren Sie mehr über das Anpassen von Farbbalken in Matplotlib. |
| Mehrere Nebenhandlungen | Erfahren Sie mehr über mehrere Nebenhandlungen in Matplotlib. |
| Text-und-Anmerkung | Erfahren Sie mehr über Text und Anmerkungen in Matplotlib. |
| Customizing-Ticks | Erfahren Sie mehr über das Anpassen von Ticks in Matplotlib. |
| Einstellungen und Stylesheets | Erfahren Sie mehr über das Anpassen von Matplotlib: Konfigurationen und Stylesheets. |
| Dreidimensionales Plotten | Erfahren Sie mehr über dreidimensionales Plotten in Matplotlib. |
| Geografische Daten mit Basiskarte | Erfahren Sie mehr über geografische Daten mit Grundkarte in Matplotlib. |
| Visualisierung-mit-Seaborn | Erfahren Sie mehr über Visualisierung mit Seaborn. |
IPython-Notebook(s) demonstrieren die NumPy-Funktionalität.
| Notizbuch | Beschreibung |
|---|---|
| Numpy | Integriert Python-Unterstützung für große, mehrdimensionale Arrays und Matrizen sowie eine große Bibliothek hochrangiger mathematischer Funktionen zur Bearbeitung dieser Arrays. |
| Einführung in NumPy | Einführung in NumPy. |
| Datentypen verstehen | Erfahren Sie mehr über Datentypen in Python. |
| Die-Grundlagen-von-NumPy-Arrays | Erfahren Sie mehr über die Grundlagen von NumPy-Arrays. |
| Berechnung-auf-Arrays-ufuncs | Erfahren Sie mehr über Berechnungen auf NumPy-Arrays: universelle Funktionen. |
| Berechnung auf Array-Aggregaten | Erfahren Sie mehr über Aggregationen: Min, Max und alles dazwischen in NumPy. |
| Computation-on-Arrays-Broadcasting | Erfahren Sie mehr über die Berechnung von Arrays: Broadcasting in NumPy. |
| Boolesche Arrays und Masken | Erfahren Sie mehr über Vergleiche, Masken und boolesche Logik in NumPy. |
| Ausgefallene Indexierung | Erfahren Sie mehr über die ausgefallene Indizierung in NumPy. |
| Sortierung | Erfahren Sie mehr über das Sortieren von Arrays in NumPy. |
| Strukturierte Daten-NumPy | Erfahren Sie mehr über strukturierte Daten: NumPys strukturierte Arrays. |
IPython-Notebook(s), die Python-Funktionalität für die Datenanalyse demonstrieren.
| Notizbuch | Beschreibung |
|---|---|
| Datenstrukturen | Lernen Sie Python-Grundlagen mit Tupeln, Listen, Diktaten und Mengen. |
| Datenstruktur-Dienstprogramme | Lernen Sie Python-Operationen wie Slice, Range, Xrange, Bisect, Sort, Sorted, Reverse, Enumerate, Zip und List Comprehensions. |
| Funktionen | Erfahren Sie mehr über erweiterte Python-Funktionen: Funktionen als Objekte, Lambda-Funktionen, Abschlüsse, *Argumente, **Kwargs-Currying, Generatoren, Generatorausdrücke, Itertools. |
| Datum/Uhrzeit | Erfahren Sie, wie Sie mit Python-Datums- und Uhrzeitangaben arbeiten: datetime, strftime, strptime, timedelta. |
| Protokollierung | Erfahren Sie mehr über die Python-Protokollierung mit RotatingFileHandler und TimedRotatingFileHandler. |
| pdb | Erfahren Sie, wie Sie mit dem interaktiven Quellcode-Debugger in Python debuggen. |
| Unit-Tests | Erfahren Sie, wie Sie mit Nose-Unit-Tests in Python testen. |
IPython-Notebook(s), die in Kaggle-Wettbewerben und Geschäftsanalysen verwendet werden.
| Notizbuch | Beschreibung |
|---|---|
| Titanisch | Sagen Sie das Überleben auf der Titanic voraus. Lernen Sie Datenbereinigung, explorative Datenanalyse und maschinelles Lernen. |
| Abwanderungsanalyse | Prognostizieren Sie die Kundenabwanderung. Üben Sie logistische Regression, Gradientenverstärkungsklassifikatoren, Support-Vektor-Maschinen, Zufallswälder und k-nächste Nachbarn aus. Beinhaltet Diskussionen über Verwirrungsmatrizen, ROC-Diagramme, Merkmalsbedeutungen, Vorhersagewahrscheinlichkeiten und Kalibrierung/Unterscheidung. |
IPython-Notebook(s) demonstrieren Spark- und HDFS-Funktionalität.
| Notizbuch | Beschreibung |
|---|---|
| Funke | In-Memory-Cluster-Computing-Framework, das für bestimmte Anwendungen bis zu 100-mal schneller ist und sich gut für maschinelle Lernalgorithmen eignet. |
| hdfs | Speichert sehr große Dateien zuverlässig maschinenübergreifend in einem großen Cluster. |
IPython-Notebook(s) demonstrieren Hadoop MapReduce mit Mrjob-Funktionalität.
| Notizbuch | Beschreibung |
|---|---|
| Mapreduce-Python | Führt MapReduce-Jobs in Python aus und führt Jobs lokal oder auf Hadoop-Clustern aus. Demonstriert Hadoop-Streaming in Python-Code mit Unit-Test und Mrjob-Konfigurationsdatei zur Analyse von Amazon S3-Bucket-Protokollen auf Elastic MapReduce. Disco ist eine weitere Python-basierte Alternative. |
IPython-Notebook(s), die die Funktionalität von Amazon Web Services (AWS) und AWS-Tools demonstrieren.
Schauen Sie sich auch Folgendes an:
| Notizbuch | Beschreibung |
|---|---|
| boto | Offizielles AWS SDK für Python. |
| s3cmd | Interagiert mit S3 über die Befehlszeile. |
| s3distcp | Kombiniert kleinere Dateien und aggregiert sie durch Aufnahme einer Muster- und Zieldatei. S3DistCp kann auch verwendet werden, um große Datenmengen von S3 zu Ihrem Hadoop-Cluster zu übertragen. |
| s3-Parallelput | Lädt mehrere Dateien parallel auf S3 hoch. |
| Rotverschiebung | Fungiert als schnelles Data Warehouse, das auf der Technologie der Massive Parallel Processing (MPP) basiert. |
| Kinese | Streamt Daten in Echtzeit mit der Fähigkeit, Tausende von Datenströmen pro Sekunde zu verarbeiten. |
| Lambda | Führt Code als Reaktion auf Ereignisse aus und verwaltet automatisch Rechenressourcen. |
IPython-Notebook(s) demonstrieren verschiedene Befehlszeilen für Linux, Git usw.
| Notizbuch | Beschreibung |
|---|---|
| Linux | Unix-ähnliches und größtenteils POSIX-kompatibles Computer-Betriebssystem. Festplattennutzung, Aufteilen von Dateien, grep, sed, curl, Anzeigen laufender Prozesse, Hervorhebung der Terminalsyntax und Vim. |
| Anakonda | Verbreitung der Programmiersprache Python für umfangreiche Datenverarbeitung, prädiktive Analysen und wissenschaftliches Rechnen mit dem Ziel, die Paketverwaltung und -bereitstellung zu vereinfachen. |
| Ipython-Notizbuch | Webbasierte interaktive Computerumgebung, in der Sie Codeausführung, Text, Mathematik, Plots und Rich Media in einem einzigen Dokument kombinieren können. |
| Idiot | Verteiltes Revisionskontrollsystem mit Schwerpunkt auf Geschwindigkeit, Datenintegrität und Unterstützung für verteilte, nichtlineare Arbeitsabläufe. |
| Rubin | Wird zur Interaktion mit der AWS-Befehlszeile und für Jekyll verwendet, einem Blog-Framework, das auf GitHub Pages gehostet werden kann. |
| jekyll | Einfacher, Blog-fähiger, statischer Site-Generator für persönliche, Projekt- oder Organisations-Sites. Rendert Markdown- oder Textile- und Liquid-Vorlagen und erstellt eine vollständige, statische Website, die von Apache HTTP Server, Nginx oder einem anderen Webserver bereitgestellt werden kann. |
| Pelikan | Python-basierte Alternative zu Jekyll. |
| Django | Hochwertiges Python-Web-Framework, das eine schnelle Entwicklung und ein klares, pragmatisches Design fördert. Es kann nützlich sein, Berichte/Analysen zu teilen und zu bloggen. Zu den leichteren Alternativen gehören Pyramid, Flask, Tornado und Bottle. |
IPython-Notebook(s), die verschiedene Funktionen demonstrieren.
| Notizbuch | Beschreibung |
|---|---|
| Regex | Spickzettel für reguläre Ausdrücke, nützlich bei der Datenverarbeitung. |
| Algorithmen | Algorithmia ist ein Marktplatz für Algorithmen. Dieses Notebook stellt vier verschiedene Algorithmen vor: Gesichtserkennung, Inhaltszusammenfassung, latente Dirichlet-Zuordnung und optische Zeichenerkennung. |
Anaconda ist eine kostenlose Distribution der Programmiersprache Python für umfangreiche Datenverarbeitung, prädiktive Analysen und wissenschaftliches Rechnen, die darauf abzielt, die Paketverwaltung und -bereitstellung zu vereinfachen.
Befolgen Sie die Anweisungen, um Anaconda oder die leichtere Miniconda zu installieren.
Ausführliche Anweisungen, Skripte und Tools zum Einrichten Ihrer Entwicklungsumgebung für die Datenanalyse finden Sie im Dev-Setup-Repository.
Um interaktive Inhalte anzuzeigen oder Elemente in den IPython-Notebooks zu ändern, müssen Sie zunächst das Repository klonen oder herunterladen und dann das Notebook ausführen. Weitere Informationen zu IPython Notebooks finden Sie hier.
$ git clone https://github.com/donnemartin/data-science-ipython-notebooks.git
$ cd data-science-ipython-notebooks
$ jupyter notebook
Mit Python 2.7.x getestete Notebooks.
Beiträge sind willkommen! Für Fehlerberichte oder Anfragen reichen Sie bitte ein Problem ein.
Sie können mich gerne kontaktieren, um Probleme, Fragen oder Kommentare zu besprechen.
Dieses Repository enthält eine Vielzahl von Inhalten; Einige wurden von Donne Martin entwickelt, andere von Dritten. Die Inhalte Dritter werden unter der von diesen Parteien bereitgestellten Lizenz verbreitet.
Die von Donne Martin entwickelten Inhalte werden unter der folgenden Lizenz verbreitet:
Ich stelle Ihnen Code und Ressourcen in diesem Repository unter einer Open-Source-Lizenz zur Verfügung. Da es sich um mein persönliches Repository handelt, stammt die Lizenz, die Sie für meinen Code und meine Ressourcen erhalten, von mir und nicht von meinem Arbeitgeber (Facebook).
Copyright 2015 Donne Martin
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
