dedupe Download – Download dedupe -Quellcodes

dedupe

Python

1.0.0

Herunterladen

Python-Bibliothek deduplizieren

dedupe ist eine Python-Bibliothek, die maschinelles Lernen nutzt, um schnell Fuzzy-Matching, Deduplizierung und Entitätsauflösung für strukturierte Daten durchzuführen.

dedupe hilft Ihnen:

Entfernen Sie doppelte Einträge aus einer Tabelle mit Namen und Adressen
Verknüpfen Sie eine Liste mit Kundeninformationen mit einer anderen mit Bestellhistorie, auch ohne eindeutige Kunden-IDs
Nehmen Sie eine Datenbank mit Wahlkampfspenden und finden Sie heraus, welche von derselben Person stammen , auch wenn die Namen für jeden Datensatz leicht unterschiedlich eingegeben wurden

Dedupe berücksichtigt menschliche Trainingsdaten und erstellt die besten Regeln für Ihren Datensatz, um schnell und automatisch ähnliche Datensätze zu finden, selbst bei sehr großen Datenbanken.

Wichtige Links

Dokumentation: https://docs.dedupe.io/
Repository: https://github.com/dedupeio/dedupe
Probleme: https://github.com/dedupeio/dedupe/issues
Mailingliste: https://groups.google.com/forum/#!forum/open-source-deduplication
Beispiele: https://github.com/dedupeio/dedupe-examples

Beratung zur Deduplizierung von Bibliotheken

Wenn Sie oder Ihre Organisation professionelle Unterstützung bei der Arbeit mit der Dedupe-Bibliothek wünschen, bietet Dedupe.io LLC Beratungsdienste an. Lesen Sie hier mehr über Preise und verfügbare Dienstleistungen.

Mit Deduplizierung erstellte Tools

Dedupe.io

Ein auf der Deduplizierungsbibliothek basierender Cloud-Dienst zum Deduplizieren und Finden von Übereinstimmungen in Ihren Daten. Es bietet einen Schritt-für-Schritt-Assistenten zum Hochladen Ihrer Daten, Einrichten eines Modells, Training, Clustering und Überprüfen der Ergebnisse.

Dedupe.io unterstützt auch die Datensatzverknüpfung über Datenquellen hinweg sowie den kontinuierlichen Abgleich und das Training über eine API.

Weitere Informationen finden Sie auf der Produktseite von Dedupe.io, in Tutorials zur Verwendung und zu den Unterschieden zwischen Dedupe.io und der Dedupe-Bibliothek.

Dedupe wird von der Python-Community gut angenommen. Schauen Sie sich diesen Blogbeitrag an, ein YouTube-Video zur Verwendung von Dedupe mit Python und ein YouTube-Video zur skalierten Anwendung von Dedupe mit Spark.

csvdedupe

Befehlszeilentool zum Deduplizieren und Verknüpfen von CSV-Dateien. Lesen Sie darüber auf Source Knight-Mozilla OpenNews.

Installation

Deduplizierung verwenden

Wenn Sie nur Deduplizierung verwenden möchten, installieren Sie es wie folgt:

pip install dedupe

Machen Sie sich mit der API von dedupe vertraut und beginnen Sie mit Ihrem Projekt. Brauchen Sie Inspiration? Schauen Sie sich einige Beispiele an.

Deduplizierung entwickeln

Für die Arbeit in einer virtualisierten Entwicklungsumgebung empfehlen wir die Verwendung von virtualenv und virtualenvwrapper. Lesen Sie, wie Sie Virtualenv einrichten.

Sobald Sie Virtualenvwrapper eingerichtet haben,

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

Wenn diese Tests erfolgreich sind, sollte alles korrekt installiert sein!

pytest

Wenn Sie anschließend an der Deduplizierung arbeiten möchten,

workon dedupe

Testen

Unit-Tests der Kern-Deduplizierungsfunktionen

pytest

Testen Sie mit einem kanonischen Datensatz aus Bilenkos Forschung

Deduplizierung nutzen

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

Verwenden der Datensatzverknüpfung

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

Team

Forest Gregg, DataMade
Derek Eder, DataMade

Credits

Dedupe basiert auf der Doktorarbeit von Michail Jurjewitsch Bilenko. Dissertation: Lernbare Ähnlichkeitsfunktionen und ihre Anwendung auf Datensatzverknüpfung und Clustering .