Téléchargement dedupe - Téléchargement du code source dedupe

dedupe

Python

1.0.0

Télécharger

Bibliothèque Python de déduplication

dedupe est une bibliothèque Python qui utilise l'apprentissage automatique pour effectuer rapidement une correspondance floue, une déduplication et une résolution d'entité sur des données structurées.

la déduplication vous aidera à :

supprimer les entrées en double d'une feuille de calcul de noms et d'adresses
lier une liste contenant des informations client à une autre avec l'historique des commandes, même sans identifiant client unique
prendre une base de données des contributions à la campagne et déterminer lesquelles ont été faites par la même personne , même si les noms ont été saisis légèrement différemment pour chaque enregistrement

La déduplication prend en compte les données de formation humaine et propose les meilleures règles pour votre ensemble de données afin de trouver rapidement et automatiquement des enregistrements similaires, même avec de très grandes bases de données.

Liens importants

Documentation : https://docs.dedupe.io/
Dépôt : https://github.com/dedupeio/dedupe
Problèmes : https://github.com/dedupeio/dedupe/issues
Liste de diffusion : https://groups.google.com/forum/#!forum/open-source-deduplication
Exemples : https://github.com/dedupeio/dedupe-examples

conseil en bibliothèque de déduplication

Si vous ou votre organisation souhaitez obtenir une assistance professionnelle pour travailler avec la bibliothèque de déduplication, Dedupe.io LLC propose des services de conseil. En savoir plus sur les tarifs et les services disponibles ici.

Outils créés avec la déduplication

Déduplication.io

Un service cloud alimenté par la bibliothèque de déduplication pour la déduplication et la recherche de correspondances dans vos données. Il fournit un assistant étape par étape pour télécharger vos données, configurer un modèle, former, regrouper et examiner les résultats.

Dedupe.io prend également en charge la liaison des enregistrements entre les sources de données, ainsi que la mise en correspondance et la formation continues via une API.

Pour en savoir plus, consultez le site du produit Dedupe.io, les didacticiels sur son utilisation et les différences entre celui-ci et la bibliothèque de déduplication.

La déduplication est bien adoptée par la communauté Python. Consultez cet article de blog, une vidéo YouTube sur la façon d'utiliser la Dedupe avec Python et une vidéo Youtube sur la façon d'appliquer la Dedupe à grande échelle à l'aide de Spark.

csvdedupe

Outil de ligne de commande pour dédupliquer et lier des fichiers CSV. Lisez à ce sujet sur Source Knight-Mozilla OpenNews.

Installation

Utilisation de la déduplication

Si vous souhaitez uniquement utiliser la déduplication, installez-le de cette façon :

pip install dedupe

Familiarisez-vous avec l'API de déduplication et démarrez votre projet. Besoin d'inspiration ? Jetez un œil à quelques exemples.

Développement de la déduplication

Nous vous recommandons d'utiliser virtualenv et virtualenvwrapper pour travailler dans un environnement de développement virtualisé. Lisez comment configurer virtualenv.

Une fois que virtualenvwrapper est configuré,

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

Si ces tests réussissent, alors tout devrait avoir été installé correctement !

pytest

Ensuite, chaque fois que vous souhaitez travailler sur la déduplication,

workon dedupe

Essai

Tests unitaires des fonctions de déduplication principales

pytest

Test à l'aide d'un ensemble de données canoniques issus des recherches de Bilenko

Utilisation de la déduplication

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

Utilisation du couplage d'enregistrements

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

Équipe

Forest Gregg, DataMade
Derek Eder, DataMade

Crédits

Dedupe est basé sur le doctorat de Mikhail Yuryevich Bilenko. Thèse : Fonctions de similarité apprenables et leur application à la liaison et au regroupement d'enregistrements .