download dedupe - download do código-fonte dedupe

dedupe

Pitão

1.0.0

Baixar

Biblioteca Python de desduplicação

dedupe é uma biblioteca python que usa aprendizado de máquina para realizar correspondência difusa, desduplicação e resolução de entidade rapidamente em dados estruturados.

desduplicar irá ajudá-lo:

remover entradas duplicadas de uma planilha de nomes e endereços
vincular uma lista com informações do cliente a outra com histórico de pedidos, mesmo sem IDs de cliente exclusivos
pegue um banco de dados de contribuições de campanha e descubra quais foram feitas pela mesma pessoa , mesmo que os nomes tenham sido inseridos de forma ligeiramente diferente para cada registro

dedupe utiliza dados de treinamento humano e cria as melhores regras para que seu conjunto de dados encontre registros semelhantes de forma rápida e automática, mesmo com bancos de dados muito grandes.

Links importantes

Documentação: https://docs.dedupe.io/
Repositório: https://github.com/dedupeio/dedupe
Problemas: https://github.com/dedupeio/dedupe/issues
Lista de discussão: https://groups.google.com/forum/#!forum/open-source-deduplication
Exemplos: https://github.com/dedupeio/dedupe-examples

consultoria de biblioteca de desduplicação

Se você ou sua organização desejarem assistência profissional para trabalhar com a biblioteca de desduplicação, a Dedupe.io LLC oferece serviços de consultoria. Leia mais sobre preços e serviços disponíveis aqui.

Ferramentas criadas com desduplicação

Dedupe.io

Um serviço em nuvem alimentado pela biblioteca de desduplicação para desduplicar e encontrar correspondências em seus dados. Ele fornece um assistente passo a passo para fazer upload de seus dados, configurar um modelo, treinar, agrupar e revisar os resultados.

Dedupe.io também oferece suporte à vinculação de registros entre fontes de dados e correspondência e treinamento contínuos por meio de uma API.

Para obter mais informações, consulte o site do produto Dedupe.io, tutoriais sobre como usá-lo e diferenças entre ele e a biblioteca de desduplicação.

A desduplicação é bem adotada pela comunidade Python. Confira esta postagem do blog, um vídeo do YouTube sobre como usar o Dedupe com Python e um vídeo do YouTube sobre como aplicar o Dedupe em escala usando Spark.

csvdedupe

Ferramenta de linha de comando para desduplicar e vincular arquivos CSV. Leia sobre isso no Source Knight-Mozilla OpenNews.

Instalação

Usando desduplicação

Se você quiser apenas usar a desduplicação, instale-a desta forma:

pip install dedupe

Familiarize-se com a API de desduplicação e comece seu projeto. Precisa de inspiração? Dê uma olhada em alguns exemplos.

Desenvolvendo desduplicação

Recomendamos o uso de virtualenv e virtualenvwrapper para trabalhar em um ambiente de desenvolvimento virtualizado. Leia como configurar o virtualenv.

Depois de configurar o virtualenvwrapper,

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

Se esses testes forem aprovados, tudo deverá ter sido instalado corretamente!

pytest

Depois, sempre que quiser trabalhar na desduplicação,

workon dedupe

Teste

Testes unitários de funções principais de desduplicação

pytest

Teste usando conjunto de dados canônicos da pesquisa de Bilenko

Usando desduplicação

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

Usando vinculação de registros

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

Equipe

Floresta Gregg, DataMade
Derek Eder, DataMade

Créditos

Dedupe é baseado no Ph.D. de Mikhail Yuryevich Bilenko. dissertação: Funções de similaridade que podem ser aprendidas e sua aplicação para vinculação e agrupamento de registros .