dedupe

重複資料刪除 Python 函式庫

dedupe 是一個 Python 函式庫，它使用機器學習對結構化資料快速執行模糊匹配、重複資料刪除和實體解析。

重複資料刪除將幫助您：

• 從姓名和地址電子表格中刪除重複條目
• 即使沒有唯一的客戶 ID，也可以將包含客戶資訊的清單連結到另一個包含訂單歷史記錄的列表
• 建立競選捐款資料庫，並找出哪些捐款是由同一個人做出的，即使每筆記錄輸入的姓名略有不同。

重複資料刪除會吸收人類訓練數據，並為您的資料集提出最佳規則，以便快速、自動地找到相似記錄，即使資料庫非常大。

重要連結

• 文件：https://docs.dedupe.io/
• 儲存庫：https://github.com/dedupeio/dedupe
• 問題：https://github.com/dedupeio/dedupe/issues
• 郵件清單：https://groups.google.com/forum/#!forum/open-source-deduplication
• 範例：https://github.com/dedupeio/dedupe-examples

重複資料刪除庫諮詢

如果您或您的組織在使用重複資料刪除程式庫時需要專業協助，Dedupe.io LLC 可以提供諮詢服務。請在此處閱讀有關定價和可用服務的更多資訊。

使用重複資料刪除已建置的工具

重複資料刪除.io

由重複資料刪除庫提供支援的雲端服務，用於刪除資料中的重複資料並尋找匹配項。它提供了一個逐步嚮導，用於上傳資料、設定模型、訓練、聚類和檢查結果。

Dedupe.io 還支援跨資料來源的記錄連結以及透過 API 進行持續匹配和訓練。

有關詳細信息，請參閱 Dedupe.io 產品網站、有關如何使用它的教程以及它與重複資料刪除庫之間的差異。

Dedupe 已被 Python 社群廣泛採用。請查看此部落格文章、有關如何透過 Python 使用 Dedupe 的 YouTube 影片以及有關如何使用 Spark 大規模應用 Dedupe 的 YouTube 影片。

csv去重

用於刪除重複資料和連結 CSV 檔案的命令列工具。請在 Source Knight-Mozilla OpenNews 上閱讀相關內容。

安裝

使用重複資料刪除

如果您只想使用重複資料刪除，請按以下方式安裝：

pip install dedupe

熟悉重複資料刪除的 API，然後開始您的專案。需要靈感嗎？看一些例子。

開發重複資料刪除

我們建議使用 virtualenv 和 virtualenvwrapper 在虛擬化開發環境中工作。閱讀如何設定 virtualenv。

設定 virtualenvwrapper 後，

mkvirtualenv dedupe
git clone https://github.com/dedupeio/dedupe.git
cd dedupe
pip install -e . --config-settings editable_mode=compat
pip install -r requirements.txt

如果這些測試通過，那麼一切都應該已正確安裝！

pytest

之後，每當您想要進行重複資料刪除時，

workon dedupe

測試

核心重複資料刪除功能的單元測試

pytest

使用 Bilenko 研究的規範資料集進行測試

使用重複資料刪除

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical.py

使用記錄連結

python -m pip install -e ./benchmarks
python benchmarks/benchmarks/canonical_matching.py

團隊

• 森林格雷格，DataMade
• 德里克·埃德，DataMade

製作人員

Dedupe 基於 Mikhail Yuryevich Bilenko 的博士學位。論文：可學習的相似函數及其在記錄連結和聚類中的應用。

錯誤/缺陷

如果某些東西的行為不直觀，那麼它就是一個錯誤，應該報告。在這裡舉報

關於補丁/拉取請求的注意事項

• 分叉該項目。
• 新增功能或修復錯誤。
• 向我們發送拉取請求。主題分支的獎勵積分。

版權

版權所有 (c) 2022 Forest Gregg 和 Derek Eder。根據 MIT 許可證發布。

本發行版中的第三方版權在適用的情況下已註明。

引用重複資料刪除

如果您在學術工作中使用 Dedupe，請給予此引用：

福里斯特·格雷格和德里克·埃德。 2022. 重複資料刪除。 https://github.com/dedupeio/dedupe。