find duplicates

find-duplicates

find-duplicates 내용의 xxHash를 기반으로 중복 파일을 빠르게 찾습니다.

설치

$ go install github.com/twpayne/find-duplicates@latest 

예

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
} 

용법

 find-duplicates [options] [paths...]

paths 재귀적으로 이동할 디렉터리입니다. paths 지정되지 않으면 현재 디렉터리를 탐색합니다.

출력은 관찰된 각 xxHash에 대한 속성과 해당 xxHash가 포함된 콘텐츠가 포함된 파일 이름 배열의 값이 포함된 JSON 개체입니다.

옵션은 다음과 같습니다:

--keep-going 또는 -k 오류 후에도 계속 진행합니다.

--output=<file> 또는 -o <file> 출력을 <file> 에 기록하며 기본값은 stdout입니다.

--threshold=<int> 또는 -t <int> 중복으로 간주되는 동일한 내용을 가진 최소 파일 수를 설정합니다. 기본값은 2입니다.

--statistics 또는 -s 통계를 stderr에 인쇄합니다.

find-duplicates 어떻게 작동하나요?

find-duplicates 가능한 한 적은 작업을 수행하고, 각 CPU 코어를 효율적으로 사용하고, 컴퓨터의 모든 CPU 코어를 사용하여 최대한 빠른 속도를 내는 것을 목표로 합니다.

이는 여러 구성 요소로 구성됩니다.

1. 첫째, 파일 시스템을 동시에 탐색하여 하위 디렉터리당 하나의 고루틴을 생성합니다.
2. 둘째, 파일이 동일한 크기인 경우에만 중복될 수 있다는 관찰을 통해 동일한 크기의 파일을 두 개 이상 찾은 후에만 파일 내용을 읽습니다. 이렇게 하면 syscall 수와 읽는 데이터 양이 모두 크게 줄어듭니다. 또한 가장 짧은 런타임은 가장 큰 파일을 읽는 데 걸리는 시간이므로 더 큰 파일을 먼저 읽습니다.
3. 셋째, 파일 콘텐츠는 빠르고 비암호화 해시로 해시됩니다.

모든 구성 요소가 동시에 실행됩니다.

메디아

• Zürich Gophers의 "믿을 수 없을 정도로 빠른 중복 파일 찾기: Go의 동시성을 사용하는 소규모 CLI 프로젝트" 강연입니다.

특허

MIT