나무 긁는 도구

vkscraper

ВКонтакте에서 캡션 및 기타 메타데이터와 함께 게시물, 사진, 비디오를 다운로드하세요.

특징

• 사용자 프로필과 커뮤니티에서 게시물, 사진, 비디오를 다운로드하세요.
• 기록보관자를 염두에 두고 구축: 증분식 동기화.
• JSON 메타데이터는 미디어와 함께 저장됩니다.
• 배치 파일, cronjob 친화적.

용법

입증

 $ vkscraper --login=MyUsername [--password=MyPassword] [...]

로그인할 때 vkscraper는 ./MyUsername.vksession 이라는 파일에 액세스 토큰을 저장합니다. 이 토큰은 나중에 --login 제공될 때 재사용됩니다. 세션 파일을 삭제하지 마십시오. 로그인은 비용이 많이 드는 작업입니다.

사용자 및 커뮤니티 다운로드

$ vkscraper --login=MyUsername insidevk

기본적으로 사용 가능한 모든 콘텐츠가 다운로드됩니다.

보관 옵션

• --no-photos
• --no-posts
• --no-stories
• --no-tagged-photos
• --no-videos

디렉토리 구조

 .
├── photos
│   ├── 2022-03-02T10:20:28Z (34894549853).jpg
│   └── 2022-03-02T10:20:28Z (34894549853).json
├── posts
│   ├── 2022-03-02T10:20:15Z (14312312311).json
│   └── 2022-03-02T10:20:15Z (14312312311).txt
├── stories
│   ├── 2022-01-01T10:20:15Z (54894549852).jpg
│   ├── 2022-01-01T10:20:15Z (54894549852).json
│   ├── 2022-01-01T10:20:28Z (54894549853).mp4
│   └── 2022-01-01T10:20:28Z (54894549853).json
├── tagged_photos
│   ├── 2022-03-02T10:20:28Z (84893123153).jpg
│   └── 2022-03-02T10:20:28Z (84893123153).json
├── videos
│   ├── 2022-01-01T10:20:28Z (64812111853).mp4
│   └── 2022-01-01T10:20:28Z (64812111853).json
├── meta.json
└── id

배치 파일

vkscraper는 파일에서 사용자 프로필과 커뮤니티를 읽을 수 있습니다. # 으로 시작하는 줄이나 빈 줄은 주석으로 간주되어 무시됩니다. 인라인 주석도 무시됩니다.

주어진 DataHoarder.txt :

 # Official VK community
insidevk

klavdiacoca # Inline comment 1; Клава Кока; profile
klavacoca   # Inline comment 2; Клава Кока; community

스토리, 사진, 비디오, 게시물을 다운로드하세요:

$ vkscraper --login=MyUsername --batch-file=DataHoarder.txt

빠른 업데이트

각 대상에 대해 이미 다운로드한 첫 번째 리소스가 나타나면 중지하세요. 이 옵션은 vkscraper를 사용하여 개인 아카이브를 업데이트할 때 권장됩니다.

이 옵션은 Instaloader에서 가져왔습니다.

$ vkscraper --login=MyUsername --fast-update insidevk

API

vkscraper는 VK용 포괄적인 API 클라이언트가 아닙니다. 내부적으로 사용되는 함수와 구조를 라이브러리로 가져올 수 있습니다.

 import "github.com/kandayo/vkscraper/pkg/vk"

vk := vk . NewClient ()

// Login with a username and password.
vk . Login ( "username" , "password" )
// Or set an access token.
vk . SetAccessToken ( "token" )

// Find the user or community id.
user , err := vk . Utils . ResolveScreenName ( "klavacoca" )

// Retrieve the user stories feed.
stories , err := vk . Stories . Get ( user . ID )

perPage := 100
initialOffset := 0

// Retrieve the user photos.
stories , err := vk . Photos . GetAll ( user . ID , perPage , initialOffset )

// Retrieve the user videos.
stories , err := vk . Videos . Get ( user . ID , perPage , initialOffset )