木材スクレーパー

ヴクスクレイパー

投稿、写真、ビデオをキャプションやその他のメタデータとともに ВКонтакте からダウンロードします。

特徴

• ユーザーのプロフィールやコミュニティから投稿、写真、ビデオをダウンロードします。
• アーキビストを念頭に置いて構築された: 増分同期。
• JSON メタデータはメディアと一緒に保存されます。
• バッチ ファイル、cronjob フレンドリー。

使用法

認証

 $ vkscraper --login=MyUsername [--password=MyPassword] [...]

ログインすると、 vkscraper はアクセス トークンを./MyUsername.vksessionというファイルに保存します。これは、後で--loginが指定されたときに再利用されます。セッション ファイルは削除しないでください。ログインは高コストの操作です。

ユーザーとコミュニティのダウンロード

$ vkscraper --login=MyUsername insidevk

デフォルトでは、利用可能なすべてのコンテンツがダウンロードされます。

アーカイブオプション

• --no-photos
• --no-posts
• --no-stories
• --no-tagged-photos
• --no-videos

ディレクトリ構造

 .
├── photos
│   ├── 2022-03-02T10:20:28Z (34894549853).jpg
│   └── 2022-03-02T10:20:28Z (34894549853).json
├── posts
│   ├── 2022-03-02T10:20:15Z (14312312311).json
│   └── 2022-03-02T10:20:15Z (14312312311).txt
├── stories
│   ├── 2022-01-01T10:20:15Z (54894549852).jpg
│   ├── 2022-01-01T10:20:15Z (54894549852).json
│   ├── 2022-01-01T10:20:28Z (54894549853).mp4
│   └── 2022-01-01T10:20:28Z (54894549853).json
├── tagged_photos
│   ├── 2022-03-02T10:20:28Z (84893123153).jpg
│   └── 2022-03-02T10:20:28Z (84893123153).json
├── videos
│   ├── 2022-01-01T10:20:28Z (64812111853).mp4
│   └── 2022-01-01T10:20:28Z (64812111853).json
├── meta.json
└── id

バッチファイル

vkscraper は、ファイルからユーザー プロファイルとコミュニティを読み取ることができます。 #で始まる行または空行はコメントとみなされ無視されます。インラインコメントも無視されます。

DataHoarder.txtが与えられた場合:

 # Official VK community
insidevk

klavdiacoca # Inline comment 1; Клава Кока; profile
klavacoca   # Inline comment 2; Клава Кока; community

ストーリー、写真、ビデオ、投稿をダウンロードする:

$ vkscraper --login=MyUsername --batch-file=DataHoarder.txt

高速アップデート

各ターゲットについて、ダウンロード済みの最初のリソースが見つかった時点で停止します。このオプションは、 vkscraper を使用して個人アーカイブを更新する場合に推奨されます。

このオプションは Instaloader から取得されました。

$ vkscraper --login=MyUsername --fast-update insidevk

API

vkscraper は、VK の包括的な API クライアントであることを意図したものではありません。内部で使用される関数や構造体はライブラリとしてインポートできます。

 import "github.com/kandayo/vkscraper/pkg/vk"

vk := vk . NewClient ()

// Login with a username and password.
vk . Login ( "username" , "password" )
// Or set an access token.
vk . SetAccessToken ( "token" )

// Find the user or community id.
user , err := vk . Utils . ResolveScreenName ( "klavacoca" )

// Retrieve the user stories feed.
stories , err := vk . Stories . Get ( user . ID )

perPage := 100
initialOffset := 0

// Retrieve the user photos.
stories , err := vk . Photos . GetAll ( user . ID , perPage , initialOffset )

// Retrieve the user videos.
stories , err := vk . Videos . Get ( user . ID , perPage , initialOffset )