raspador de madeira

vkscraper

Baixe postagens, fotos e vídeos junto com suas legendas e outros metadados do ВКонтакте.

Características

• Baixe postagens, fotos e vídeos de perfis de usuários e comunidades.
• Criado pensando nos arquivistas: sincronização incremental.
• Os metadados JSON são armazenados junto com a mídia.
• Arquivo em lote, compatível com cronjob.

Uso

Autenticação

 $ vkscraper --login=MyUsername [--password=MyPassword] [...]

Ao fazer login, o vkscraper armazena o token de acesso em um arquivo chamado ./MyUsername.vksession , que será reutilizado posteriormente na próxima vez que --login for fornecido. Não exclua o arquivo da sessão, o login é uma operação cara.

Baixando usuários e comunidades

$ vkscraper --login=MyUsername insidevk

Por padrão, todo o conteúdo disponível será baixado.

Opções de arquivamento

• --no-photos
• --no-posts
• --no-stories
• --no-tagged-photos
• --no-videos

Estrutura de diretório

 .
├── photos
│   ├── 2022-03-02T10:20:28Z (34894549853).jpg
│   └── 2022-03-02T10:20:28Z (34894549853).json
├── posts
│   ├── 2022-03-02T10:20:15Z (14312312311).json
│   └── 2022-03-02T10:20:15Z (14312312311).txt
├── stories
│   ├── 2022-01-01T10:20:15Z (54894549852).jpg
│   ├── 2022-01-01T10:20:15Z (54894549852).json
│   ├── 2022-01-01T10:20:28Z (54894549853).mp4
│   └── 2022-01-01T10:20:28Z (54894549853).json
├── tagged_photos
│   ├── 2022-03-02T10:20:28Z (84893123153).jpg
│   └── 2022-03-02T10:20:28Z (84893123153).json
├── videos
│   ├── 2022-01-01T10:20:28Z (64812111853).mp4
│   └── 2022-01-01T10:20:28Z (64812111853).json
├── meta.json
└── id

Arquivo em lote

O vkscraper pode ler perfis de usuários e comunidades de um arquivo. Linhas que começam com # ou linhas vazias são consideradas comentários e ignoradas. Comentários embutidos também são ignorados.

Dado DataHoarder.txt :

 # Official VK community
insidevk

klavdiacoca # Inline comment 1; Клава Кока; profile
klavacoca   # Inline comment 2; Клава Кока; community

Baixe histórias, fotos, vídeos e postagens:

$ vkscraper --login=MyUsername --batch-file=DataHoarder.txt

Atualização rápida

Para cada destino, pare ao encontrar o primeiro recurso já baixado. Esta opção é recomendada quando você usa o vkscraper para atualizar seu arquivo pessoal.

Esta opção foi retirada do Instaloader.

$ vkscraper --login=MyUsername --fast-update insidevk

API

O vkscraper não pretende ser um cliente API abrangente para VK. As funções e estruturas utilizadas internamente podem ser importadas como uma biblioteca.

 import "github.com/kandayo/vkscraper/pkg/vk"

vk := vk . NewClient ()

// Login with a username and password.
vk . Login ( "username" , "password" )
// Or set an access token.
vk . SetAccessToken ( "token" )

// Find the user or community id.
user , err := vk . Utils . ResolveScreenName ( "klavacoca" )

// Retrieve the user stories feed.
stories , err := vk . Stories . Get ( user . ID )

perPage := 100
initialOffset := 0

// Retrieve the user photos.
stories , err := vk . Photos . GetAll ( user . ID , perPage , initialOffset )

// Retrieve the user videos.
stories , err := vk . Videos . Get ( user . ID , perPage , initialOffset )