raspador de madera

rascador

Descargue publicaciones, fotos y videos junto con sus títulos y otros metadatos de ВКонтакте.

Características

• Descargue publicaciones, fotos y videos de perfiles y comunidades de usuarios.
• Creado pensando en los archiveros: sincronización incremental.
• Los metadatos JSON se almacenan junto con los medios.
• Archivo por lotes, compatible con cronjob.

Uso

Autenticación

 $ vkscraper --login=MyUsername [--password=MyPassword] [...]

Al iniciar sesión, vkscraper almacena el token de acceso en un archivo llamado ./MyUsername.vksession , que se reutilizará la próxima vez que se proporcione --login . No elimine el archivo de sesión, iniciar sesión es una operación costosa.

Descarga de usuarios y comunidades

$ vkscraper --login=MyUsername insidevk

De forma predeterminada, se descargará todo el contenido disponible.

Opciones de archivo

• --no-photos
• --no-posts
• --no-stories
• --no-tagged-photos
• --no-videos

Estructura del directorio

 .
├── photos
│   ├── 2022-03-02T10:20:28Z (34894549853).jpg
│   └── 2022-03-02T10:20:28Z (34894549853).json
├── posts
│   ├── 2022-03-02T10:20:15Z (14312312311).json
│   └── 2022-03-02T10:20:15Z (14312312311).txt
├── stories
│   ├── 2022-01-01T10:20:15Z (54894549852).jpg
│   ├── 2022-01-01T10:20:15Z (54894549852).json
│   ├── 2022-01-01T10:20:28Z (54894549853).mp4
│   └── 2022-01-01T10:20:28Z (54894549853).json
├── tagged_photos
│   ├── 2022-03-02T10:20:28Z (84893123153).jpg
│   └── 2022-03-02T10:20:28Z (84893123153).json
├── videos
│   ├── 2022-01-01T10:20:28Z (64812111853).mp4
│   └── 2022-01-01T10:20:28Z (64812111853).json
├── meta.json
└── id

archivo por lotes

vkscraper puede leer perfiles de usuario y comunidades desde un archivo. Las líneas que comienzan con # o líneas vacías se consideran comentarios y se ignoran. Los comentarios en línea también se ignoran.

Dado DataHoarder.txt :

 # Official VK community
insidevk

klavdiacoca # Inline comment 1; Клава Кока; profile
klavacoca   # Inline comment 2; Клава Кока; community

Descargue historias, fotos, videos y publicaciones:

$ vkscraper --login=MyUsername --batch-file=DataHoarder.txt

Actualización rápida

Para cada objetivo, deténgase cuando encuentre el primer recurso ya descargado. Se recomienda esta opción cuando utiliza vkscraper para actualizar su archivo personal.

Esta opción fue tomada de Instaloader.

$ vkscraper --login=MyUsername --fast-update insidevk

API

vkscraper no pretende ser un cliente API completo para VK. Las funciones y estructuras utilizadas internamente se pueden importar como una biblioteca.

 import "github.com/kandayo/vkscraper/pkg/vk"

vk := vk . NewClient ()

// Login with a username and password.
vk . Login ( "username" , "password" )
// Or set an access token.
vk . SetAccessToken ( "token" )

// Find the user or community id.
user , err := vk . Utils . ResolveScreenName ( "klavacoca" )

// Retrieve the user stories feed.
stories , err := vk . Stories . Get ( user . ID )

perPage := 100
initialOffset := 0

// Retrieve the user photos.
stories , err := vk . Photos . GetAll ( user . ID , perPage , initialOffset )

// Retrieve the user videos.
stories , err := vk . Videos . Get ( user . ID , perPage , initialOffset )