скребок для дерева

vkscraper

Скачивайте публикации, фотографии и видео вместе с их подписями и другими метаданными из ВКонтакте.

Функции

• Скачивайте публикации, фотографии и видео из профилей пользователей и сообществ.
• Создано для архивистов: инкрементная синхронизация.
• Метаданные JSON хранятся вместе с медиафайлами.
• Пакетный файл, удобный для cronjob.

Использование

Аутентификация

 $ vkscraper --login=MyUsername [--password=MyPassword] [...]

При входе в систему vkscraper сохраняет токен доступа в файле с именем ./MyUsername.vksession , который будет повторно использован позже при следующем вводе --login . Не удаляйте файл сессии, вход в систему — дорогостоящая операция.

Загрузка пользователей и сообществ

$ vkscraper --login=MyUsername insidevk

По умолчанию будет загружен весь доступный контент.

Параметры архива

• --no-photos
• --no-posts
• --no-stories
• --no-tagged-photos
• --no-videos

Структура каталогов

 .
├── photos
│   ├── 2022-03-02T10:20:28Z (34894549853).jpg
│   └── 2022-03-02T10:20:28Z (34894549853).json
├── posts
│   ├── 2022-03-02T10:20:15Z (14312312311).json
│   └── 2022-03-02T10:20:15Z (14312312311).txt
├── stories
│   ├── 2022-01-01T10:20:15Z (54894549852).jpg
│   ├── 2022-01-01T10:20:15Z (54894549852).json
│   ├── 2022-01-01T10:20:28Z (54894549853).mp4
│   └── 2022-01-01T10:20:28Z (54894549853).json
├── tagged_photos
│   ├── 2022-03-02T10:20:28Z (84893123153).jpg
│   └── 2022-03-02T10:20:28Z (84893123153).json
├── videos
│   ├── 2022-01-01T10:20:28Z (64812111853).mp4
│   └── 2022-01-01T10:20:28Z (64812111853).json
├── meta.json
└── id

Пакетный файл

vkscraper может читать профили пользователей и сообщества из файла. Строки, начинающиеся с # или пустые строки, считаются комментариями и игнорируются. Встроенные комментарии также игнорируются.

Учитывая DataHoarder.txt :

 # Official VK community
insidevk

klavdiacoca # Inline comment 1; Клава Кока; profile
klavacoca   # Inline comment 2; Клава Кока; community

Скачивайте истории, фото, видео и посты:

$ vkscraper --login=MyUsername --batch-file=DataHoarder.txt

Быстрое обновление

Для каждой цели останавливайтесь при встрече с первым уже загруженным ресурсом. Этот вариант рекомендуется использовать, если вы используете vkscraper для обновления личного архива.

Этот вариант взят из Instaloader.

$ vkscraper --login=MyUsername --fast-update insidevk

API

vkscraper не предназначен для использования в качестве комплексного API-клиента для ВКонтакте. Функции и структуры, используемые внутри, можно импортировать как библиотеку.

 import "github.com/kandayo/vkscraper/pkg/vk"

vk := vk . NewClient ()

// Login with a username and password.
vk . Login ( "username" , "password" )
// Or set an access token.
vk . SetAccessToken ( "token" )

// Find the user or community id.
user , err := vk . Utils . ResolveScreenName ( "klavacoca" )

// Retrieve the user stories feed.
stories , err := vk . Stories . Get ( user . ID )

perPage := 100
initialOffset := 0

// Retrieve the user photos.
stories , err := vk . Photos . GetAll ( user . ID , perPage , initialOffset )

// Retrieve the user videos.
stories , err := vk . Videos . Get ( user . ID , perPage , initialOffset )