Kemono scraper

Кемоно-скребок

Простой загрузчик для скачивания изображений с kemono.su

Опция флага

Файл cookie

нужен только в том случае, если вы хотите загрузить любимых авторов или публикации

--cookie PATH файл cookie, по умолчанию — cookie.txt (значения разделены пробелами). Синтаксис:

Домен	Включить субдомены	Путь	Безопасный	Срок действия	Имя	Ценить
.kemono.su	ЛОЖЬ	/	истинный	1706755572	kemono_auth

вы можете легко получить файлы cookie с помощью расширения Chrome. Получите файл cookie.txt ЛОКАЛЬНО.

Окна

Windows может автоматически обнаруживать файл cookie (не поддерживается в версии no_cookies_detection).

--cookie-browser string , какой браузер использовать, по умолчанию — chrome (поддерживаются: chrome, firefox, Edge, Opera, Vivaldi)

Варианты загрузки

--link [] : ссылка для скачивания, разделенная запятой.

--creator [:] : создатели загрузки, разделенные запятой.

--banner bool : загрузить баннер, по умолчанию — false (только для Kemono)

--fav-site string : укажите веб-сайт, с которого нужно получить избранное (кемоно или кумер), через запятую

--fav-creator bool : загрузить любимого создателя, по умолчанию — false

--fav-post bool загрузить избранное сообщение, по умолчанию — false

Параметры пост-фильтра

--first int : загрузить первое n сообщение

--last int : скачать последнее n сообщение

--date YYYYMMDD : загрузить сообщение на дату

--date-before YYYYMMDD : загрузить сообщение до даты

--date-after YYYYMMDD : загрузить сообщение после даты

--update YYYYMMDD : загрузить сообщение, обновленное по дате

--update-before YYYYMMDD : загрузить сообщение, обновленное до даты

--update-after YYYYMMDD : загрузить сообщение, обновленное после даты

Параметры фильтра изображений

--extension-only [] : загрузить сообщение с расширением, разделенным запятой.

--extension-exclude [] : загрузить сообщение без расширения, через запятую.

--max-size string : загрузить сообщение размером меньше максимального (например, 1 МБ, 1 КБ, 1,5 ГБ и т. д.)

--min-size string : загрузить сообщение размером больше минимального (например, 1 МБ, 1 КБ, 1,5 ГБ и т. д.)

Параметры загрузчика

--output PATH : выходной путь

--template : шаблон для настройки путей загрузки, где вы можете использовать следующие ключевые слова для указания различных частей пути:

• : служба создателя
• : имя создателя.
• : заголовок сообщения
• : индекс файла
• : имя файла.
• : хеш файла.
• : расширение файла.

Например:

[] //-

--image-template Сначала следует установить шаблон для настройки файла изображения, --template .

--video-template Сначала следует установить шаблон для настройки видеофайла, --template .

--audio-template Сначала следует установить шаблон для настройки аудиофайла --template .

--archive-template Сначала следует установить шаблон для настройки архивного файла --template .

--content bool : загрузить контент, по умолчанию — false

--overwrite bool : перезаписать существующий файл

--async bool : загружать сообщения асинхронно, может привести к тому, что порядок файлов не будет совпадать с порядком публикации, может использоваться с --with-prefix-number, по умолчанию false

--max-download-parallel int : максимальное количество одновременных загрузок файлов, по умолчанию — 3, только асинхронный режим

--with-prefix-number bool : добавить номер префикса к имени файла _ , по умолчанию false

--name-rule-only-index bool : использовать только индекс в качестве имени файла, по умолчанию false

--download-timeout int : время ожидания загрузки в секундах, по умолчанию 1800

--retry int : количество повторов, по умолчанию 3

--retry-interval number : интервал повтора в секундах, по умолчанию 10. Число может быть указано как int, так и с плавающей запятой.

--rate-limit int : ограничение скорости в запросах, по умолчанию 2

--proxy string : URL-адрес прокси-сервера, по умолчанию пуст, поддержка Socks5, http, https (например, Socks5://proxy:1080)

Конфигурационный файл

файл конфигурации находится в ./config.yaml

Параметры в файле конфигурации аналогичны параметрам флагов командной строки, но будут переопределены флагами (если оба существуют). Обычно используется для установки настроек по умолчанию для парсера.

 banner : true
async : true
max-download-parallel : 5
output : ./downloads
template : " [] // "
image-template : " [] // "
video-template : " [] //video/ "
retry : 10
retry-interval : 15
# proxy: socks5://proxy:1080 

Сборка из исходного кода

Клонирование репозитория:

git clone https://github.com/elvis972602/Kemono-scraper
cd Kemono-scraper/main

Загрузите все зависимости:

go mod tidy

Постройте проект:

go build

• Нет обнаружения файлов cookie:

go build -tags=no_cookies_detection

Функции

С помощью Kemono-scraper вы можете реализовать Downloader, чтобы воспользоваться такими функциями, как загрузка с несколькими соединениями, возобновление прерванных загрузок и многое другое.