Скачать SciDownl - Скачать исходный код SciDownl

SciDownl

Другой исходный код

Скачать

Scidownl

Неофициальный API для загрузки бумаг с Scihub.

Поддержка загрузки с DOI, PMID или названием.
Легко обновить новейшие домены Scihub.
Готовы к изменениям: инкапсулировать возможные будущие изменения Scihub в качестве конфигураций.
Поддержка прокси.

Быстрое использование

 # Download with a DOI and filenmae is the paper's title.
$ scidownl download --doi https://doi.org/10.1145/3375633

# Download with a PMID and a user-defined filepath
$ scidownl download --pmid 31395057 --out ./paper/paper-1.pdf

# Download with a title
$ scidownl download --title " ImageNet Classification with Deep Convolutional Neural Networks " --out ./paper/paper-1.pdf

# Download with a proxy: SCHEME=PROXY_ADDRESS 
$ scidownl download --pmid 31395057 --out ./paper/paper-1.pdf --proxy http=socks5://127.0.0.1:7890

Установка

Установите с PIP

Scidownl можно легко установить с PIP.

$ pip3 install -U scidownl

Установить из исходного кода

$ git clone https://github.com/Tishacy/SciDownl.git
$ cd Scidownl && python3 setup.py install

Использование

Инструмент командной строки

$ scidownl -h
Usage: scidownl [OPTIONS] COMMAND [ARGS]...

  Command line tool to download pdfs from Scihub.

Options:
  -h, --help  Show this message and exit.

Commands:
  config         Get global configs.
  domain.list    List available SciHub domains in local db.
  domain.update  Update available SciHub domains and save them to local db.
  download       Download paper(s) by DOI or PMID.

1. Обновление доступных доменов Scihub

$ scidownl domain.update --help
Usage: scidownl domain.update [OPTIONS]

  Update available SciHub domains and save them to local db.

Options:
  -m, --mode TEXT  update mode, could be ' crawl ' or ' search ' , default mode is
                   ' crawl ' .
  -h, --help       Show this message and exit.

Есть 2 режима обновления, которые вы могли бы указать с опцией: -m или --mode

crawl : [по умолчанию] Clawling обновленный веб-сайт Scihub Domains в реальном времени (AKA, Scihub Domain Source), чтобы получить доступные домены Scihub. URL -адрес веб -сайта Scihub Domain Source настроен в глобальном файле конфигурации в разделе [scihub.domain.updater.crawl] с помощью ключа scihub_domain_source . Вы можете использовать scidownl config --location , чтобы показать местоположение глобального файла конфигурации и отредактировать его.
```
 ; Global config file: global.ini
; ...
[scihub.domain.updater.crawl]
scihub_domain_source = http://tool.yovisun.com/scihub
; ...
```
Пример использования режима crawl :
```
$ scidownl domain.update --mode crawl
[INFO] | 2022/03/07 21:07:50 | Found 6 valid SciHub domains in total: [ ' http://sci-hub.ru ' , ' http://sci-hub.se ' , ' https://sci-hub.ru ' , ' https://sci-hub.st ' , ' http://sci-hub.st ' , ' https://sci-hub.se ' ]
[INFO] | 2022/03/07 21:07:50 | Saved 6 SciHub domains to local db.
```

search : Сгенерировать комбинации в соответствии с правилами доменов Scihub и поиск доступных доменов Scihub. Это займет больше времени, чем режим crawl .

Пример использования режима search :

$ scidownl domain.update --mode search
[INFO] | 2022/03/07 21:08:44 | # Search valid SciHub domains from 1352 urls
[INFO] | 2022/03/07 21:08:48 | # Found a SciHub domain url: https://sci-hub.ru
[INFO] | 2022/03/07 21:08:48 | # Found a SciHub domain url: https://sci-hub.st
...
[INFO] | 2022/03/07 21:09:04 | Found 6 valid SciHub domains in total: [ ' https://sci-hub.ru ' , ' https://sci-hub.st ' , ...]
[INFO] | 2022/03/07 21:09:04 | Saved 6 SciHub domains to local db.

2. Перечислите все сохраненные домены Scihub

Scidownl Используйте SQLite в качестве локальной базы данных для хранения всех обновленных доменов Scihub локально. Вы можете перечислить все сохраненные домены Scihub с помощью командного domain.list .

$ scidownl domain.list
+--------------------+----------------+---------------+
| Url                |   SuccessTimes |   FailedTimes |
| --------------------+----------------+--------------- |
| http://sci-hub.ru  |              0 |             0 |
| https://sci-hub.ru |              0 |             0 |
| https://sci-hub.st |              0 |             0 |
| http://sci-hub.st  |              0 |             0 |
| https://sci-hub.se |              0 |             0 |
| http://sci-hub.se  |              0 |             0 |
+--------------------+----------------+---------------+

В дополнение к простой для понимания столбец URL-адреса, столбец SuccessTimes используется для записи количества успешных загрузок бумаги с использованием этого URL-адреса, а столбец FailedTimes используется для записи количества неисправных загрузок бумаги с использованием этого URL. Эти два столбца используются для расчета приоритета при выборе домена Scihub при загрузке бумаг.

3. Скачать документы

 $ scidownl download --help
Usage: scidownl download [OPTIONS]

  Download paper(s) by DOI or PMID.

Options:
  -d, --doi TEXT         DOI string. Specifying multiple DOIs is supported,
                         e.g., --doi FIRST_DOI --doi SECOND_DOI ...
  -p, --pmid INTEGER     PMID numbers. Specifying multiple PMIDs is supported,
                         e.g., --pmid FIRST_PMID --pmid SECOND_PMID ...
  -t, --title TEXT       Title string. Specifying multiple titles is
                         supported, e.g., --title FIRST_TITLE --title
                         SECOND_TITLE ...
  -o, --out TEXT         Output directory or file path, which could be an
                         absolute path or a relative path. Output directory
                         examples: /absolute/path/to/download/,
                         ./relative/path/to/download/, Output file examples:
                         /absolute/dir/paper.pdf, ../relative/dir/paper.pdf.
                         If --out is not specified, paper will be downloaded
                         to the current directory with the file name of the
                         paper's title. If multiple DOIs or multiple PMIDs are
                         provided, the --out option is always considered as
                         the output directory, rather than the output file
                         path.
  -u, --scihub-url TEXT  Scihub domain url. If not specified, automatically
                         choose one from local saved domains. It's recommended
                         to leave this option empty.
  -h, --help             Show this message and exit.

Скачать документы с DOI (S), PMID (S) или заголовок (ы)

Использование опции -d или --doi для загрузки документов с DOI, Option -p или --pmid для загрузки бумаг с помощью PMID и опции -t или --title для загрузки бумаг с заголовками. Вы можете указать эти параметры несколько раз и даже их смешивать.

 # with a single DOI
$ scidownl download --doi https://doi.org/10.1145/3375633

# with multiple DOIs
$ scidownl download --doi https://doi.org/10.1145/3375633 --doi https://doi.org/10.1145/2785956.2787496

# with a single PMID
$ scidownl download --pmid 31395057

# with multiple PMIDs
$ scidownl download --pmid 31395057 --pmid 24686414

# with a single title
$ scidownl download --title " ImageNet Classification with Deep Convolutional Neural Networks "

# with multiple titles
$ scidownl download --title " ImageNet Classification with Deep Convolutional Neural Networks " --title " Aggregated residual transformations for deep neural networks "

# with a mix of DOIs and PMIDs
$ scidownl download --doi https://doi.org/10.1145/3375633 --pmid 31395057 --pmid 24686414

Настроить выходное место

По умолчанию загруженная статья названа названием газеты. С помощью опции -o или --out ， вы можете настроить выходное местоположение загруженных бумаг, WHCIH может быть абсолютным путем или относительным путем, а также направлением или пути файла.

Выводите PAEPR в каталог:

$ scidownl download --pmid 31395057 --out /absolute/path/of/a/directory/
# NOTE that the '/' at the end of the directory path is required, otherwise the last segment will be treated as the filename rather than a directory.

$ scidownl download --pmid 31395057 --out ../relative/path/of/a/directory/
# The '/' at the end of the directory path is required too.

Выведите бумагу с помощью пути файла.

$ scidownl download --pmid 31395057 --out /absolute/dir/paper.pdf
$ scidownl download --pmid 31395057 --out ../relative/dir/paper.pdf
$ scidownl download --pmid 31395057 --out relative/dir/paper.pdf
$ scidownl download --pmid 31395057 --out paper  # will be downlaoded as ./paper.pdf

Обратите внимание , что если нужно загрузить более одной статьи, значение опции --out всегда будет рассматриваться как каталог, а не как путь файла.

$ scidownl download --pmid 31395057 --pmid 24686414 --out paper
# will be downloaded to ./paper/ directory:
#  ./paper/<paper-title-1>.pdf
#  ./paper/<paper-title-2>.pdf

Если некоторых каталогов в опции не существует, Scidownl создаст их для вас?

Используйте конкретный URL Scihub

С помощью Option -u или --scihub-url вы можете использовать конкретный URL Scihub, который вы хотите, вместо того, чтобы позволить Scidownl автоматически выбирать один для вас из локальных сохраненных доменов Scihub. Рекомендуется позволить Scidownl выбрать URL Scihub, поэтому вам не нужно использовать эту опцию в обычном использовании.

$ scidownl download --pmid 31395057 --scihub-url http://sci-hub.se

Использование модуля

Вы можете использовать функцию scihub_download для загрузки бумаг.

 from scidownl import scihub_download

paper = "https://doi.org/10.1145/3375633"
paper_type = "doi"
out = "./paper/one_paper.pdf"
proxies = {
    'http' : 'socks5://127.0.0.1:7890'
}
scihub_download ( paper , paper_type = paper_type , out = out , proxies = proxies )