-
Linux wget — это инструмент для загрузки файлов, который используется в командной строке. Это важный инструмент для пользователей Linux, особенно для сетевых администраторов, которым часто необходимо загружать какое-либо программное обеспечение или восстанавливать резервные копии с удаленных серверов на локальные серверы. Если мы используем виртуальный хост, для обработки такой транзакции мы можем только загрузить его с удаленного сервера на диск нашего компьютера, а затем использовать инструмент FTP для загрузки его на сервер. Это пустая трата времени и энергии, и с этим ничего не поделаешь. Что касается Linux VPS, его можно загрузить непосредственно на сервер, не проходя этап загрузки. Инструмент wget имеет небольшой размер, но имеет полный набор функций. Он поддерживает функцию загрузки точки останова, поддерживает методы загрузки FTP и HTTP, поддерживает прокси-серверы, удобен и прост в настройке. Ниже мы объясним, как использовать wget в виде примеров.
1. Используйте wget для загрузки одного файла.
В следующем примере файл загружается из Интернета и сохраняется в текущем каталоге.
wget http://cn.WordPRess.org/wordpress-3.1-zh_CN.zip
Во время процесса загрузки будет отображаться индикатор выполнения, включающий (процент завершения загрузки, загруженные байты, текущую скорость загрузки, оставшееся время загрузки).
2. Используйте wget -O, чтобы загрузить и сохранить его под другим именем файла.
По умолчанию wget будет использовать последний символ после «/» для команды. При загрузке по динамической ссылке имя файла обычно будет неверным. Ошибка. В следующем примере файл будет загружен и сохранен под именем download.php?id=1080.
wget http://www.zhumaohai.com/download?id=1
Несмотря на то, что загруженный файл имеет формат zip, он все равно заканчивается командой download.php?id=1080. Правильно: Чтобы решить эту проблему, мы можем использовать параметр -O для указания имени файла:
wget -O wordpress.zip http://www.zhumaohai.com/download.php?id=1080
3. Используйте wget --limit -rate, чтобы ограничить скорость загрузки.
Когда вы запускаете wget, он по умолчанию занимает все возможные загрузки полосы пропускания. Но когда вы собираетесь скачать большой файл и вам также необходимо скачать другие файлы, необходимо ограничить скорость.
wget --limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
4. Используйте wget -c, чтобы возобновить загрузку с точки останова.
Используйте wget -c, чтобы возобновить загрузку прерванного файла:
wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
Это очень полезно, когда мы загружаем большой файл, и он внезапно прерывается из-за сети и по другим причинам. Мы можем продолжить загрузку вместо повторной загрузки файла. Вы можете использовать параметр -c, если вам нужно продолжить прерванную загрузку.
5. Используйте фоновую загрузку wget -b
При загрузке очень больших файлов мы можем использовать параметр -b для фоновой загрузки.
wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
Продолжаем в фоновом режиме: 1840 год.
Вывод будет записан в wget-log.
Вы можете использовать следующую команду, чтобы проверить ход загрузки
хвост -f wget-журнал
6. Загрузка имени агента маскировки
Некоторые веб-сайты могут отклонить ваш запрос на загрузку, посчитав, что имя прокси-сервера не является браузером. Но вы можете замаскировать это с помощью параметра --user-agent.
wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, например Gecko) Chrome/10.0.648.204 Safari/534.16" Ссылка для скачивания
7. Используйте wget --spider, чтобы проверить ссылку для скачивания.
Если вы планируете выполнять запланированные загрузки, вам следует проверить, действительна ли ссылка для скачивания в запланированное время. Мы можем добавить параметр --spider для проверки.
wget --spider URL
Если ссылка для скачивания правильная, она будет отображена
wget --spider URL
Режим паука включен. Проверьте, существует ли удаленный файл.
HTTP-запрос отправлен, ожидается ответ. 200 OK Длина: не указано [text/html] Удаленный файл существует и может содержать дополнительные ссылки, но рекурсия отключена — получение не осуществляется.
Это гарантирует, что загрузка продолжится в запланированное время, но если вы укажете неправильную ссылку, будет отображена следующая ошибка.
wget --адрес паука
Режим паука включен.
Проверьте, существует ли удаленный файл. HTTP-запрос отправлен, ожидает ответа. . 404 Not Found Удаленный файл не существует — ссылка неработающая! ! !
Параметр Spider можно использовать в следующих ситуациях:
7.1 Проверка перед запланированной загрузкой
7.2 Проверяйте доступность веб-сайта через определенные промежутки времени
7.3 Проверка битых ссылок на страницах сайта
8. Используйте wget --tries, чтобы увеличить количество повторов.
Он также может выйти из строя, если есть проблемы с сетью или если вы загружаете большой файл. По умолчанию wget пытается подключиться и загрузить файлы 20 раз. При необходимости вы можете использовать --tries, чтобы увеличить количество повторов.
wget --tries=40 URL-адрес
9. Используйте wget -i для загрузки нескольких файлов.
Сначала сохраните файл ссылки для скачивания.
cat>filelist.txt url1 url2 url3 url4
Затем используйте этот файл и параметр -i для загрузки.
wget -i список_файлов.txt
10. Используйте wget --mirror для зеркалирования веб-сайта.
В приведенном ниже примере весь веб-сайт загружается на локальный компьютер.
wget --mirror -p --convert-links -P ./LOCAL URL
--miror: Загрузка зеркала открытия счета
-p: загрузить все файлы для нормального отображения html-страницы.
--convert-links: после загрузки преобразовать его в локальные ссылки.
-P ./LOCAL: сохранить все файлы и каталоги в указанный локальный каталог.
11. Используйте wget --reject для фильтрации загрузок в указанных форматах.
Вы хотите загрузить веб-сайт, но не хотите загружать изображения, вы можете использовать следующую команду.
wget --reject=ссылка на гифку
12. Используйте wget -o, чтобы сохранить информацию о загрузке в файле журнала.
Если вы хотите, чтобы информация о загрузке отображалась не непосредственно в терминале, а в файле журнала, вы можете использовать следующую команду:
wget -o URL-адрес файла загрузки.log
13. Используйте wget -Q, чтобы ограничить общий размер загружаемого файла.
Когда размер файла, который вы хотите загрузить, превышает 5M и загрузка прекращается, вы можете использовать следующую команду:
wget -Q5m -i список_файлов.txt
Примечание. Этот параметр не работает для загрузки отдельных файлов, а только для рекурсивных загрузок.
14. Используйте wget -r -A для загрузки файла указанного формата.
Эту функцию можно использовать в следующих ситуациях
Загрузите все изображения с сайта
Скачать все видео с сайта
Загрузите все PDF-файлы веб-сайта
wget -r -A.pdf URL
15. Используйте FTP-загрузку wget.
Вы можете использовать wget для завершения загрузки ftp-ссылки. Анонимная загрузка по FTP с помощью wget
wget FTP-URL
Загрузка по FTP с использованием аутентификации по имени пользователя и паролю wget.
wget --ftp-user=ИМЯ ПОЛЬЗОВАТЕЛЯ --ftp-password=ПАРОЛЬ URL-адрес
Источник статьи: http://www.zhumaohai.com/ Пожалуйста, сохраните авторские права на перепечатку.
Спасибо Чжу Маохаю за его вклад.