-
Linux wget est un outil de téléchargement de fichiers, utilisé en ligne de commande. C'est un outil essentiel pour les utilisateurs de Linux, en particulier pour les administrateurs réseau, qui ont souvent besoin de télécharger certains logiciels ou de restaurer des sauvegardes de serveurs distants vers des serveurs locaux. Si nous utilisons un hôte virtuel pour gérer une telle transaction, nous pouvons uniquement la télécharger du serveur distant sur le disque de notre ordinateur, puis utiliser l'outil FTP pour la télécharger sur le serveur. C’est une perte de temps et d’énergie, et vous ne pouvez rien y faire. Lorsqu'il s'agit de Linux VPS, il peut être téléchargé directement sur le serveur sans passer par l'étape de téléchargement. L'outil wget est de petite taille mais possède des fonctions complètes. Il prend en charge la fonction de téléchargement de point d'arrêt, prend en charge les méthodes de téléchargement FTP et HTTP, prend en charge les serveurs proxy et est pratique et simple à configurer. Ci-dessous, nous expliquons comment utiliser wget sous forme d'exemples.
1. Utilisez wget pour télécharger un seul fichier
L'exemple suivant télécharge un fichier depuis Internet et l'enregistre dans le répertoire actuel
wget http://cn.WordPRess.org/wordpress-3.1-zh_CN.zip
Pendant le processus de téléchargement, une barre de progression s'affichera, comprenant (pourcentage d'achèvement du téléchargement, octets téléchargés, vitesse de téléchargement actuelle, temps de téléchargement restant).
2. Utilisez wget -O pour le télécharger et l'enregistrer sous un nom de fichier différent.
Par défaut, wget utilisera le dernier caractère après « / » pour commander pour les téléchargements de liens dynamiques, le nom du fichier sera généralement incorrect. Erreur : L'exemple suivant téléchargera un fichier et l'enregistrera sous le nom download.php?id=1080.
wget http://www.zhumaohai.com/download?id=1
Même si le fichier téléchargé est au format zip, il se termine toujours par la commande download.php?id=1080. Correct : Pour résoudre ce problème, nous pouvons utiliser le paramètre -O pour spécifier un nom de fichier :
wget -O wordpress.zip http://www.zhumaohai.com/download.php?id=1080
3. Utilisez wget --limit -rate pour limiter la vitesse de téléchargement
Lorsque vous exécutez wget, il occupera par défaut tous les téléchargements de bande passante possibles. Mais lorsque vous allez télécharger un fichier volumineux et que vous devez également télécharger d’autres fichiers, il est nécessaire de limiter la vitesse.
wget --limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
4. Utilisez wget -c pour reprendre le téléchargement à partir d'un point d'arrêt
Utilisez wget -c pour redémarrer le téléchargement d'un fichier interrompu :
wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
C'est très utile lorsque nous téléchargeons un fichier volumineux et qu'il est soudainement interrompu en raison du réseau et d'autres raisons. Nous pouvons continuer le téléchargement au lieu de retélécharger un fichier. Vous pouvez utiliser le paramètre -c lorsque vous devez poursuivre un téléchargement interrompu.
5. Utilisez wget -b téléchargement en arrière-plan
Lors du téléchargement de fichiers très volumineux, nous pouvons utiliser le paramètre -b pour le téléchargement en arrière-plan.
wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
Continuation en arrière-plan, pid 1840.
La sortie sera écrite dans `wget-log'.
Vous pouvez utiliser la commande suivante pour vérifier la progression du téléchargement
tail -f journal-wget
6. Téléchargement du nom de l'agent de déguisement
Certains sites Web peuvent refuser votre demande de téléchargement en estimant que le nom du proxy n'est pas celui d'un navigateur. Mais vous pouvez le dissimuler via le paramètre --user-agent.
wget --user-agent="Mozilla/5.0 (Windows ; U ; Windows NT 6.1 ; en-US) AppleWebKit/534.16 (KHTML, comme Gecko) Chrome/10.0.648.204 Safari/534.16" Lien de téléchargement
7. Utilisez wget --spider pour tester le lien de téléchargement
Lorsque vous envisagez d'effectuer des téléchargements planifiés, vous devez tester si le lien de téléchargement est valide à l'heure planifiée. Nous pouvons ajouter le paramètre --spider pour vérifier.
wget --URL de l'araignée
Si le lien de téléchargement est correct, il sera affiché
wget --URL de l'araignée
Mode Spider activé. Vérifiez si le fichier distant existe.
Requête HTTP envoyée, en attente de réponse. 200 OK Longueur : non spécifiée [texte/html] Le fichier distant existe et peut contenir d'autres liens, mais la récursivité est désactivée -- pas de récupération.
Cela garantit que le téléchargement se poursuivra à l'heure prévue, mais si vous donnez le mauvais lien, l'erreur suivante s'affichera
wget --url de l'araignée
Mode araignée activé.
Vérifiez si le fichier distant existe. Requête HTTP envoyée, en attente de réponse. . 404 Not Found Le fichier distant n'existe pas -- lien rompu ! ! !
Vous pouvez utiliser le paramètre spider dans les situations suivantes :
7.1 Vérifier avant le téléchargement programmé
7.2 Vérifier si le site Web est disponible à intervalles réguliers
7.3 Vérifier les liens morts sur les pages du site Web
8. Utilisez wget --tries pour augmenter le nombre de tentatives
Il peut également échouer en cas de problèmes de réseau ou si vous téléchargez un fichier volumineux. Par défaut, wget tente 20 fois de se connecter et de télécharger des fichiers. Si nécessaire, vous pouvez utiliser --tries pour augmenter le nombre de tentatives.
wget --tries=40URL
9. Utilisez wget -i pour télécharger plusieurs fichiers
Tout d’abord, enregistrez un fichier de lien de téléchargement
cat>filelist.txt url1 url2 url3 url4
Utilisez ensuite ce fichier et le paramètre -i pour télécharger
wget -i filelist.txt
10. Utilisez wget --mirror pour mettre en miroir le site Web
L'exemple ci-dessous télécharge l'intégralité du site Web en local.
wget --mirror -p --convert-links -P ./URL LOCALE
--miror : téléchargement du miroir d'ouverture de compte
-p : Téléchargez tous les fichiers pour un affichage normal de la page HTML
--convert-links : après le téléchargement, convertissez-le en liens locaux
-P ./LOCAL : enregistre tous les fichiers et répertoires dans le répertoire local spécifié
11. Utilisez wget --reject pour filtrer les téléchargements dans les formats spécifiés
Vous souhaitez télécharger un site Web, mais vous ne souhaitez pas télécharger d'images, vous pouvez utiliser la commande suivante.
wget --reject=url gif
12. Utilisez wget -o pour stocker les informations de téléchargement dans le fichier journal
Si vous ne souhaitez pas que les informations de téléchargement soient affichées directement dans le terminal mais dans un fichier journal, vous pouvez utiliser la commande suivante :
wget -o download.log URL
13. Utilisez wget -Q pour limiter la taille totale du fichier téléchargé
Lorsque le fichier que vous souhaitez télécharger dépasse 5 Mo et quitte le téléchargement, vous pouvez utiliser la commande suivante :
wget -Q5m -i filelist.txt
Remarque : Ce paramètre ne fonctionne pas pour les téléchargements de fichiers uniques, mais uniquement pour les téléchargements récursifs.
14. Utilisez wget -r -A pour télécharger le fichier au format spécifié
Cette fonctionnalité peut être utilisée dans les situations suivantes
Télécharger toutes les images d'un site Web
Télécharger toutes les vidéos d'un site Web
Télécharger tous les fichiers PDF d'un site Web
wget -r -A.pdf URL
15. Utilisez le téléchargement FTP wget
Vous pouvez utiliser wget pour terminer le téléchargement du lien FTP. Téléchargement FTP anonyme à l'aide de wget
wget URL-FTP
Téléchargement FTP à l'aide de l'authentification par nom d'utilisateur et mot de passe wget
wget --ftp-user=NOM D'UTILISATEUR --ftp-password=URL MOT DE PASSE
Source de l'article : http://www.zhumaohai.com/ Veuillez conserver les droits d'auteur pour la réimpression
Merci à Zhu Maohai pour sa contribution