-H suivi du nom d'hôte S'il s'agit d'une IP, vous devez ajouter http devant, par exemple http://172.21 -a suivi de access_key, par exemple YT**********. ************ -s suivi de Ajouter une clé secrète telle que JlNVoLfLuJJ***************************** *
(1) Supprimer un seul bucket. Le script correspondant à cette fonction est thread-delete-bucket.py Lors de l'utilisation, spécifiez le paramètre -b suivi du nom du bucket.
[wuchen@manager delete]$ python thread-delete-bucket.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test7
['test1', 'test2', 'test7']
[{'Key': u'osd.84.log'}] 1
(2) Supprimez la liste de buckets. Le script correspondant à cette fonction est thread-delete-buckets.py Avant utilisation, vous devez écrire un nom de bucket pour chaque ligne de la liste de buckets dans un fichier de configuration. la fonction est thread-delete-buckets. py, lors de l'utilisation, spécifiez le paramètre -f suivi du chemin d'accès au fichier de configuration (y compris le nom du fichier de configuration)
[wuchen@manager delete]$ cat bucket.txt
test10
test3
test4
test5
test6
test7
test8
test9
[wuchen@manager delete]$ python thread-delete-buckets.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/delete/bucket.txt
deleting test10
[{'Key': u'osd.84.log'}] 1
deleting test3
[{'Key': u'osd.84.log'}] 1
deleting test4
[{'Key': u'osd.84.log'}] 1
deleting test5
[{'Key': u'osd.84.log'}] 1
deleting test6
[{'Key': u'osd.84.log'}] 1
deleting test7
[{'Key': u'osd.84.log'}] 1
deleting test8
[{'Key': u'osd.84.log'}] 1
deleting test9
[{'Key': u'osd.84.log'}] 1
(3) Supprimer tous les buckets d'un utilisateur. Le script correspondant à cette fonction est thread-delete-user.py Il ne nécessite que trois paramètres de base pour supprimer tous les buckets de l'utilisateur.
[wuchen@manager delete]$ python thread-delete-user.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ***********************
Utilisez le script thread-download.py pour télécharger des fichiers volumineux (plus de 8 Mo) dans des multi-threads fragmentés. Si vous souhaitez télécharger de petits fichiers de moins de 8 Mo, il vous suffit de spécifier le paramètre -t sur 0.
(1) Le paramètre requis -H est l'adresse de l'hôte. Si vous écrivez IP, vous n'avez pas besoin d'ajouter http devant, par exemple, 172.21 -a User's access_key, par exemple, YT****** . ****************
-s clé secrète de l'utilisateur telle que JlNVoLfLuJJ******************************
-b Le nom du bucket dans lequel l'objet doit être téléchargé, tel que test12 -o Le nom de l'objet à télécharger, tel que python.tar.gz S'il contient un répertoire de dossiers multicouches, vous devez écrire le chemin complet -f L'objet de téléchargement est écrit dans le chemin du fichier local, par exemple /home/wuchen/wuchen/download/download-file
(2) Le paramètre facultatif -t spécifie le nombre de threads. La valeur par défaut est 10 threads.
-c spécifie la taille du fragment en M, la valeur par défaut est 8M
Utilisez le script download-folder.py pour télécharger un dossier dans le bucket. Cette fonction téléchargera de manière récursive tous les sous-répertoires du répertoire.
L'analyse des paramètres est la suivante : -H Si l'adresse de l'hôte est écrite au format IP, il n'est pas nécessaire d'ajouter http devant, par exemple 172.21 -a Clé d'accès de l'utilisateur, par exemple YT******* . **************
-s clé secrète de l'utilisateur telle que JlNVoLfLuJJ******************************
-b Le nom du bucket où se trouve le répertoire à télécharger
-f Les données du répertoire de téléchargement sont stockées à l'emplacement du chemin local. -p Le répertoire s3 à télécharger. S'il s'agit d'un répertoire à plusieurs niveaux, le chemin complet doit être indiqué. Par exemple, il y a un répertoire test1 sous le bucket. , et test1 a un répertoire test2 Si vous souhaitez télécharger test1, alors - Ajoutez test1 après p, pour télécharger test2, ajoutez test1/test2 après -p.
Télécharger en utilisant les paramètres par défaut
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file
Téléchargement en utilisant 15 threads, partitionnement par défaut
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 20
Utilisez 20 threads pour télécharger et la fragmentation est de 20 Mo
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 20 -c 20
Téléchargez un seul petit fichier
wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 0
[wuchen@manager download]$ python download-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/s3-tool/download/result22 -p werfefdsa/dffds -b test12
Une fois cette commande exécutée, le répertoire local result22 téléchargera werfefdsa/dffds dans le nom du bucket test12.
[wuchen@manager download]$ python download-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/s3-tool/download/result22 -p werfefdsa -b test12
Une fois la commande exécutée, le répertoire local result22 téléchargera werfefdsa/ dans le nom du bucket test12.
Utilisez le script thread-upload.py pour télécharger des fichiers volumineux (plus de 8 Mo) dans plusieurs threads. Par défaut, des tranches de 8 Mo seront téléchargées dans 10 threads. Si vous souhaitez télécharger un petit fichier de moins de 8 Mo, il vous suffit de le spécifier. le paramètre -t à 0.
(1) Le paramètre requis -H est l'adresse de l'hôte. Si vous écrivez IP, vous n'avez pas besoin d'ajouter http devant, par exemple, 172.21 -a User's access_key, par exemple, YT****** . ****************
-s clé secrète de l'utilisateur telle que JlNVoLfLuJJ******************************
-b Le nom du compartiment dans lequel l'objet doit être téléchargé, par exemple test12. -o Le chemin de l'objet à télécharger directement dans le compartiment, vous n'avez pas besoin d'écrire le paramètre -o. vous le téléchargez dans un dossier sous le compartiment, vous devez spécifier -o comme chemin du dossier -f pour télécharger le chemin du fichier local de l'objet, tel que /home/wuchen/wuchen/download/download-file.
(2) Le paramètre facultatif -t spécifie le nombre de threads. La valeur par défaut est 10 threads. Il peut être omis. -c spécifie la taille du fragment en M. La valeur par défaut est 8M.
Utilisez le script upload-folder.py pour télécharger de manière récursive un dossier avec un chemin local spécifié vers le bucket. Vous pouvez le télécharger directement dans le bucket, ou vous pouvez le télécharger dans un répertoire sous le bucket. L'analyse des paramètres est la suivante : -H Adresse de l'hôte Si vous écrivez IP Si c'est le cas, il n'est pas nécessaire d'ajouter http devant, par exemple 172.21 -la clé d'accès d'un utilisateur, par exemple YT***************** . **
-s clé secrète de l'utilisateur telle que JlNVoLfLuJJ******************************
-b Le nom du bucket du répertoire à télécharger
-l Le répertoire de téléchargement est stocké dans l'emplacement du chemin local. -d Télécharge de manière récursive le dossier avec le chemin local spécifié vers l'emplacement du chemin sous le compartiment. S'il est téléchargé directement dans le compartiment, spécifiez -d root. vers un chemin de répertoire sous le compartiment, le chemin complet est indiqué. Par exemple, lors du téléchargement vers le sous-répertoire test2 sous le répertoire test1 sous le compartiment, spécifiez -d test1/test2.
Télécharger en utilisant les paramètres par défaut
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar
Utilisez 15 threads pour télécharger, partitionner par défaut et télécharger dans le répertoire test1 sous le compartiment
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test1 -o test1 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar -t 15
Utilisez 20 threads pour télécharger, télécharger en fragments de 20 millions et télécharger dans le sous-répertoire /test1/test2/test3 sous le compartiment.
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o /test1/test2/test3 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar -t 20 -c 20
Téléchargez le répertoire local directement dans le bucket test12
[wuchen@manager upload]$ python upload-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -l /home/wuchen/wuchen/s3-tool/upload/download -d root
Téléchargez le répertoire local dans le répertoire werfefdsa sous bucket test12
[wuchen@manager upload]$ python upload-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -l /home/wuchen/wuchen/s3-tool/upload/download -d werfefdsa
Utilisez le package jar java-upload-download.jar pour télécharger et télécharger. Les paramètres de ligne de commande sont spécifiés comme suit : (1) Télécharger des fichiers ou des répertoires java -jar iflytek_url_tesy-1.0.1.10023.jar. + nom de l'objet (y compris le chemin du répertoire téléchargé dans le bucket) + nombre de threads + taille du fragment + chemin du fichier ou du répertoire téléchargé + chaîne de téléchargement (afin de distinguer s'il s'agit d'un téléchargement ou d'un téléchargement)
(2) Télécharger des fichiers (le répertoire de téléchargement est toujours sujet aux erreurs)
Les paramètres suivant java -jar s3-tool-java.jar sont le nom du bucket + le nom du fichier à télécharger (y compris le chemin complet sous le bucket) + le nombre de threads + la taille du fragment + le chemin du fichier ou du répertoire à télécharger sur le local + chaîne de téléchargement
Exemples d'utilisation
1.上传文件夹，将文件夹 /lustre2/dlp/esxu/lustre-soft/上传到bucket下面
[root@jobsub-9-073 wuchen]# java -jar s3-tool-java.jar test-bucket test5 6 5242880 /lustre2/dlp/esxu/lustre-soft/ upload
Uploading etc
[########################################]: Completed
thread upload run time： 34s
2.上传文件 将文件/lustre2/dlp/esxu/test1.tar 上传到bucket test-bucket 下面，名称为test1.tar
[root@jobsub-9-073 wuchen]# java -Xmx10m -jar s3-tool-java.jar test-bucket test1.tar 10 5242880 /lustre2/dlp/esxu/test1.tar upload
Uploading etc
[########################################]: Completed
thread upload run time： 17s
3.下载文件 下载bucket下面的test1.tar 到本地重命名为 /lustre2/dlp/esxu/test2.tar
[root@jobsub-9-073 wuchen]# java -Xmx10m -jar s3-tool-java.jar test-bucket test1.tar 10 5242880 /lustre2/dlp/esxu/test2.tar download
Downloading etc
[########################################]: Completed
thread upload run time： 17s
