-H seguido pelo nome do host. Se for um IP, você precisa adicionar http na frente, por exemplo http://172.21 . ************ -s seguido por Adicionar secret_key como JlNVoLfLuJJ********************************* *
(1) Exclua um único bucket. O script correspondente a esta função é thread-delete-bucket.py Ao usar, especifique o parâmetro -b seguido do nome do bucket.
[wuchen@manager delete]$ python thread-delete-bucket.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test7
['test1', 'test2', 'test7']
[{'Key': u'osd.84.log'}] 1
(2) Exclua a lista de buckets. O script correspondente a esta função é thread-delete-buckets.py Antes de usar, você precisa escrever um nome de bucket para cada linha da lista de buckets em um arquivo de configuração. A função é thread-delete-buckets py, ao usar, especifique o parâmetro -f seguido do caminho para o arquivo de configuração (incluindo o nome do arquivo de configuração)
[wuchen@manager delete]$ cat bucket.txt
test10
test3
test4
test5
test6
test7
test8
test9
[wuchen@manager delete]$ python thread-delete-buckets.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/delete/bucket.txt
deleting test10
[{'Key': u'osd.84.log'}] 1
deleting test3
[{'Key': u'osd.84.log'}] 1
deleting test4
[{'Key': u'osd.84.log'}] 1
deleting test5
[{'Key': u'osd.84.log'}] 1
deleting test6
[{'Key': u'osd.84.log'}] 1
deleting test7
[{'Key': u'osd.84.log'}] 1
deleting test8
[{'Key': u'osd.84.log'}] 1
deleting test9
[{'Key': u'osd.84.log'}] 1
(3) Excluir todos os buckets de um usuário. O script correspondente a esta função é thread-delete-user.py. Requer apenas três parâmetros básicos para excluir todos os buckets do usuário.
[wuchen@manager delete]$ python thread-delete-user.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ***********************
Use o script thread-download.py para baixar arquivos grandes (maiores que 8M) em multithreads fragmentados. Se você deseja baixar arquivos pequenos com menos de 8M, você só precisa especificar o parâmetro -t como 0.
(1) O parâmetro obrigatório -H é o endereço do host. Se você escrever IP, não precisará adicionar http na frente, por exemplo, 172.21 . ****************
-s secret_key do usuário, como JlNVoLfLuJJ******************************
-b O nome do bucket onde o objeto será baixado, como test12 -o O nome do objeto a ser baixado, como python.tar.gz Se ele contiver um diretório de pasta multicamadas, você precisará escrever o caminho completo -f O objeto de download é gravado no caminho do arquivo local, por exemplo /home/wuchen/wuchen/download/download-file
(2) O parâmetro opcional -t especifica o número de threads. O padrão é 10 threads.
-c especifica o tamanho do fragmento em M, o padrão é 8M
Use o script download-folder.py para baixar uma pasta no bucket. Esta função fará download recursivamente de todos os subdiretórios no diretório.
A análise dos parâmetros é a seguinte: -H Se o endereço do host for escrito como IP, não há necessidade de adicionar http na frente, por exemplo, 172.21 . ***************
-s secret_key do usuário, como JlNVoLfLuJJ******************************
-b O nome do bucket onde o diretório a ser baixado está localizado
-f Os dados do diretório de download são armazenados no local do caminho local -p O diretório s3 a ser baixado. Se for um diretório de vários níveis, o caminho completo precisa ser fornecido. Por exemplo, há um diretório test1 no bucket. , e test1 tem um diretório test2. Se você deseja baixar test1, então - Adicione test1 após p, para baixar test2, adicione test1/test2 após -p.
Baixe usando parâmetros padrão
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file
Baixe usando 15 threads, fragmentando por padrão
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 20
Use 20 threads para baixar e a fragmentação é de 20M
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 20 -c 20
Baixe um único arquivo pequeno
wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 0
[wuchen@manager download]$ python download-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/s3-tool/download/result22 -p werfefdsa/dffds -b test12
Depois que este comando for executado, o diretório local result22 fará download de werfefdsa/dffds no nome do bucket test12.
[wuchen@manager download]$ python download-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/s3-tool/download/result22 -p werfefdsa -b test12
Após a execução do comando, o diretório local result22 fará o download de werfefdsa/ no nome do bucket test12.
Use o script thread-upload.py para fazer upload de arquivos grandes (maiores que 8M) em vários threads. Por padrão, fatias de 8M serão carregadas em 10 threads. Se você quiser fazer upload de um arquivo pequeno menor que 8M, você só precisa especificar. o parâmetro -t como 0.
(1) O parâmetro obrigatório -H é o endereço do host. Se você escrever IP, não precisará adicionar http na frente, por exemplo, 172.21 . ****************
-s secret_key do usuário, como JlNVoLfLuJJ******************************
-b O nome do bucket onde o objeto será carregado, como test12 -o O caminho do objeto a ser carregado Se você fizer upload diretamente para o bucket, não será necessário escrever o parâmetro -o If. você faz upload para uma pasta no bucket, você precisa especificar -o como o caminho da pasta -f para fazer upload O caminho do arquivo local do objeto, como /home/wuchen/wuchen/download/download-file.
(2) O parâmetro opcional -t especifica o número de threads. O padrão é 10 threads. -c especifica o tamanho do fragmento em M. O padrão é 8M.
Use o script upload-folder.py para fazer upload recursivamente de uma pasta com um caminho local especificado para o bucket. Você pode fazer upload dela diretamente para o bucket ou pode fazer upload para um diretório no bucket. A análise de parâmetros é a seguinte: -H Endereço do host Se você escrever IP Nesse caso, não há necessidade de adicionar http na frente, por exemplo 172.21 . **
-s secret_key do usuário, como JlNVoLfLuJJ******************************
-b O nome do bucket do diretório a ser carregado
-l O diretório de upload é armazenado no local do caminho local. -d Carrega recursivamente a pasta com o caminho local especificado para o local do caminho abaixo do bucket. Se for carregado diretamente no bucket, especifique -d root. para um caminho de diretório abaixo do bucket, o caminho completo será fornecido. Por exemplo, ao fazer upload para o subdiretório test2 no diretório test1 no bucket, especifique -d test1/test2.
Fazer upload usando parâmetros padrão
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar
Use 15 threads para download, fragmentação por padrão e upload para o diretório test1 no bucket
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test1 -o test1 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar -t 15
Use 20 threads para fazer upload, faça upload em fragmentos de 20 milhões e faça upload para o subdiretório /test1/test2/test3 no intervalo
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o /test1/test2/test3 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar -t 20 -c 20
Faça upload do diretório local diretamente para o bucket test12
[wuchen@manager upload]$ python upload-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -l /home/wuchen/wuchen/s3-tool/upload/download -d root
Faça upload do diretório local para o diretório werfefdsa no bucket test12
[wuchen@manager upload]$ python upload-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -l /home/wuchen/wuchen/s3-tool/upload/download -d werfefdsa
Use o pacote jar java-upload-download.jar para fazer upload e download. Os parâmetros da linha de comando são especificados da seguinte forma: (1) Carregar arquivos ou diretórios java -jar iflytek_url_tesy-1.0.1.10023.jar. + nome do objeto (incluindo o caminho do diretório carregado no bucket) + número de threads + tamanho do fragmento + arquivo carregado ou caminho do diretório + string de upload (para distinguir se está fazendo upload ou download)
(2) Baixe arquivos (o diretório de download ainda está sujeito a erros)
Os parâmetros seguintes java -jar s3-tool-java.jar são o nome do bucket + o nome do arquivo a ser baixado (incluindo o caminho completo no bucket) + o número de threads + o tamanho do fragmento + o caminho do arquivo ou diretório para baixar para a string local + download
Exemplos de uso
1.上传文件夹，将文件夹 /lustre2/dlp/esxu/lustre-soft/上传到bucket下面
[root@jobsub-9-073 wuchen]# java -jar s3-tool-java.jar test-bucket test5 6 5242880 /lustre2/dlp/esxu/lustre-soft/ upload
Uploading etc
[########################################]: Completed
thread upload run time： 34s
2.上传文件 将文件/lustre2/dlp/esxu/test1.tar 上传到bucket test-bucket 下面，名称为test1.tar
[root@jobsub-9-073 wuchen]# java -Xmx10m -jar s3-tool-java.jar test-bucket test1.tar 10 5242880 /lustre2/dlp/esxu/test1.tar upload
Uploading etc
[########################################]: Completed
thread upload run time： 17s
3.下载文件 下载bucket下面的test1.tar 到本地重命名为 /lustre2/dlp/esxu/test2.tar
[root@jobsub-9-073 wuchen]# java -Xmx10m -jar s3-tool-java.jar test-bucket test1.tar 10 5242880 /lustre2/dlp/esxu/test2.tar download
Downloading etc
[########################################]: Completed
thread upload run time： 17s
