-H diikuti dengan nama host. Jika itu adalah IP, Anda perlu menambahkan http di depan, misalnya http://172.21 . ************ -s diikuti dengan Tambahkan secret_key seperti JlNVoLfLuJJ***************************** *
(1) Hapus satu keranjang. Skrip yang sesuai dengan fungsi ini adalah thread-delete-bucket.py. Saat menggunakan, tentukan parameter -b diikuti dengan nama keranjang.
[wuchen@manager delete]$ python thread-delete-bucket.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test7
['test1', 'test2', 'test7']
[{'Key': u'osd.84.log'}] 1
(2) Hapus daftar ember. Skrip yang sesuai dengan fungsi ini adalah thread-delete-buckets.py. Sebelum digunakan, Anda perlu menulis satu nama ember untuk setiap baris daftar ember ke dalam file konfigurasi fungsinya adalah thread-delete-buckets.py, saat menggunakan, tentukan parameter -f diikuti dengan jalur ke file konfigurasi (termasuk nama file konfigurasi)
[wuchen@manager delete]$ cat bucket.txt
test10
test3
test4
test5
test6
test7
test8
test9
[wuchen@manager delete]$ python thread-delete-buckets.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/delete/bucket.txt
deleting test10
[{'Key': u'osd.84.log'}] 1
deleting test3
[{'Key': u'osd.84.log'}] 1
deleting test4
[{'Key': u'osd.84.log'}] 1
deleting test5
[{'Key': u'osd.84.log'}] 1
deleting test6
[{'Key': u'osd.84.log'}] 1
deleting test7
[{'Key': u'osd.84.log'}] 1
deleting test8
[{'Key': u'osd.84.log'}] 1
deleting test9
[{'Key': u'osd.84.log'}] 1
(3) Hapus semua keranjang pengguna. Skrip yang sesuai dengan fungsi ini adalah thread-delete-user.py. Hanya memerlukan tiga parameter dasar untuk menghapus semua keranjang pengguna.
[wuchen@manager delete]$ python thread-delete-user.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ***********************
Gunakan skrip thread-download.py untuk mengunduh file besar (lebih besar dari 8M) dalam multi-thread terfragmentasi. Jika Anda ingin mengunduh file kecil kurang dari 8M, Anda hanya perlu menentukan parameter -t sebagai 0.
(1) Parameter yang diperlukan -H adalah alamat host. Jika Anda menulis IP, Anda tidak perlu menambahkan http di depan, misalnya 172.21 . ****************
-s rahasia_kunci pengguna seperti JlNVoLfLuJJ******************************
-b Nama bucket tempat objek akan diunduh, seperti test12 -o Nama objek yang akan diunduh, seperti python.tar.gz Jika berisi direktori folder multi-layer, Anda perlu menulis jalur lengkap -f Objek unduhan ditulis ke jalur file lokal, misalnya /home/wuchen/wuchen/download/download-file
(2) Parameter opsional -t menentukan jumlah thread.
-c menentukan ukuran fragmen dalam M, defaultnya adalah 8M
Gunakan skrip download-folder.py untuk mengunduh folder di bucket. Fungsi ini akan mengunduh semua subdirektori di direktori secara rekursif.
Analisis parameternya sebagai berikut: -H Jika alamat host ditulis sebagai IP, tidak perlu menambahkan http di depan, misalnya 172.21 . ***************
-s rahasia_kunci pengguna seperti JlNVoLfLuJJ******************************
-b Nama bucket tempat direktori yang akan diunduh berada
-f Data direktori unduhan disimpan di lokasi jalur lokal -p Direktori s3 yang akan diunduh. Jika ini adalah direktori multi-level, jalur lengkap perlu diberikan. Misalnya, ada direktori test1 di bawah ember , dan test1 memiliki direktori test2. Jika Anda ingin mengunduh test1, maka - Tambahkan test1 setelah p, untuk mengunduh test2, tambahkan test1/test2 setelah -p.
Unduh menggunakan parameter default
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file
Unduh menggunakan 15 thread, sharding secara default
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 20
Gunakan 20 utas untuk mengunduh, dan fragmentasinya adalah 20 juta
[wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 20 -c 20
Unduh satu file kecil
wuchen@manager download]$ python thread-download.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o python.tar.gz -f /home/wuchen/wuchen/download/download-file -t 0
[wuchen@manager download]$ python download-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/s3-tool/download/result22 -p werfefdsa/dffds -b test12
Setelah perintah ini dijalankan, direktori result22 lokal akan mengunduh werfefdsa/dffds dengan nama bucket test12.
[wuchen@manager download]$ python download-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -f /home/wuchen/wuchen/s3-tool/download/result22 -p werfefdsa -b test12
Setelah perintah dijalankan, direktori result22 lokal akan mengunduh werfefdsa/ dengan nama bucket test12.
Gunakan skrip thread-upload.py untuk mengunggah file besar (lebih besar dari 8 juta) di beberapa utas. Secara default, irisan 8 juta akan diunggah dalam 10 utas. Jika Anda ingin mengunggah file kecil yang lebih kecil dari 8 juta, Anda hanya perlu menentukan parameter -t sebagai 0.
(1) Parameter yang diperlukan -H adalah alamat host. Jika Anda menulis IP, Anda tidak perlu menambahkan http di depan, misalnya 172.21 . ****************
-s rahasia_kunci pengguna seperti JlNVoLfLuJJ******************************
-b Nama bucket tempat objek akan diupload, seperti test12 -o Jalur objek yang akan diupload. Jika Anda menguploadnya langsung ke bucket, Anda tidak perlu menulis parameter -o If Anda mengunggahnya ke folder di bawah keranjang, Anda perlu menentukan -o sebagai jalur folder -f untuk mengunggah. Jalur file lokal dari objek, seperti /home/wuchen/wuchen/download/download-file
(2) Parameter opsional -t menentukan jumlah thread. Defaultnya adalah 10 thread. Parameter ini dapat dihilangkan. -c menentukan ukuran fragmen dalam M. Defaultnya adalah 8M.
Gunakan skrip upload-folder.py untuk mengunggah folder dengan jalur lokal tertentu ke keranjang secara rekursif. Anda dapat mengunggahnya langsung ke keranjang, atau Anda dapat mengunggahnya ke direktori di bawah keranjang. -H Alamat host Jika menulis IP Jika demikian, tidak perlu menambahkan http di depan, misalnya 172.21 . -access_key pengguna, misalnya YT***************. **
-s rahasia_kunci pengguna seperti JlNVoLfLuJJ******************************
-b Nama keranjang dari direktori yang akan diunggah
-l Direktori unggahan disimpan di lokasi jalur lokal. -d Mengunggah folder dengan jalur lokal yang ditentukan secara rekursif ke lokasi jalur di bawah bucket. Jika diunggah langsung ke bucket, tentukan -d root ke jalur direktori di bawah bucket, , maka jalur lengkap diberikan. Misalnya, saat mengunggah ke subdirektori test2 di bawah direktori test1 di bawah bucket, tentukan -d test1/test2
Unggah menggunakan parameter default
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar
Gunakan 15 thread untuk mendownload, melakukan sharding secara default, dan mengupload ke direktori test1 di bawah bucket
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test1 -o test1 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar -t 15
Gunakan 20 rangkaian pesan untuk mengunggah, mengunggah dalam 20 juta fragmen, dan mengunggah ke subdirektori /test1/test2/test3 di bawah keranjang
python thread-upload.py -H 172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -o /test1/test2/test3 -f /home/wuchen/wuchen/upload/iflyek_url_tesy-1.0.1.100247.jar -t 20 -c 20
Unggah direktori lokal langsung ke bucket test12
[wuchen@manager upload]$ python upload-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -l /home/wuchen/wuchen/s3-tool/upload/download -d root
Unggah direktori lokal ke direktori werfefdsa di bawah bucket test12
[wuchen@manager upload]$ python upload-folder.py -H http://172.21.*.* -a YT***************** -s JlNVoLfLuJJ*********************** -b test12 -l /home/wuchen/wuchen/s3-tool/upload/download -d werfefdsa
Gunakan paket jar java-upload-download.jar untuk mengunggah dan mengunduh. Parameter baris perintah ditentukan sebagai berikut: (1) Unggah file atau direktori java -jar iflytek_url_tesy-1.0.1.10023.jar + nama objek (termasuk jalur Direktori yang diunggah ke keranjang) + jumlah thread + ukuran fragmen + jalur file atau direktori yang diunggah + string unggahan (untuk membedakan apakah sedang diunggah atau diunduh)
(2) Download file (direktori download masih rawan error)
Parameter berikut java -jar s3-tool-java.jar adalah nama bucket + nama file yang akan diunduh (termasuk path lengkap di bawah bucket) + jumlah thread + ukuran fragmen + jalur file atau direktori untuk mengunduh ke string + unduhan lokal
Contoh penggunaan
1.上传文件夹，将文件夹 /lustre2/dlp/esxu/lustre-soft/上传到bucket下面
[root@jobsub-9-073 wuchen]# java -jar s3-tool-java.jar test-bucket test5 6 5242880 /lustre2/dlp/esxu/lustre-soft/ upload
Uploading etc
[########################################]: Completed
thread upload run time： 34s
2.上传文件 将文件/lustre2/dlp/esxu/test1.tar 上传到bucket test-bucket 下面，名称为test1.tar
[root@jobsub-9-073 wuchen]# java -Xmx10m -jar s3-tool-java.jar test-bucket test1.tar 10 5242880 /lustre2/dlp/esxu/test1.tar upload
Uploading etc
[########################################]: Completed
thread upload run time： 17s
3.下载文件 下载bucket下面的test1.tar 到本地重命名为 /lustre2/dlp/esxu/test2.tar
[root@jobsub-9-073 wuchen]# java -Xmx10m -jar s3-tool-java.jar test-bucket test1.tar 10 5242880 /lustre2/dlp/esxu/test2.tar download
Downloading etc
[########################################]: Completed
thread upload run time： 17s
