obstore ดาวน์โหลด - obstore ดาวน์โหลดซอร์สโค้ด

obstore

ซอร์สโค้ดอื่น ๆ

v0.2.0

ดาวน์โหลด

ขัดขวาง

ผสานรวมที่ง่ายและรวดเร็วกับบริการพื้นที่จัดเก็บอ็อบเจ็กต์ เช่น Amazon S3, Google Cloud Storage, Azure Blob Storage และ API ที่สอดคล้องกับ S3 เช่น Cloudflare R2

ซิงค์และ async API
สตรีมมิ่งการดาวน์โหลดด้วยการแบ่งส่วนที่กำหนดค่าได้
list สตรีมมิ่ง โดยไม่จำเป็นต้องแบ่งหน้า
รองรับการวางเงื่อนไข ("ใส่หากไม่มี") รวมถึงแท็กและแอตทริบิวต์ที่กำหนดเอง
รองรับการอัปโหลดแบบหลายส่วนโดยอัตโนมัติสำหรับออบเจ็กต์ไฟล์ขนาดใหญ่
เลือกส่งคืนผลลัพธ์ของรายการเป็นลูกศร ซึ่งเร็วกว่าการทำให้วัตถุ Python dict / list เป็นรูปธรรม
ติดตั้งง่ายโดยไม่ต้องพึ่งพา Python
ไลบรารี Rust ที่สำคัญคือคุณภาพการผลิตและใช้ในระบบการผลิตขนาดใหญ่ เช่น Rust package register crates.io
รองรับการแลกเปลี่ยนข้อมูลแบบสำเนาศูนย์จาก Rust เป็น Python ใน get_range และ get_ranges
API อย่างง่ายพร้อมการตรวจสอบประเภทคงที่
ตัวช่วยสำหรับการสร้างจากตัวแปรสภาพแวดล้อมและวัตถุ boto3.Session

การติดตั้ง

วิธีติดตั้ง obstore โดยใช้ pip:

pip install obstore

Obstore อยู่บน conda-forge และสามารถติดตั้งได้โดยใช้ conda, mamba หรือ pixi วิธีติดตั้ง obstore โดยใช้ conda:

 conda install -c conda-forge obstore

เอกสารประกอบ

เอกสารฉบับเต็มมีอยู่บนเว็บไซต์

การใช้งาน

กำลังสร้างร้านค้า

คลาสสำหรับสร้างร้านค้าจะถูกส่งออกจากโมดูลย่อย obstore.store :

S3Store : กำหนดค่าการเชื่อมต่อกับ Amazon S3
GCSStore : กำหนดค่าการเชื่อมต่อกับ Google Cloud Storage
AzureStore : กำหนดค่าการเชื่อมต่อกับ Microsoft Azure Blob Storage
HTTPStore : กำหนดค่าการเชื่อมต่อกับเซิร์ฟเวอร์ HTTP ทั่วไป
LocalStore : หน่วยเก็บข้อมูลระบบไฟล์โลคัลที่จัดเตรียมอินเทอร์เฟซที่เก็บอ็อบเจ็กต์เดียวกัน
MemoryStore : การใช้งาน ObjectStore ในหน่วยความจำโดยสมบูรณ์

ตัวอย่าง

 import boto3
from obstore . store import S3Store

session = boto3 . Session ()
store = S3Store . from_session ( session , "bucket-name" , config = { "AWS_REGION" : "us-east-1" })

การกำหนดค่า

แต่ละคลาสร้านค้าด้านบนมีการกำหนดค่าของตัวเอง ซึ่งสามารถเข้าถึงได้ผ่านพารามิเตอร์ที่มีชื่อ config ข้อมูลนี้ครอบคลุมอยู่ในเอกสาร และตัวอักษรสตริงอยู่ในคำแนะนำประเภท

การกำหนดค่าไคลเอ็นต์ HTTP เพิ่มเติมมีให้ใช้งานผ่านพารามิเตอร์ที่มีชื่อ client_options

การโต้ตอบกับร้านค้า

วิธีการทั้งหมดสำหรับการโต้ตอบกับร้านค้าจะถูกส่งออกเป็น ฟังก์ชันระดับบนสุด (ไม่ใช่วิธีการบนออบเจ็กต์ store ):

copy : คัดลอกอ็อบเจ็กต์จากพาธหนึ่งไปยังอีกพาธในที่เก็บอ็อบเจ็กต์เดียวกัน
delete : ลบวัตถุในตำแหน่งที่ระบุ
get : ส่งคืนไบต์ที่เก็บไว้ในตำแหน่งที่ระบุ
head : ส่งคืนข้อมูลเมตาสำหรับตำแหน่งที่ระบุ
list : แสดงรายการวัตถุทั้งหมดด้วยคำนำหน้าที่กำหนด
put : บันทึกไบต์ที่ระบุไปยังตำแหน่งที่ระบุ
rename : ย้ายอ็อบเจ็กต์จากพาธหนึ่งไปยังอีกพาธในที่เก็บอ็อบเจ็กต์เดียวกัน

มี API เพิ่มเติมสองสามรายการที่มีประโยชน์สำหรับกรณีการใช้งานเฉพาะ:

get_range : รับช่วงไบต์เฉพาะจากไฟล์
get_ranges : รับช่วงไบต์หลายช่วงจากไฟล์เดียว
list_with_delimiter : แสดงรายการวัตถุภายในไดเร็กทอรีเฉพาะ
sign : สร้าง URL ที่ลงนาม

วิธีการทั้งหมดมีวิธี async ที่เทียบเคียงได้ซึ่งมีชื่อเดียวกันบวกกับส่วนต่อท้าย _async

ตัวอย่าง

 import obstore as obs

store = obs . store . MemoryStore ()

obs . put ( store , "file.txt" , b"hello world!" )
response = obs . get ( store , "file.txt" )
response . meta
# {'path': 'file.txt',
#  'last_modified': datetime.datetime(2024, 10, 21, 16, 19, 45, 102620, tzinfo=datetime.timezone.utc),
#  'size': 12,
#  'e_tag': '0',
#  'version': None}
assert response . bytes () == b"hello world!"

byte_range = obs . get_range ( store , "file.txt" , offset = 0 , length = 5 )
assert byte_range == b"hello"

obs . copy ( store , "file.txt" , "other.txt" )
assert obs . get ( store , "other.txt" ). bytes () == b"hello world!"

วิธีการทั้งหมดนี้ยังมีคู่ async ซึ่งต่อท้ายด้วย _async

 import obstore as obs

store = obs . store . MemoryStore ()

await obs . put_async ( store , "file.txt" , b"hello world!" )
response = await obs . get_async ( store , "file.txt" )
response . meta
# {'path': 'file.txt',
#  'last_modified': datetime.datetime(2024, 10, 21, 16, 20, 36, 477418, tzinfo=datetime.timezone.utc),
#  'size': 12,
#  'e_tag': '0',
#  'version': None}
assert await response . bytes_async () == b"hello world!"

byte_range = await obs . get_range_async ( store , "file.txt" , offset = 0 , length = 5 )
assert byte_range == b"hello"

await obs . copy_async ( store , "file.txt" , "other.txt" )
resp = await obs . get_async ( store , "other.txt" )
assert await resp . bytes_async () == b"hello world!"