obstoreダウンロード - obstoreソースコードのダウンロード

obstore

その他のソースコード

v0.2.0

ダウンロード

邪魔する

Amazon S3、Google Cloud Storage、Azure Blob Storage などのオブジェクトストレージサービス、Cloudflare R2 などの S3 準拠 API とのシンプルかつ迅速な統合。

同期および非同期 API。
構成可能なチャンクを使用したストリーミングダウンロード。
ストリーミングlist 。ページネーションは必要ありません。
条件付き put (「存在しない場合は put」)、およびカスタムタグと属性のサポート。
大きなファイルオブジェクトのマルチパートアップロードを内部で自動的にサポートします。
オプションで、リストの結果を Arrow として返します。これは、Python dict / listオブジェクトを実体化するよりも高速です。
Python への依存関係を必要とせずに簡単にインストールできます。
基盤となる Rust ライブラリは実稼働品質であり、Rust パッケージレジストリ crates.io などの大規模な実稼働システムで使用されます。
get_rangeおよびget_rangesでの Rust から Python へのゼロコピーデータ交換のサポート。
静的型チェックを備えたシンプルな API。
環境変数とboto3.Sessionオブジェクトから構築するためのヘルパー

インストール

pip を使用して obstore をインストールするには:

pip install obstore

Obstore は conda-forge 上にあり、conda、mamba、または pixi を使用してインストールできます。 conda を使用して obstore をインストールするには:

 conda install -c conda-forge obstore

ドキュメント

完全なドキュメントは Web サイトで入手できます。

使用法

店舗の建設

ストアを構築するクラスは、 obstore.storeサブモジュールからエクスポートされます。

S3Store : Amazon S3 への接続を設定します。
GCSStore : Google Cloud Storage への接続を構成します。
AzureStore : Microsoft Azure Blob Storage への接続を構成します。
HTTPStore : 汎用 HTTP サーバーへの接続を構成します
LocalStore : 同じオブジェクトストアインターフェイスを提供するローカルファイルシステムストレージ。
MemoryStore : ObjectStore の完全なメモリ内実装。

例

 import boto3
from obstore . store import S3Store

session = boto3 . Session ()
store = S3Store . from_session ( session , "bucket-name" , config = { "AWS_REGION" : "us-east-1" })

構成

上記の各ストアクラスには独自の設定があり、 configという名前のパラメータを通じてアクセスできます。これについてはドキュメントで説明されており、文字列リテラルは型ヒントにあります。

追加の HTTP クライアント構成は、 client_options名前付きパラメーターを介して利用できます。

店舗とのやりとり

ストアと対話するためのすべてのメソッドは、( storeオブジェクトのメソッドではなく)トップレベル関数としてエクスポートされます。

copy : 同じオブジェクトストア内のあるパスから別のパスにオブジェクトをコピーします。
delete : 指定された場所にあるオブジェクトを削除します。
get : 指定された場所に格納されているバイトを返します。
head : 指定された場所のメタデータを返します。
list : 指定されたプレフィックスを持つすべてのオブジェクトをリストします。
put : 指定されたバイトを指定された場所に保存します
rename : オブジェクトを同じオブジェクトストア内のあるパスから別のパスに移動します。

特定の使用例に役立つ追加の API がいくつかあります。

get_range : ファイルから特定のバイト範囲を取得します。
get_ranges : 単一のファイルから複数のバイト範囲を取得します。
list_with_delimiter : 特定のディレクトリ内のオブジェクトをリストします。
sign : 署名付き URL を作成します。

すべてのメソッドには、同じ名前に_asyncサフィックスが付いている同等の非同期メソッドがあります。

例

 import obstore as obs

store = obs . store . MemoryStore ()

obs . put ( store , "file.txt" , b"hello world!" )
response = obs . get ( store , "file.txt" )
response . meta
# {'path': 'file.txt',
#  'last_modified': datetime.datetime(2024, 10, 21, 16, 19, 45, 102620, tzinfo=datetime.timezone.utc),
#  'size': 12,
#  'e_tag': '0',
#  'version': None}
assert response . bytes () == b"hello world!"

byte_range = obs . get_range ( store , "file.txt" , offset = 0 , length = 5 )
assert byte_range == b"hello"

obs . copy ( store , "file.txt" , "other.txt" )
assert obs . get ( store , "other.txt" ). bytes () == b"hello world!"

これらのメソッドにはすべて、 _asyncという接尾辞が付いたasyncメソッドもあります。

 import obstore as obs

store = obs . store . MemoryStore ()

await obs . put_async ( store , "file.txt" , b"hello world!" )
response = await obs . get_async ( store , "file.txt" )
response . meta
# {'path': 'file.txt',
#  'last_modified': datetime.datetime(2024, 10, 21, 16, 20, 36, 477418, tzinfo=datetime.timezone.utc),
#  'size': 12,
#  'e_tag': '0',
#  'version': None}
assert await response . bytes_async () == b"hello world!"

byte_range = await obs . get_range_async ( store , "file.txt" , offset = 0 , length = 5 )
assert byte_range == b"hello"

await obs . copy_async ( store , "file.txt" , "other.txt" )
resp = await obs . get_async ( store , "other.txt" )
assert await resp . bytes_async () == b"hello world!"