fastdownload

高速ダウンロード

アーカイブを簡単にダウンロード、検証、抽出する

ユーザーが利用できるようにしたいデータセットやその他のアーカイブがあり、ユーザーが常に最新バージョンを保持し、正しくダウンロードされていることを確認したい場合は、 fastdownload役に立ちます。

インストール

ピップの使用:

pip install fastdownload

...またはcondaを使用します:

conda install -c fastai fastdownload

これは何についてですか?

fastdownload使用する必要がある状況は、利用可能にしたいアーカイブを指す 1 つ以上の URL があり、ユーザーがそれらのアーカイブを正しくダウンロードし、最新バージョンを入手し、それが同じくらい簡単であることを確認したい場合です。それらのアーカイブ内の情報に可能な限りアクセスできるようにします。

ユーザーは単一のメソッドFastDownload.getを呼び出して、必要な URL を渡すだけで、その URL がダウンロードされ、選択したディレクトリに抽出されます。抽出されたファイルへのパスが返されます。その URL がすでにダウンロードされている場合は、キャッシュされたアーカイブまたはコンテンツが自動的に使用されます。ただし、アーカイブのサイズまたはハッシュが本来のものと異なる場合は、ユーザーに通知され、新しいバージョンがダウンロードされます。

将来的には、1 つ以上のアーカイブを更新する必要があるかもしれません。これを行うと、 fastdownloadダウンロードしたアーカイブを更新されたファイル サイズとハッシュ情報と照合してチェックすることで、ユーザーが最新バージョンを持っていることを確認します。

たとえば、 fastai fastdownload使用して、ディープ ラーニング用のデータセットへのアクセスを提供します。 fastaiユーザーは、戻り値を使用してファイルにアクセスし、単一のコマンドでファイルをダウンロードして抽出できます。ファイルは、ユーザーのホームディレクトリ内の.fastaiフォルダーの適切なサブディレクトリに自動的に配置されます。データセットが更新されると、次回そのデータセットを使用するときにユーザーに通知され、最新バージョンが自動的にダウンロードされて抽出されます。

使用法: ファイルのダウンロード

ユーザーがアーカイブをダウンロードすると、 fastdownload自動的にアーカイブをディレクトリに保存し、サイズとハッシュが一致するかどうかを確認して、内容を抽出します。ダウンロードと解凍の最小限の使用法は次のとおりです。

 from fastdownload import FastDownloadd = FastDownload()path = d.get('https://...')

この後、 path抽出されたファイルが配置されているパスが含まれます。デフォルトでは、アーカイブは{base}/archiveに保存され、 {base}/dataに抽出されます。 {base}デフォルトは~/.fastdownloadです。ダウンロードしたアーカイブのルートに複数のファイルまたはフォルダーがある場合は、コンテンツのdata内に新しいフォルダーが作成されます。

getの代わりに、 download使用して URL を抽出せずにダウンロードするか、 extract URL をダウンロードせずに抽出します (既にarchiveディレクトリにダウンロードされていると仮定します)。これらのメソッドはすべて、アーカイブがすでに存在する場合でもアーカイブをダウンロード/抽出するforceパラメータを受け入れます。

base 、 archive 、およびdataパスの一部またはすべてを変更するには、これらのパスをFastDownloadに渡します。

 d = FastDownload(base='~/.mypath'、archive='ダウンロード済み'、データ='抽出済み')

キャッシュされたアーカイブ ファイルや抽出されたコンテンツは、 rmを使用して削除できます。

 d.rm('https://...')

使用法: アーカイブをダウンロードできるようにする

fastdownloadアーカイブのファイル サイズとハッシュを含むファイルdownload_checks.py Python モジュールに追加します。ファイルは、選択したモジュールと同じディレクトリにあります。例:

 d = FastDownload(module=fastai.some_module)

次に、 update使用して URL のサイズとハッシュを作成または更新します。

 d.update('https://...')

fastai.some_moduleと同じディレクトリにdownload_checks.pyというファイルがあることがわかります。このファイルには、このファイルの URL、サイズ、ハッシュを含む Python 辞書が含まれています。以前にこのファイルをarchiveパスにダウンロードしたことがある場合は、新しいコピーをダウンロードする代わりに、そのファイルが使用されます。アーカイブに新しいコピーがある場合でも、最初にget(force=True)を使用して新しいコピーをダウンロードします。

設定ファイル

baseディレクトリにconfig.iniというファイルがある場合、キーarchiveとdata FastDownloadのデフォルト値として使用されます。ファイルは configparser 形式である必要があります。 config.iniサンプルを次に示します。

[DEFAULT]         
archive = downloaded
data = extracted

ini ファイルが存在しない場合は、 FastDownloadに渡した詳細を使用して、ini ファイルが自動的に作成されます。

必要なキーと値のペアを構成ファイルに追加できます。 FastDownload.getを呼び出すときに、 extract_key渡して、抽出先の場所を選択するためにdata以外のキーを使用します。