HuggingFace下載加速器下載 - HuggingFace下載加速器原始碼下載

下載

國內用戶HuggingFace 高速下載

利用HuggingFace 官方的下載工具huggingface-cli 和hf_transfer 從HuggingFace 鏡像站上對模型和資料集進行高速下載。

此腳本只是huggingface-cli 的一個簡單封裝，本意是方便本人自己的習慣使用，如果有對更高級功能的需求，請參考官方文件自行修改。另外，國內用戶也可以參考HuggingFace 鏡像站上提供的下載方式。

12/17/2023 update:新增--include和--exlucde參數，可以指定下載或忽略某些檔案。

從HuggingFace上取得到所需模型名，例如lmsys/vicuna-7b-v1.5 ：

python hf_download.py --model lmsys/vicuna-7b-v1.5 --save_dir ./hf_hub

如果下載需要授權的模型，例如meta-llama 系列，則需要指定--token參數為你的Huggingface Access Token。

注意事項：

（1）若指定了--save_dir ，下載過程中會將檔案先暫存在transformers 的預設路徑~/.cache/huggingface/hub中，下載完成後自動移動到--save_dir指定目錄下，因此需要在下載前保證預設路徑下有足夠容量。

下載完成後使用transformers 庫載入時需要指定儲存後的路徑，例如：

 from transformers import pipeline
pipe = pipeline ( "text-generation" , model = "./hf_hub/models--lmsys--vicuna-7b-v1.5" )

若不指定--save_dir則會下載到預設路徑~/.cache/huggingface/hub中，這時呼叫模型可以直接使用模型名稱lmsys/vicuna-7b-v1.5 。

（2）若不想在呼叫時使用絕對路徑，又不希望將所有模型保存在預設路徑下，可以透過軟連結的方式進行設置，步驟如下：

先在任意位置建立目錄，作為下載檔案的真實儲存位置，例如：
```
mkdir /data/huggingface_cache
```
若transforms 已經在預設位置~/.cache/huggingface/hub建立了目錄，需要先刪除：
```
rm -r ~ /.cache/huggingface
```

建立軟連結指向真實儲存目錄：

ln -s /data/huggingface_cache ~ /.cache/huggingface

之後執行下載腳本時不要指定save_dir ，會自動下載至第一步建立的目錄下：
```
python hf_download.py --model lmsys/vicuna-7b-v1.5
```

透過這種方式，在呼叫模型時可以直接使用模型名稱，而不需要使用儲存路徑：

from transformers import pipeline
pipe = pipeline( " text-generation " , model= " lmsys/vicuna-7b-v1.5 " )

（3）腳本內建透過pip 自動安裝huggingface-cli 和hf_transfer。如果hf_transfer 版本低於0.1.4 則不會顯示下載進度條，可以手動更新：

 pip install -U hf-transfer -i https://pypi.org/simple

如出現huggingface-cli: error問題，嘗試重新安裝：

 pip install -U huggingface_hub

如出現關於hf_transfer的報錯，可以透過--use_hf_transfer False參數關閉hf_transfer。

和下載模型同理，以zh-plus/tiny-imagenet為例:

python hf_download.py --dataset zh-plus/tiny-imagenet --save_dir ./hf_hub

--model : huggingface上要下載的模型名稱，例如--model lmsys/vicuna-7b-v1.5
--dataset : huggingface上要下載的資料集名稱，例如--dataset zh-plus/tiny-imagenet
--save_dir : 檔案下載後實際的儲存路徑
--token : 下載需要登入的模型（Gated Model），例如meta-llama/Llama-2-7b-hf時，需要指定hugginface的token，格式為hf_****
--use_hf_transfer : 使用hf-transfer 進行加速下載，預設為開啟(True), 若版本低於開啟將不顯示進度列。
--use_mirror : 從鏡像站https://hf-mirror.com/ 下載, 預設開啟(True), 國內用戶建議開啟
--include : 下載指定的文件，例如--include "tokenizer.model tokenizer_config.json"或--include "*.bin下載
--exclude : 不下載指定的文件，與include用法一致，例如--exclude "*.md"