grazier下載 - grazier原始碼下載

grazier

其他源碼

1.0.0

下載

Grazier：透過統一的 API 輕鬆呼叫大型語言模型

Grazier 是一個 Python 函式庫，用於透過統一的 API 輕鬆呼叫大型語言模型。

支援的大型型號

來自 OpenAI：

GPT-4（基礎，32K）（聊天和完成引擎）
GPT-3.5 (ChatGPT)（聊天和完成引擎）
GPT-3（達文西（v2，v3），Ada，巴貝奇，居里）（完成引擎）

來自人類：

Claude 2（基礎）（聊天和完成引擎）
Claude（基礎，100K）（聊天和完成引擎）
Claude Instant（基礎，100K）（聊天和完成引擎）

來自Google/GCP：

PaLM（聊天完成引擎）

來自擁抱臉

GPT-2（基本型、中型、大型、XL）（完井發動機）
GPT-Neo（125M、1.3B、2.7B）（完井引擎）
GPT-J (6B)（完井發動機）
獵鷹 (7B、40B、rw-1B、rw-7B)（完井引擎）
Dolly（v1 - 6B、v2 - 3B、7B、12B）（聊天和完成引擎）
MPT（指導 - 7B、30B）（聊天和完成引擎）

來自 Facebook（透過 Huggingface）

Llama (7B, 13B, 30B, 65B)（完井發動機）
Llama 2 (7B, 13B, 70B)（完井發動機）
OPT（125M、350M、1.3B、2.7B、6.7B、13B、30B、66B）（完井發動機）

來自史丹佛大學（來自 Huggingface）

Alpaca (7B)（聊天和完成引擎）

來自柏克萊（來自 Huggingface）

Koala（7B、13B_v1、13B_v2）（聊天和完成引擎）
Vicuna (7B, 13B)（聊天與完成引擎）

來自 StabilityAI（透過 Huggingface）

StableLM（7B、13B）（聊天與完成引擎）

來自 AllenAI（來自 Huggingface）

Tulu（7B、13B、30B、65B）（聊天和完成引擎）
Open Instruct (ShareGPT) (7B、13B、30B、65B)（聊天和完成引擎）

來自AI21

侏羅紀 2（輕型、中型、超）（完成引擎）

圖像/語言模型：

Blip2（2.7B、6.7B）（圖片+文字引擎）
Open Flamingo（3B、4B、9B）（圖片+文字引擎）

安裝

Grazier 可以使用 pip 輕鬆安裝：

pip install grazier

每個法學碩士可能需要額外的設置，您可以在下面的引擎設置部分找到這些設置。

用法

對於完成引擎，它很簡單：

 import grazier

grazier . list_models ()
[ 'gptj-6B' , 'gpt2' , 'gpt2-med' , 'gpt2-lg' , 'gpt2-xl' , 'distilgpt2' , 'gptneo-125M' , 'gptneo-1.3B' , 'gptneo-2.7B' , 'stablelm-3B' , 'stablelm-7B' , 'opt-125M' , 'opt-350M' , 'opt-1.3b' , 'opt-2.7b' , 'opt-6.7b' , 'opt-13b' , 'opt-30b' , 'opt-66b' , 'llama-7B' , 'llama-13B' , 'llama-30B' , 'llama-65B' , 'gpt3-davinci3' , 'gpt3-davinci2' , 'gpt3-curie' , 'gpt3-babbage' , 'gpt3-ada' , 'palm' ]
gpt2 = grazier . get ( "gpt2" )
completion = gpt2 ( "I enjoy walking with my cute dog, but sometimes he gets scared and" )
print ( completion )

對於聊天引擎，您需要做的就是添加type="chat"參數：

 from grazier import Conversation , Speaker , get , list_models

conversation = Conversation ()
conversation . add_turn ( "You are a funny person." , speaker = Speaker . SYSTEM )
conversation . add_turn ( "Hi, how are you?" , speaker = Speaker . USER )
conversation . add_turn ( "I am doing well, how about you?" , speaker = Speaker . AI )
conversation . add_turn ( "What are you planning to do today?" , speaker = Speaker . USER )

list_models ( type = "chat" )
[ 'claude' , 'claude-100k' , 'claude-instant' , 'claude-instant-100k' , 'bard' , 'koala-7b' , 'koala-13b-v1' , 'koala-13b-v2' , 'vicuna-7b' , 'vicuna-13b' , 'alpaca-13b' , 'chat-gpt' , 'gpt4' , 'gpt4-32k' , 'stablelm-3b' , 'stablelm-7b' , 'palm' ]
gpt4 = get ( "gpt4" , type = "chat" )
next_turn = gpt4 ( conversation )
print ( next_turn )

對於視覺增強（圖像）引擎，請使用type="image"

 import grazier
from PIL import Image

grazier . list_models ( type = "image" )
[ 'blip2-opt-2.7b' , 'blip2-opt-6.7b' , 'blip2-opt-2.7b-coco' , 'blip2-opt-6.7b-coco' , 'blip2-flan-t5-xl' , 'blip2-flan-t5-xxl' , 'blip2-flan-t5-xl-coco' , 'openflamingo-3b-vitl-mpt1b' , 'openflamingo-3b-vitl-mpt1b-dolly' , 'openflamingo-9b-vitl-mpt7b' , 'openflamingo-4b-vitl-rpj3b' ]
blip2 = grazier . get ( "blip2-opt-2.7b" , type = "image" )

image = Image . open ( 'test_data/dog.jpg' )
completion = blip2 ( image , "A photo of" )

print ( completion )

單獨的引擎設置

每個引擎可能需要傳入一些特定的詳細資訊。這些細節通常是透過環境變數來設定的。

開放人工智慧引擎

對於 OpenAI 引擎，您需要設定OPENAI_API_KEY和OPENAI_API_ORG環境變數。您可以在 OpenAI 儀表板上找到您的 API 金鑰和組織 ID。您可以在 shell 或專案根目錄下的.env檔案中設定這些環境變數。例如，在.env檔案中，您將具有：

OPENAI_API_KEY= < your key >
OPENAI_API_ORG= < your org id >

或在命令列上：

 export OPENAI_API_KEY= < your key >
export OPENAI_API_ORG= < your org id >

人為引擎

對於 Anthropic 引擎，您需要設定ANTHROPIC_API_KEY環境變數。您可以在 Anthropic 儀表板上找到您的 API 金鑰。您可以在 shell 或專案根目錄下的.env檔案中設定此環境變數。例如，在.env檔案中，您將具有：

ANTHROPIC_API_KEY= < your key >

或在命令列上：

 export ANTHROPIC_API_KEY= < your key >

頂點引擎 (PaLM)

對於 Google 引擎，我們使用 Vertex 雲端 API，這需要 Google Cloud Platform (GCP) 專案。您可以在 GCP 控制台建立 GCP 專案。您還需要為您的專案啟用 Vertex AI API、設定服務帳戶並下載帳戶 JSON 憑證。您可以在此處找到有關本教學步驟 1 至 6 的說明。最後，您需要將GOOGLE_APPLICATION_CREDENTIALS環境變數設定為 JSON 檔案的路徑。您可以在 shell 或專案根目錄下的.env檔案中設定此環境變數。例如，在.env檔案中，您將具有：

GOOGLE_APPLICATION_CREDENTIALS= < path to your JSON file >

或在命令列上：

 export GOOGLE_APPLICATION_CREDENTIALS= < path to your JSON file >

詩人

對於 Bard 引擎，您需要取得 Bard __Secure-1PSID 和 __Secure-1PSIDTS 令牌。首先造訪 https://bard.google.com/ 取得此變數的值，然後登錄，按 F12 開啟控制台，然後前往「應用程式」標籤，然後前往“Cookies”，然後複製該變數的值“__Secure-1PSID”和“__Secure-1PSIDTS”cookie。然後您可以設定環境變數：

BARD__Secure_1PSID= < your session id >
BARD__Secure_1PSIDTS= < your session id timestamp >

擁抱引擎

大多數 Huggingface 引擎不需要額外的設置，但是，一些較大的型號需要 GPU 才能以任何效率運行（有些需要多個具有大量記憶體的 GPU）。您可以在 Huggingface 模型中心找到有關每個模型要求的更多詳細資訊。

Llama、Alpaca、Koala、Vicuna 和 AllenAI 引擎

對於這些引擎，您需要自己獲取權重並進行後處理（由於 Facebook 的許可）。您可以在每個模型頁面上找到執行此操作的說明：

駱馬：https://huggingface.co/docs/transformers/main/model_doc/llama
羊駝毛：https://github.com/tatsu-lab/stanford_alpaca#recovering-alpaca-weights
無尾熊：https://github.com/young-geng/EasyLM/blob/main/docs/koala.md
駱駝毛：https://github.com/lm-sys/FastChat#vicuna-weights
AllenAI：https://huggingface.co/allenai/tulu-65b

下載並處理權重後，您可以將以下環境變數設定為包含每個變體的資料夾的根目錄（格式為{root_dir}/{model-prefix}/weights.bin ，根目錄為root_dir ，模型前綴是模型的名稱，例如tulu-65b ）：

LLAMA_WEIGHTS_ROOT= < path to the llama weights >
ALPACA_WEIGHTS_ROOT= < path to the alpaca weights >
KOALA_WEIGHTS_ROOT= < path to the koala weights >
VICUNA_WEIGHTS_ROOT= < path to the vicuna weights >
ALLENAI_WEIGHTS_ROOT= < path to the allenai weights >

AI21 模型（侏羅紀）

對於 AI21 型號，您需要設定AI21_API_KEY環境變數。您可以在 AI21 Studio 儀表板上找到您的 API 金鑰。您可以在 shell 或專案根目錄下的.env檔案中設定此環境變數。例如，在.env檔案中，您將具有：

AI21_API_KEY= < your key >

或在命令列上：

 export AI21_API_KEY= < your key >

引文

如果您在工作中使用grazier，請引用：

 @misc{grazier,
  author = {David Chan},
  title = {grazier: Easily call Large Language Models from a unified API},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{
    https://github.com/DavidMChan/grazier
  }}
}