verbaflow
1.0.0
歡迎使用 VerbaFlow，這是一種用 Go 編寫的神經架構，專為語言建模任務而設計。該模型基於強大的 RWKV RNN 構建，針對標準 CPU 上的高效性能進行了優化，即使在消費性硬體上也能平穩運行相對較大的語言模型。
憑藉在 Pile 資料集上利用預訓練模型的能力，VerbaFlow 在預測下一個標記以及文本摘要、文本分類、問答和一般對話等其他任務中的表現與類似 GPT 的 Transformer 模型相當。
要求：
克隆此存儲庫或獲取庫：
go get -u github.com/nlpodyssey/verbaflow要開始使用 VerbaFlow，我們建議使用 Hugging Face Hub 上提供的預訓練模型RWKV-4-Pile-1B5-Instruct 。該模型已使用 Pile 資料集進行了微調，並且專門設計用於理解和執行人類指令，就像在 xP3 資料集上進行的微調一樣。可以在此處存取原始RWKV-4-Pile-1B5-Instruct-test2-20230209模型（該模型源自該模型）。
該庫經過最佳化，可以在 x86-64 CPU 上運作。如果您想在不同的架構上運行它，可以使用
GOARCH=amd64環境變數。
以下命令可用於建置和使用 VerbaFlow：
go build ./cmd/verbaflow此命令會建立 go 程式並建立一個名為verbaflow的可執行檔。
./verbaflow -model-dir models/nlpodyssey/RWKV-4-Pile-1B5-Instruct download此命令下載指定的模型（在本例中為“models”目錄下的“nlpodyssey/RWKV-4-Pile-1B5-Instruct”）
./verbaflow -model-dir models/nlpodyssey/RWKV-4-Pile-1B5-Instruct convert該命令將下載的模型轉換為程式使用的格式。
./verbaflow -log-level trace -model-dir models/nlpodyssey/RWKV-4-Pile-1B5-Instruct inference --address :50051此指令在指定模型上執行 gRPC 推理端點。
在執行上述命令之前，請確保安裝了必要的依賴項。
LLM 最有趣的功能之一是能夠根據提示做出反應。
使用推理中的指令執行verbaflow gRPC 端點，然後執行prompttester範例，輸入以下提示：
迅速的：
echo 'nQ: Briefly: The Universe is expanding, its constituent galaxies flying apart like pieces of cosmic shrapnel in the aftermath of the Big Bang. Which section of a newspaper would this article likely appear in?nnA:' | go run ./examples/prompttester --dconfig ./examples/prompttester/config.yaml預期輸出：
Science and Technology迅速的：
echo 'nQ:Translate the following text from French to English Je suis le père le plus heureux du mondennA:' | go run ./examples/prompttester --dconfig ./examples/prompttester/config.yaml預期輸出：
I am the happiest father in the world. 主要依賴項列表如下：
感謝彭博創建了 RWKV RNN 以及所有相關資源，包括預訓練模型！
「VerbaFlow」結合了「verba」（拉丁語中單字的意思）和「flow”，它透過喚起流暢和連續的單字流的想法來暗示循環神經網路的特徵，而這透過網路的在生成新單字時保持內部狀態並「記住」以前的單字和上下文的能力。
