bedrust

床銹菌

在 Amazon Bedrock 上呼叫模型的巧妙方法。用 Rust 編寫，並在 Twitch 上直播。

0.8.2 的新增功能- BETA：您現在可以將聊天匯出到 HTML 檔案。 （它只會將它們儲存為目前目錄中的conversation.html ）

目前支援以下型號：

• 克勞德 3.5 v2 十四行詩

• 克勞德 3.5 俳句

• 克勞德 3.5 十四行詩

• 克勞德V2

• 克勞德 V3 十四行詩

• 克勞德 V3 俳句

• 駱駝2 70B

• LLama3.1型號

• 協調命令

• 侏羅紀 2 超

• 泰坦文字快車 V1

• Mistral AI 模型（Mixtral、Mistral7b 和 Mistral Large 1 和 2）

入門

要開始使用它，您需要做一些事情：

取得本地配置的 AWS 憑證 ☁️

為了能夠與 Amazon Bedrock 交互，您需要在執行Bedrust 的電腦上擁有一組 AWS 憑證。進行此設定的最簡單方法是配置 AWS CLI。確保安裝 AWS CLI，並執行aws configure命令來設定您的憑證。

若要驗證您的 AWS 憑證設定是否正確，您可以執行aws sts get-caller-identity ：

 darko@devbox [~/workspace/projects/bedrust]：aws sts get-caller-identity
{“UserId”：“AIDAXXXXXXXXXXXXXXXXXX5”，“帳戶”：“123456789999999”，“Arn”：“arn：aws：iam :: 123456789999999：user / alan-ford”}

哦，是的，請確保您配置的憑證的使用者有權在 Amazon Bedrock 上呼叫InvokeModel 。

確保您已安裝 Rust 和要求？

嗯，這是有道理的，這是一個Rust應用程式。最簡單的入門方法是使用 rustup。

現在，您需要一些額外的套件才能編譯bedrust 。也就是說，您需要build-essential （或類似的）包組。根據您的作業系統和套件管理器，名稱可能會有所不同。

Ubuntu/Debian：

sudo apt install build-essential

拱門Linux：

sudo pacman -S base-devel

蘋果系統：

xcode-select --install

亞馬遜 Linux/紅帽/CentOS：

yum groupinstall "Development Tools"

本地安裝

要在本地安裝應用程序，只需運行：

cargo install bedrust

這會將編譯的二進位檔案安裝到您的$CARGO_HOME/bin目錄中。如果$PATH設定正確，您現在應該可以運行它。但在你這樣做之前...

讓我們初始化配置。因為bedrust使用設定檔 ( bedrust_config.ron )，所以它（以及一些其他資源）需要儲存在$HOME/.config/bedrust目錄中。現在，您可以手動執行此操作，但我們有一個功能可以為您執行此操作。只需運行：

bedrust --init

系統會要求您選擇預設模型。這將為您建立使用bedrust所需的所有檔案。除非您願意，否則無需修改這些文件。

運行應用程式

最後，要運行該應用程序，只需使用以下命令：

 bedrust -m <MODELNAME> # 將模型名稱替換為支援的模型名稱之一

或者，如果您希望使用預設模型（在--init / 設定檔中定義的模型），只需執行bedrust而不帶任何參數。如果您沒有透過傳遞-m參數來選擇模型，並且您的設定檔中沒有設定預設模型，系統將提示您在運行期間選擇一個模型。

用法

使用 Amazon Bedrock 呼叫和使用 AWS 上的大型語言模型的命令列工具

用途：床鏽[選項]

選項：
      --初始化
  -m, --model-id <MODEL_ID> [可能值：llama270b、llama31405b-instruct、llama3170b-instruct、llama318b-instruct、cohere-command、claude-v2、claude-v21、claude-v3-sonnet、claude -俳句、克勞德-v35-十四行詩、克勞德-v352-十四行詩、克勞德-v35-俳句、jurrasic2-ultra、titan-text-express-v1、mixtral8x7b-instruct、mistral7b -instruct、mistral-large、mistral-large2]
  -c, --caption <標題>
  -s, --source <來源>
  -x
  -h, --help 列印幫助
  -V, --version 列印版本

一旦提示輸入您的問題，然後按ENTER 。 要退出程序，只需在問題提示中鍵入/q即可。

為圖像添加字幕

新功能：由於 Claude V3 的多模態，現在您可以將圖像傳遞到這個大型語言模型。這意味著我們可以做一些有趣的事情，例如為了可訪問性而添加標題圖像。 Bedrust 從0.5.0版本開始提供此功能。

️目前支援此功能的僅有兩個型號是：Claude V3 Sonnet 和 Claude V3 Haiku

要使用字幕，您只需向其傳遞-c參數以及圖像所在的目錄：

 bedrust-m claude-v3-sonnet-c /tmp/測試影像/

這將檢索支援的圖像，並為它們產生標題。最終在當前工作目錄中產生captions.json文件，其中標題連接到圖像路徑。

以下是輸出的範例：

 [
  {“path”：“/tmp/test-images/4slika.jpeg”，“caption”：“電腦CPU風扇冷卻帶有乙太網路和其他連接埠的電路板。”
  },
  {“path”：“/tmp/test-images/kompjuter.jpeg”，“caption”：“帶有各種電子元件和電線的開放電路板，放置在辦公室或車間環境中，架子和設備在背景中可見。
  },
  {“path”：“/tmp/test-images/c64.jpeg”，“caption”：“老式 Commodore 電腦顯示器在螢幕上顯示 Twitch 標誌。”
  }
]

此外，您可以透過編輯該專案根目錄中的bedrust_config.ron檔案來自訂字幕提示和支援的映像檔格式。

️測試版功能 - 原始碼分析

現在您可以將 Bedrust 指向包含一些原始程式碼的目錄。這將允許您在上下文中討論您的程式碼儲存庫，並且它可以為您提供程式碼建議、改進和進一步開發。

注意：由於這是測試版功能，因此它有其限制。例如，它無法處理非常大的程式碼庫。而且由於它將您的整個程式碼庫發送到上下文中，因此可能會花費更多。

 bedrust --source ~/workspace/repos/your_code_repo

️測試版功能 - 聊天儲存、呼叫和匯出

從版本 0.8.2 開始，現在可以儲存對話，稍後再呼叫它們，甚至將它們匯出為漂亮的 HTML 檔案。此功能仍處於大量測試階段，因此預計會出現問題並且功能會發生變化。

其工作原理是，當您輸入/s作為聊天命令時，Bedrust 會將您的對話作為.json檔案保存在~/.config/bedrust/chats中。此填充將包含生成的摘要和對話的標題。要呼叫對話，您只需鍵入/r作為聊天命令，然後您就可以選擇任何已儲存的對話。

要將對話匯出為 HTML，只需執行/h 。這將在目前目錄中建立一個名為conversation.html的檔案。我還沒有實現選擇保存此文件的位置的功能，所以暫時就這樣。 （畢竟還是測試版？）。

設定檔

bedrust附帶了一個重要的設定檔：

• bedrust_config.ron - 儲存與應用程式本身相關的設定參數。

它們需要位於您的$HOME/.config/bedrust/目錄中。如果它們不存在，應用程式將警告您，並且無法運行。您可以透過執行bedrust --init自動建立它們

待辦事項

• 取得使用者輸入的能力

• 能夠選擇型號

• 與模特兒對話

• 將回復逐字流回

• 更好的錯誤處理

• 程式碼測試

• 生成圖像的能力

• 讓它更漂亮

• 更好地處理長糊狀物

• 貝德憑證處理