一种在 Amazon Bedrock 上调用模型的巧妙方法。用 Rust 编写,并在 Twitch 上直播。
0.8.2 的新增功能- BETA:您现在可以将聊天导出到 HTML 文件。 (它只会将它们保存为当前目录中的
conversation.html
)
目前支持以下型号:
克劳德 3.5 v2 十四行诗
克劳德 3.5 俳句
克劳德 3.5 十四行诗
克劳德V2
克劳德 V3 十四行诗
克劳德 V3 俳句
骆驼2 70B
LLama3.1型号
协调命令
侏罗纪 2 超
泰坦文字快车 V1
Mistral AI 模型(Mixtral、Mistral7b 和 Mistral Large 1 和 2)
要开始使用它,您需要做一些事情:
为了能够与 Amazon Bedrock 交互,您需要在运行Bedrust 的计算机上拥有一组 AWS 凭证。进行此设置的最简单方法是配置 AWS CLI。确保安装 AWS CLI,并运行aws configure
命令来设置您的凭证。
要验证您的 AWS 凭证设置是否正确,您可以运行aws sts get-caller-identity
:
darko@devbox [~/workspace/projects/bedrust]:aws sts get-caller-identity {“UserId”:“AIDAXXXXXXXXXXXXXXXXXX5”,“帐户”:“123456789999999”,“Arn”:“arn:aws:iam :: 123456789999999:user / alan-ford”}
哦,是的,请确保您配置的凭证的用户有权在 Amazon Bedrock 上调用InvokeModel
。
嗯,这是有道理的,这是一个Rust应用程序。最简单的入门方法是使用 rustup。
现在,您需要一些额外的包才能编译bedrust 。也就是说,您需要build-essential
(或类似的)包组。根据您的操作系统和包管理器,名称可能会有所不同。
Ubuntu/Debian:
sudo apt install build-essential
拱门Linux:
sudo pacman -S base-devel
苹果系统:
xcode-select --install
亚马逊 Linux/红帽/CentOS:
yum groupinstall "Development Tools"
要在本地安装应用程序,只需运行:
cargo install bedrust
这会将编译的二进制文件安装到您的$CARGO_HOME/bin
目录中。如果$PATH
设置正确,您现在应该可以运行它。但在你这样做之前...
让我们初始化配置。因为bedrust使用配置文件 ( bedrust_config.ron
),所以它(以及一些其他资源)需要存储在$HOME/.config/bedrust
目录中。现在,您可以手动执行此操作,但我们有一个功能可以为您执行此操作。只需运行:
bedrust --init
系统会要求您选择默认模型。这将为您创建使用bedrust所需的所有文件。除非您愿意,否则无需修改这些文件。
最后,要运行该应用程序,只需使用以下命令:
bedrust -m <MODELNAME> # 将模型名称替换为受支持的模型名称之一
或者,如果您希望使用默认模型(在--init
/ 配置文件中定义的模型),只需运行bedrust
而不带任何参数。如果您没有通过传递-m
参数来选择模型,并且您的配置文件中没有设置默认模型,系统将提示您在运行期间选择一个模型。
使用 Amazon Bedrock 调用和使用 AWS 上的大型语言模型的命令行工具 用途:床锈[选项] 选项: --初始化 -m, --model-id <MODEL_ID> [可能值:llama270b、llama31405b-instruct、llama3170b-instruct、llama318b-instruct、cohere-command、claude-v2、claude-v21、claude-v3-sonnet、claude-v3 -俳句,克劳德-v35-十四行诗,克劳德-v352-十四行诗、克劳德-v35-俳句、jurrasic2-ultra、titan-text-express-v1、mixtral8x7b-instruct、mistral7b-instruct、mistral-large、mistral-large2] -c, --caption <标题> -s, --source <源> -x -h, --help 打印帮助 -V, --version 打印版本
一旦提示输入您的问题,然后按ENTER
。 要退出程序,只需在问题提示中键入/q
即可。
新功能:得益于 Claude V3 的多模态,您现在可以将图像传递到这个大型语言模型。这意味着我们可以做一些有趣的事情,例如为了可访问性而添加标题图像。 Bedrust 从0.5.0
版本开始提供此功能。
️ 目前支持此功能的仅有两个模型是:Claude V3 Sonnet 和 Claude V3 Haiku
要使用字幕,您只需向其传递-c
参数以及图像所在的目录:
bedrust-m claude-v3-sonnet-c /tmp/测试图像/
这将检索支持的图像,并为它们生成标题。最终在当前工作目录中生成captions.json
文件,其中标题连接到图像路径。
以下是输出的示例:
[ {“path”:“/tmp/test-images/4slika.jpeg”,“caption”:“计算机CPU风扇冷却带有以太网和其他端口的电路板。” }, {“path”:“/tmp/test-images/kompjuter.jpeg”,“caption”:“带有各种电子元件和电线的开放电路板,放置在办公室或车间环境中,架子和设备在背景中可见。 ” }, {“path”:“/tmp/test-images/c64.jpeg”,“caption”:“老式 Commodore 计算机显示器在屏幕上显示 Twitch 徽标。” } ]
此外,您可以通过编辑该项目根目录中的bedrust_config.ron
文件来自定义字幕提示和支持的图像文件格式。
您现在可以将 Bedrust 指向包含一些源代码的目录。这将允许您在上下文中讨论您的代码存储库,并且它可以为您提供代码建议、改进和进一步开发。
注意:由于这是一个测试版功能,因此它有其局限性。例如,它无法处理非常大的代码库。而且由于它将您的整个代码库发送到上下文中,因此可能会花费更多。
bedrust --source ~/workspace/repos/your_code_repo
从版本 0.8.2 开始,您现在可以保存对话,稍后调用它们,甚至将它们导出为漂亮的 HTML 文件。此功能仍处于大量测试阶段,因此预计会出现问题并且功能会发生变化。
其工作原理是,当您输入/s
作为聊天命令时,Bedrust 会将您的对话作为.json
文件保存在~/.config/bedrust/chats
中。此填充将包含生成的摘要和对话的标题。要调用对话,您只需键入/r
作为聊天命令,然后您就可以选择任何已保存的对话。
要将对话导出为 HTML,只需运行/h
。这将在当前目录中创建一个名为conversation.html
的文件。我还没有实现选择保存此文件的位置的功能,所以暂时就这样。 (毕竟还是测试版?)。
bedrust附带了一个重要的配置文件:
bedrust_config.ron
- 存储与应用程序本身相关的配置参数。
它们需要位于您的$HOME/.config/bedrust/
目录中。如果它们不存在,应用程序将警告您,并且无法运行。您可以通过运行bedrust --init
自动创建它们
获取用户输入的能力
能够选择型号
与模特对话
将回复逐字流回
更好的错误处理
代码测试
生成图像的能力
让它更漂亮
更好地处理长糊状物
贝德凭证处理