KwaiAgents

其他源码

1.0.0

下载

English ｜中文 | 日本语

数据集 |基准| ？型号| ？纸

KwaiAgents是快手科技KwaiKEG开源的Agent相关系列作品。开源内容包括：

KAgentSys-Lite ：论文中 KAgentSys 的精简版。 KAgentSys-Lite在保留原有系统的部分功能的同时，与全功能的系统相比也存在一定的差异和局限性，例如：（1）工具集更加有限； (2)缺乏记忆机制； (3) 性能能力略有下降； (4) 不同的代码库，因为它是从 BabyAGI 和 Auto-GPT 等开源项目发展而来的。尽管进行了这些修改，KAgentSys-Lite 仍然提供与众多可用开源 Agent 系统相当的性能。
KAgentLMs ：一系列具有规划、反射、工具使用等代理能力的大型语言模型，通过论文中提出的元代理调优获得。
KAgentInstruct ：论文中提出的超过 200k 条与 Agent 相关的指令微调数据（部分人工编辑）。
KAgentBench ：超过3000个人工编辑的自动化评估数据，用于测试Agent能力，评估维度包括规划、工具使用、反思、总结和分析。

类型	型号	训练数据	基准数据
奎文	Qwen-7B-MAT Qwen-14B-MAT Qwen-7B-MAT-cpp Qwen1.5-14B-MAT	KA代理指令	KA代理工作台
百川	百川2-13B-MAT	KA代理指令	KA代理工作台

消息

2024年4月19日 - Qwen1.5-14B-MAT模型[链接]发布。
2024.4.9 - 基准结果已刷新。
2024年1月29日 - Qwen-14B-MAT模型[链接]发布。
2023.1.5 - 训练数据[链接]发布。
2023.12.27 - KwaiAgents 被多个网站举报。 [机器之心][Medium][InfoQ]等
2023.12.13 - 基准测试和评估代码[链接]发布。
2023.12.08 - 技术报告[链接]发布。
2023.11.17 - 初始版本。

评估

基准测试结果

	规模	规划	工具使用	反射	结论	轮廓	总分
GPT-3.5-涡轮	-	18.55	26.26	8.06	37.26	35.42	25.63
骆驼2	13B	0.15	0.44	0.14	16.60	17.73	5.30
聊天GLM3	6B	7.87	11.84	7.52	30.01	30.14	15.88
奎文	7B	13.34	18:00	7.91	36.24	34.99	21.17
百川2	13B	6.70	16.10	6.76	24.97	19.08	14.89
工具羊驼	7B	0.20	4.83	1.06	15.62	10.66	6.04
代理LM	13B	0.17	0.15	0.05	16.30	15.22	4.88
Qwen-MAT	7B	31.64	43.30	33.34	44.85	44.78	39.85
百川2-MAT	13B	37.27	52.97	37:00	48.01	41.83	45.34
Qwen-MAT	14B	43.17	63.78	32.14	45.47	45.22	49.94
Qwen1.5-MAT	14B	42.42	64.62	30.58	46.51	45.95	50.18

人类评价。每个结果单元格显示通过率（%）和平均分（括号内）

	规模	无代理	反应	自动GPT	KAgent系统
GPT-4	-	57.21% (3.42)	68.66% (3.88)	79.60% (4.27)	83.58% (4.47)
GPT-3.5-涡轮	-	47.26% (3.08)	54.23% (3.33)	61.74% (3.53)	64.18% (3.69)
奎文	7B	52.74% (3.23)	51.74% (3.20)	50.25% (3.11)	54.23% (3.27)
百川2	13B	54.23% (3.31)	55.72% (3.36)	57.21% (3.37)	58.71% (3.54)
Qwen-MAT	7B	-	58.71% (3.53)	65.67% (3.77)	67.66% (3.87)
百川2-MAT	13B	-	61.19% (3.60)	66.67% (3.86)	74.13% (4.11)

用户指南

预构建环境

首先安装 miniconda 构建环境。然后先创建构建环境：

conda create -n kagent python=3.10
conda activate kagent
pip install -r requirements.txt

使用 AgentLM

由 vLLM (GPU) 提供服务

我们建议使用 vLLM 和 FastChat 来部署模型推理服务。首先需要安装相应的包（详细使用方法请参考两个项目的文档）：

对于Qwen-7B-MAT，使用以下命令安装相应的软件包

pip install vllm
pip install " fschat[model_worker,webui] "

对于Baichuan-13B-MAT，使用以下命令安装相应的包

pip install " fschat[model_worker,webui] "
pip install vllm==0.2.0
pip install transformers==4.33.2

要部署 KAgentLM，您首先需要在一个终端中启动控制器。

python -m fastchat.serve.controller

其次，您应该在另一个终端使用以下命令进行单GPU推理服务部署：

python -m fastchat.serve.vllm_worker --model-path $model_path --trust-remote-code

其中$model_path是下载的模型的本地路径。如果GPU不支持Bfloat16，可以在命令行中添加--dtype half 。

第三，在第三个终端中启动 REST API 服务器。

python -m fastchat.serve.openai_api_server --host localhost --port 8888

最后，您可以使用curl命令来调用模型，与OpenAI调用格式相同。这是一个例子：

curl http://localhost:8888/v1/chat/completions 
-H " Content-Type: application/json " 
-d ' {"model": "kagentlms_qwen_7b_mat", "messages": [{"role": "user", "content": "Who is Andy Lau"}]} '

在这里，将kagentlms_qwen_7b_mat更改为您部署的模型。

由Lamma.cpp (CPU) 提供服务

llama-cpp-python 提供了一个 Web 服务器，旨在充当 OpenAI API 的直接替代品。这允许您将 llama.cpp 兼容模型与任何 OpenAI 兼容客户端（语言库、服务等）一起使用。转换后的模型可以在 kwaikeg/kagentlms_qwen_7b_mat_gguf 中找到。

要安装服务器包并开始：

pip install " llama-cpp-python[server] "
python3 -m llama_cpp.server --model kagentlms_qwen_7b_mat_gguf/ggml-model-q4_0.gguf --chat_format chatml --port 8888

最后，您可以使用curl命令来调用模型，与OpenAI调用格式相同。这是一个例子：

curl http://localhost:8888/v1/chat/completions 
-H " Content-Type: application/json " 
-d ' {"messages": [{"role": "user", "content": "Who is Andy Lau"}]} '

使用 KAgentSys-Lite

下载并安装KwaiAgents，推荐Python>=3.10

git clone [email protected]:KwaiKEG/KwaiAgents.git
cd KwaiAgents
python setup.py develop

ChatGPT 使用声明一些环境变量

 export OPENAI_API_KEY=sk-xxxxx
export WEATHER_API_KEY=xxxxxx

WEATHER_API_KEY不是强制性的，但在询问天气相关问题时需要配置它。您可以从该网站获取API密钥（本地模型使用相同）。

kagentsys --query= " Who is Andy Lau's wife? " --llm_name= " gpt-3.5-turbo " --lang= " en "

本地模型使用

要使用本地模型，需要按照上一章部署相应的模型服务

kagentsys --query= " Who is Andy Lau's wife? " --llm_name= " kagentlms_qwen_7b_mat " 
--use_local_llm --local_llm_host= " localhost " --local_llm_port=8888 --lang= " en "

完整命令参数：

 options:
  -h, --help            show this help message and exit
  --id ID               ID of this conversation
  --query QUERY         User query
  --history HISTORY     History of conversation
  --llm_name LLM_NAME   the name of llm
  --use_local_llm       Whether to use local llm
  --local_llm_host LOCAL_LLM_HOST
                        The host of local llm service
  --local_llm_port LOCAL_LLM_PORT
                        The port of local llm service
  --tool_names TOOL_NAMES
                        the name of llm
  --max_iter_num MAX_ITER_NUM
                        the number of iteration of agents
  --agent_name AGENT_NAME
                        The agent name
  --agent_bio AGENT_BIO
                        The agent bio, a short description
  --agent_instructions AGENT_INSTRUCTIONS
                        The instructions of how agent thinking, acting, or talking
  --external_knowledge EXTERNAL_KNOWLEDGE
                        The link of external knowledge
  --lang {en,zh}        The language of the overall system
  --max_tokens_num      Maximum length of model input

笔记：

如果需要使用browse_website工具，则需要在服务器上配置chromedriver。
如果多次搜索失败，可能是因为网络无法访问duckduckgo_search。您可以通过设置http_proxy来解决此问题。

使用自定义工具

自定义工具的使用可以在examples/custom_tool_example.py中找到

使用KAgentBench评估

我们只需要两行来评估代理的能力，例如：

 cd benchmark
python infer_qwen.py qwen_benchmark_res.jsonl
python benchmark_eval.py ./benchmark_eval.jsonl ./qwen_benchmark_res.jsonl

上面的命令将给出类似的结果

 plan : 31.64, tooluse : 43.30, reflextion : 33.34, conclusion : 44.85, profile : 44.78, overall : 39.85

请参阅基准/了解更多详细信息。

引文

 @article{pan2023kwaiagents,
  author    = {Haojie Pan and
               Zepeng Zhai and
               Hao Yuan and
               Yaojia Lv and
               Ruiji Fu and
               Ming Liu and
               Zhongyuan Wang and
               Bing Qin
               },
  title     = {KwaiAgents: Generalized Information-seeking Agent System with Large Language Models},
  journal   = {CoRR},
  volume    = {abs/2312.04889},
  year      = {2023}
}

展开

附加信息