modelscope agent下载 - modelscope agent源代码下载

modelscope agent

Ai源码

v0.7.1 upgrade openapi parse and datascience

下载

ModelScope-Agent：使用开源大型语言模型构建可定制的代理系统

Modelscope Hub ｜论文｜演示
中文｜英语

介绍

Modelscope-Agent 是一个可定制且可扩展的 Agent 框架。单个代理具有角色扮演、LLM调用、工具使用、计划和记忆等能力。它主要有以下特点：

简单的Agent实现过程：只需指定角色指令、LLM名称和工具名称列表即可实现Agent应用程序。该框架自动安排工具使用、规划和内存的工作流程。
丰富的模型和工具：框架配备了丰富的LLM接口，如Dashscope和Modelscope模型接口、OpenAI模型接口等。内置丰富的工具，如代码解释器、天气查询、文本转图像、网页浏览等。，轻松定制专属代理。
接口统一，扩展性高：框架具有清晰的工具和LLM注册机制，方便用户扩展更多样化的Agent应用。
低耦合：开发者可以轻松使用内置工具、LLM、内存等组件，无需绑定上层代理。

？消息

2024 年 8 月 8 日：Modelscope-Agent 发布了一款新的基于图形的代码生成工具 CodexGraph，它已被证明在各种代码相关任务上有效且通用，请查看示例。
2024年8月1日：高效可靠的数据科学助手正在Modelscope-Agent上运行，详情请参见示例。
2024 年 7 月 17 日：Modelscope-Agent-Server 上的并行工具调用，请在文档中查找详细信息。
2024年6月17日：基于LLama-index升级RAG流程，允许用户通过不同策略和方式混合搜索知识，请在文档中找到详细信息。
2024年6月6日：通过Modelscope-Agent-Server， Qwen2可以被OpenAI SDK使用，并具有工具调用能力，请参阅文档。
2024年6月4日：Modelscope-Agent支持Mobile-Agent-V2arxiv，基于Android Adb Env，请在应用程序中查看。
2024 年 5 月 17 日：Modelscope-Agent 支持在 gradio 中进行多角色房间聊天。
2024 年 5 月 14 日：Modelscope-Agent 支持使用最新 OpenAI 模型GPT-4o在RolePlay代理中输入图像。开发者可以通过指定image_url参数来体验该功能。
2024年5月10日：Modelscope-Agent推出了一个用户友好的Assistant API ，还提供了一个Tools API ，可以在隔离的安全容器中执行实用程序，请查找文档
2024年4月12日：Ray版本的多智能体解决方案已在modelscope-agent上发布，请查找文档
2024年3月15日：Modelscope-Agent和AgentFabric（GPT的开源版本）在modelscope studio的生产环境上运行。
2024年2月10日：农历新年，我们将modelscope代理升级到v0.3版本，方便开发者通过编码更方便地定制各类代理，更轻松地制作多代理演示。有关更多详细信息，您可以参考 #267 和 #293 。
2023 年 11 月 26 日：AgentFabric 现在支持在 ModelScope 的创建空间中协作使用，从而允许在创建空间中共享自定义应用程序。此更新还包括最新的 GTE 文本嵌入集成。
2023 年 11 月 17 日：AgentFabric 发布，这是一个交互式框架，有助于创建适合各种实际应用程序的代理。
2023年10月30日：Facechain Agent发布了可以本地运行的Facechain Agent本地版本。详细使用说明请参考Facechain Agent。
2023 年 10 月 25 日：Story Agent 发布了 Story Agent 的本地版本，用于生成故事书插图。它可以在本地运行。详细使用说明请参考Story Agent。
2023 年 9 月 20 日：ModelScope GPT 通过 gradio 提供了可以在本地运行的本地版本。您可以导航到 demo/msgpt/ 目录并执行bash run_msgpt.sh 。
2023 年 9 月 4 日：添加了三个演示：demo_qwen、demo_retrieval_agent 和 demo_register_tool，并提供了详细教程。
2023 年 9 月 2 日：与该项目相关的预印本论文已发表。
2023 年 8 月 22 日：支持使用 ModelScope 令牌访问各种 AI 模型 API。
2023 年 8 月 7 日：modelscope-agent 存储库的初始版本发布。

安装

克隆仓库并安装依赖：

git clone https://github.com/modelscope/modelscope-agent.git
cd modelscope-agent && pip install -r requirements.txt

ModelScope笔记本【推荐】

ModelScope Notebook 提供免费层，允许 ModelScope 用户以最少的设置运行 FaceChain 应用程序，请参阅 ModelScope Notebook

 # Step1: 我的notebook -> PAI-DSW -> GPU环境

# Step2: Download the [demo file](https://github.com/modelscope/modelscope-agent/blob/master/demo/demo_qwen_agent.ipynb) and upload it to the GPU.

# Step3:  Execute the demo notebook in order.

快速入门

该代理将 LLM 与特定于任务的工具结合在一起，并使用 LLM 来确定调用哪个或哪些工具来完成用户的任务。

首先，您需要做的就是使用相应的任务初始化RolePlay对象

该示例代码使用了qwen-max模型、绘图工具和天气预报工具。
- 使用 qwen-max 模型需要将示例中的 YOUR_DASHSCOPE_API_KEY 替换为您的 API-KEY，代码才能正常运行。您可以在此处获取 YOUR_DASHSCOPE_API_KEY。该绘图工具还调用 DASHSCOPE API (wanx)，因此无需额外配置。
- 使用天气预报工具时，需要将示例中的YOUR_AMAP_TOKEN替换为您的AMAP天气API-KEY，代码才能正常运行。 YOUR_AMAP_TOKEN 可在此处获取。

 # 配置环境变量；如果您已经提前将api-key提前配置到您的运行环境中，可以省略这个步骤
import os
os . environ [ 'DASHSCOPE_API_KEY' ] = YOUR_DASHSCOPE_API_KEY
os . environ [ 'AMAP_TOKEN' ] = YOUR_AMAP_TOKEN

# 选用RolePlay 配置agent
from modelscope_agent . agents . role_play import RolePlay  # NOQA

role_template = '你扮演一个天气预报助手，你需要查询相应地区的天气，并调用给你的画图工具绘制一张城市的图。'

llm_config = { 'model' : 'qwen-max' , 'model_server' : 'dashscope' }

# input tool name
function_list = [ 'amap_weather' , 'image_gen' ]

bot = RolePlay (
    function_list = function_list , llm = llm_config , instruction = role_template )

response = bot . run ( '朝阳区天气怎样？' )

text = ''
for chunk in response :
    text += chunk

结果

终端运行

 # 第一次调用llm的输出
Action: amap_weather
Action Input: { " location " : "朝阳区" }

# 第二次调用llm的输出
目前，朝阳区的天气状况为阴天，气温为1度。

Action: image_gen
Action Input: { " text " : "朝阳区城市风光" , " resolution " : " 1024*1024 " }

# 第三次调用llm的输出
目前，朝阳区的天气状况为阴天，气温为1度。同时，我已为你生成了一张朝阳区的城市风光图，如下所示：

! [](https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/45/20240204/3ab595ad/96d55ca6-6550-4514-9013-afe0f917c7ac-1.jpg ? Expires=1707123521 & OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL & Signature=RsJRt7zsv2y4kg7D9QtQHuVkXZY%3D)

模块

代理人

Agent对象由以下组件组成：

LLM ：一个大型语言模型，负责处理您的输入并决定调用工具。
function_list ：由代理可用的工具组成的列表。

目前， Agent的配置可能包含以下参数：

llm : 该代理的 llm 配置
- 当 Dict 时：将 llm 的配置设置为 {'model': '', 'api_key': '', 'model_server': ''}
- 当 BaseChatModel: llm 由另一个代理发送时
function_list ：工具列表
- 当str：工具名称
- 当字典：工具cfg
storage_path ：如果没有另外指定，所有数据都会通过内存以KV对的形式存储在这里
instruction ：该代理的系统指令
name ：代理人姓名
description ：agent的描述，用于multi_agent
kwargs ：其他潜在参数

Agent作为基类，不能直接初始化和调用。 Agent子类需要继承它。他们必须实现_run函数，该函数主要包括三部分：消息/propmt的生成、llm(s)的调用以及根据llm的结果调用工具。我们在RolePlay中为用户提供了这些组件的实现，您也可以根据您的需求定制您的组件。

 from modelscope_agent import Agent
class YourCustomAgent ( Agent ):
    def _run ( self , user_request , ** kwargs ):
        # Custom your workflow

法学硕士

LLM是Agent的核心模块，保证了交互结果的质量。

目前，`` 的配置可能包含以下参数：

model ：具体模型名称将直接传递给模型服务提供者。
model_server ：模型服务的提供者。

BaseChatModel作为 llm 的基类，不能直接初始化和调用。子类需要继承它。它们必须实现函数_chat_stream和_chat_no_stream ，分别对应于流式输出和非流式输出。可以选择实现chat_with_functions和chat_with_raw_prompt以进行函数调用和文本完成。

目前我们提供了三个模型服务商的实现：dashscope（适用于qwen系列模型）、zhipu（适用于glm系列模型）和openai（适用于所有openai api格式模型）。您可以直接使用上述服务商支持的模型，也可以自定义您的llm。

更多信息请参考docs/modules/llm.md

`Tool`

我们提供了几种可以在代理中配置和使用的多域工具。

您还可以通过继承基础工具，根据预定义模式设置工具的名称、描述和参数来自定义工具。根据您的需要，可以实现call()。 demo_register_new_tool 中提供了自定义工具的示例

您可以将要使用的工具名称或配置传递给代理。

 # by tool name
function_list = [ 'amap_weather' , 'image_gen' ]
bot = RolePlay ( function_list = function_list , ...)

# by tool configuration
from langchain . tools import ShellTool
function_list = [{ 'terminal' : ShellTool ()}]
bot = RolePlay ( function_list = function_list , ...)

# by mixture
function_list = [ 'amap_weather' , { 'terminal' : ShellTool ()}]
bot = RolePlay ( function_list = function_list , ...)

内置工具

image_gen ：Wanx 图像生成。需要在环境变量中配置DASHSCOPE_API_KEY。
code_interpreter ：代码解释器
web_browser ：网页浏览
amap_weather ：AMAP 天气。需要在环境变量中配置AMAP_TOKEN。
wordart_texture_generation ：艺术字纹理生成。需要在环境变量中配置DASHSCOPE_API_KEY。
web_search ：网页搜索。 []
qwen_vl ：Qwen-VL图像识别。需要在环境变量中配置DASHSCOPE_API_KEY。
style_repaint ：重绘字符样式。需要在环境变量中配置DASHSCOPE_API_KEY。
image_enhancement ：追逐阴影放大镜。需要在环境变量中配置DASHSCOPE_API_KEY。
text-address ：地理编码。需要在环境变量中配置MODELSCOPE_API_TOKEN。
speech-generation ：语音生成。需要在环境变量中配置MODELSCOPE_API_TOKEN。
video-generation ：视频生成。需要在环境变量中配置MODELSCOPE_API_TOKEN。

多代理

请参阅多代理自述文件。

分享您的经纪人

我们感谢您热衷于参与我们的开源 ModelScope-Agent 项目。如果您遇到任何问题，请随时向我们报告。如果您已经构建了新的 Agent 演示并准备与我们分享您的工作，请随时创建拉取请求！如果您需要任何进一步的帮助，请通过电子邮件 [email protected] 或交流群联系我们！

面链代理

Facechain是一个开源项目，用于利用用户上传的面部图像生成各种风格的个性化肖像。通过将Facechain的能力集成到modelscope-agent框架中，我们大大简化了使用流程。现在可以通过与 Facechain Agent 对话来生成个性化肖像。

FaceChainAgent Studio申请链接：https://modelscope.cn/studios/CVstudio/facechain_agent_studio/summary

可以直接在notebook/Colab/本地环境中运行：https://www.modelscope.cn/my/mynotebook

 ! git clone -b feat/facechain_agent https://github.com/modelscope/modelscope-agent.git

! cd modelscope-agent && ! pip install -r requirements.txt
! cd modelscope-agent/demo/facechain_agent/demo/facechain_agent && ! pip install -r requirements.txt
! pip install http://dashscope-cn-beijing.oss-cn-beijing.aliyuncs.com/zhicheng/modelscope_agent-0.1.0-py3-none-any.whl
! PYTHONPATH=/mnt/workspace/modelscope-agent/demo/facechain_agent && cd modelscope-agent/demo/facechain_agent/demo/facechain_agent && python app_v1.0.py