modelscope agent下載 - modelscope agent程式原始碼下載

modelscope agent

Ai源碼

v0.7.1 upgrade openapi parse and datascience

下載

ModelScope-Agent：使用開源大型語言模型建立可自訂的代理系統

Modelscope Hub ｜論文｜演示
中文｜英語

介紹

Modelscope-Agent 是一個可自訂且可擴展的 Agent 框架。單一代理具有角色扮演、LLM調用、工具使用、計劃和記憶等能力。它主要有以下特點：

簡單的Agent實作過程：只需指定角色指令、LLM名稱和工具名稱清單即可實作Agent應用程式。此框架自動安排工具使用、規劃和記憶體的工作流程。
豐富的模型和工具：框架配備了豐富的LLM接口，如Dashscope和Modelscope模型接口、OpenAI模型接口等。內置豐富的工具，如代碼解釋器、天氣查詢、文本轉圖像、網頁瀏覽等。專屬代理。
介面統一，擴充性高：框架具有清晰的工具和LLM註冊機制，方便用戶擴展更多樣化的Agent應用。
低耦合：開發者可以輕鬆使用內建工具、LLM、記憶體等元件，無需綁定上層代理。

？訊息

2024 年 8 月 8 日：Modelscope-Agent 發布了一款新的基於圖形的程式碼產生工具 CodexGraph，它已被證明在各種程式碼相關任務上有效且通用，請查看範例。
2024年8月1日：高效可靠的資料科學助理正在Modelscope-Agent上運行，詳情請參閱範例。
2024 年 7 月 17 日：Modelscope-Agent-Server 上的平行工具調用，請在文件中尋找詳細資訊。
2024年6月17日：基於LLama-index升級RAG流程，讓使用者透過不同策略和方式混合搜尋知識，請在文件中找到詳細資訊。
2024年6月6日：透過Modelscope-Agent-Server， Qwen2可以被OpenAI SDK使用，並具有工具呼叫能力，請參閱文件。
2024年6月4日：Modelscope-Agent支援Mobile-Agent-V2arxiv，基於Android Adb Env，請在應用程式中查看。
2024 年 5 月 17 日：Modelscope-Agent 支援在 gradio 中進行多角色房間聊天。
2024 年 5 月 14 日：Modelscope-Agent 支援使用最新 OpenAI 模型GPT-4o在RolePlay代理程式中輸入映像。開發者可以透過指定image_url參數來體驗該功能。
2024年5月10日：Modelscope-Agent推出了一個用戶友好的Assistant API ，還提供了一個Tools API ，可以在隔離的安全容器中執行實用程序，請查找文檔
2024年4月12日：Ray版本的多智能體解決方案已在modelscope-agent上發布，請尋找文檔
2024年3月15日：Modelscope-Agent和AgentFabric（GPT的開源版本）在modelscope studio的生產環境上運作。
2024年2月10日：農曆新年，我們將modelscope代理升級到v0.3版本，方便開發者透過編碼更方便地自訂各類代理，更輕鬆地製作多代理演示。有關更多詳細信息，您可以參考 #267 和 #293 。
2023 年 11 月 26 日：AgentFabric 現在支援在 ModelScope 的創建空間中協作使用，從而允許在創建空間中共享自訂應用程式。此更新還包括最新的 GTE 文字嵌入整合。
2023 年 11 月 17 日：AgentFabric 發布，這是一個互動式框架，有助於創建適合各種實際應用程式的代理程式。
2023年10月30日：Facechain Agent發布了可以本地運行的Facechain Agent本地版本。詳細使用說明請參考Facechain Agent。
2023 年 10 月 25 日：Story Agent 發布了 Story Agent 的本地版本，用於產生故事書插圖。它可以在本地運行。詳細使用說明請參考Story Agent。
2023 年 9 月 20 日：ModelScope GPT 透過 gradio 提供了可以在本地運行的本地版本。您可以導覽至 demo/msgpt/ 目錄並執行bash run_msgpt.sh 。
2023 年 9 月 4 日：新增了三個示範：demo_qwen、demo_retrieval_agent 和 demo_register_tool，並提供了詳細教學。
2023 年 9 月 2 日：與本計畫相關的預印本論文已發表。
2023 年 8 月 22 日：支援使用 ModelScope 令牌存取各種 AI 模型 API。
2023 年 8 月 7 日：modelscope-agent 儲存庫的初始版本發布。

安裝

克隆倉庫並安裝依賴：

git clone https://github.com/modelscope/modelscope-agent.git
cd modelscope-agent && pip install -r requirements.txt

ModelScope筆記本【推薦】

ModelScope Notebook 提供免費層，允許 ModelScope 用戶以最少的設定運行 FaceChain 應用程序，請參閱 ModelScope Notebook

 # Step1: 我的notebook -> PAI-DSW -> GPU环境

# Step2: Download the [demo file](https://github.com/modelscope/modelscope-agent/blob/master/demo/demo_qwen_agent.ipynb) and upload it to the GPU.

# Step3:  Execute the demo notebook in order.

快速入門

該代理將 LLM 與特定於任務的工具結合在一起，並使用 LLM 來確定要呼叫哪個或哪些工具來完成使用者的任務。

首先，您需要做的就是使用對應的任務初始化RolePlay對象

此範例程式碼使用了qwen-max模型、繪圖工具和天氣預報工具。
- 使用 qwen-max 模型需要將範例中的 YOUR_DASHSCOPE_API_KEY 替換為您的 API-KEY，程式碼才能正常運作。您可以在此處取得 YOUR_DASHSCOPE_API_KEY。此繪圖工具還呼叫 DASHSCOPE API (wanx)，因此無需額外配置。
- 使用天氣預報工具時，需要將範例中的YOUR_AMAP_TOKEN替換為您的AMAP天氣API-KEY，程式碼才能正常運作。 YOUR_AMAP_TOKEN 可在此處取得。

 # 配置环境变量；如果您已经提前将api-key提前配置到您的运行环境中，可以省略这个步骤
import os
os . environ [ 'DASHSCOPE_API_KEY' ] = YOUR_DASHSCOPE_API_KEY
os . environ [ 'AMAP_TOKEN' ] = YOUR_AMAP_TOKEN

# 选用RolePlay 配置agent
from modelscope_agent . agents . role_play import RolePlay  # NOQA

role_template = '你扮演一个天气预报助手，你需要查询相应地区的天气，并调用给你的画图工具绘制一张城市的图。'

llm_config = { 'model' : 'qwen-max' , 'model_server' : 'dashscope' }

# input tool name
function_list = [ 'amap_weather' , 'image_gen' ]

bot = RolePlay (
    function_list = function_list , llm = llm_config , instruction = role_template )

response = bot . run ( '朝阳区天气怎样？' )

text = ''
for chunk in response :
    text += chunk

結果

終端運作

 # 第一次调用llm的输出
Action: amap_weather
Action Input: { " location " : "朝阳区" }

# 第二次调用llm的输出
目前，朝阳区的天气状况为阴天，气温为1度。

Action: image_gen
Action Input: { " text " : "朝阳区城市风光" , " resolution " : " 1024*1024 " }

# 第三次调用llm的输出
目前，朝阳区的天气状况为阴天，气温为1度。同时，我已为你生成了一张朝阳区的城市风光图，如下所示：

! [](https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/1d/45/20240204/3ab595ad/96d55ca6-6550-4514-9013-afe0f917c7ac-1.jpg ? Expires=1707123521 & OSSAccessKeyId=LTAI5tQZd8AEcZX6KZV4G8qL & Signature=RsJRt7zsv2y4kg7D9QtQHuVkXZY%3D)

模組

代理人

Agent物件由以下元件組成：

LLM ：一個大型語言模型，負責處理您的輸入並決定呼叫工具。
function_list ：由代理程式可用的工具組成的清單。

目前， Agent的配置可能包含以下參數：

llm : 該代理程式的 llm 配置
- 當 Dict 時：將 llm 的配置設為 {'model': '', 'api_key': '', 'model_server': ''}
- 當 BaseChatModel: llm 由另一個代理程式發送時
function_list ：工具列表
- 當str：工具名稱
- 當字典：工具cfg
storage_path ：如果沒有另外指定，所有資料都會透過記憶體以KV對的形式儲存在這裡
instruction ：該代理程式的系統指令
name : 代理人姓名
description ：agent的描述，用於multi_agent
kwargs ：其他潛在參數

Agent作為基類，不能直接初始化和呼叫。 Agent子類別需要繼承它。他們必須實作_run函數，該函數主要包括三個部分：訊息/propmt的產生、llm(s)的呼叫以及根據llm的結果呼叫工具。我們在RolePlay中為使用者提供了這些元件的實現，您也可以根據您的需求自訂您的元件。

 from modelscope_agent import Agent
class YourCustomAgent ( Agent ):
    def _run ( self , user_request , ** kwargs ):
        # Custom your workflow

法學碩士

LLM是Agent的核心模組，保證了互動結果的品質。

目前，`` 的配置可能包含以下參數：

model ：具體模型名稱將直接傳遞給模型服務提供者。
model_server ：模型服務的提供者。

BaseChatModel作為 llm 的基底類，不能直接初始化和呼叫。子類別需要繼承它。它們必須實作函數_chat_stream和_chat_no_stream ，分別對應於串流輸出和非流式輸出。可以選擇實作chat_with_functions和chat_with_raw_prompt以進行函式呼叫和文字完成。

目前我們提供了三個模型服務商的實作：dashscope（適用於qwen系列模型）、zhipu（適用於glm系列模型）和openai（適用於所有openai api格式模型）。您可以直接使用上述服務商支援的模型，也可以自訂您的llm。

更多資訊請參考docs/modules/llm.md

`Tool`

我們提供了幾種可以在代理程式中配置和使用的多域工具。

您也可以透過繼承基礎工具，根據預先定義模式設定工具的名稱、描述和參數來自訂工具。根據您的需要，可以實現call()。 demo_register_new_tool 中提供了自訂工具的範例

您可以將要使用的工具名稱或設定傳遞給代理程式。

 # by tool name
function_list = [ 'amap_weather' , 'image_gen' ]
bot = RolePlay ( function_list = function_list , ...)

# by tool configuration
from langchain . tools import ShellTool
function_list = [{ 'terminal' : ShellTool ()}]
bot = RolePlay ( function_list = function_list , ...)

# by mixture
function_list = [ 'amap_weather' , { 'terminal' : ShellTool ()}]
bot = RolePlay ( function_list = function_list , ...)

內建工具

image_gen ：Wanx 影像生成。需要在環境變數中配置DASHSCOPE_API_KEY。
code_interpreter ：程式碼解釋器
web_browser : 網頁瀏覽
amap_weather ：AMAP 天氣。需要在環境變數中配置AMAP_TOKEN。
wordart_texture_generation ：藝術字紋理產生。需要在環境變數中配置DASHSCOPE_API_KEY。
web_search ：網頁搜尋。 []
qwen_vl ：Qwen-VL影像辨識。需要在環境變數中配置DASHSCOPE_API_KEY。
style_repaint ：重繪字元樣式。需要在環境變數中配置DASHSCOPE_API_KEY。
image_enhancement ：追逐陰影放大鏡。需要在環境變數中配置DASHSCOPE_API_KEY。
text-address ：地理編碼。需要在環境變數中配置MODELSCOPE_API_TOKEN。
speech-generation ：語音生成。需要在環境變數中配置MODELSCOPE_API_TOKEN。
video-generation ：影片生成。需要在環境變數中配置MODELSCOPE_API_TOKEN。

多代理

請參閱多代理自述文件。

分享您的經紀人

我們感謝您熱衷於參與我們的開源 ModelScope-Agent 專案。如果您遇到任何問題，請隨時向我們報告。如果您已經建立了新的 Agent 演示並準備與我們分享您的工作，請隨時建立拉取請求！如果您需要任何進一步的協助，請透過電子郵件 [email protected] 或交流群組與我們聯繫！

面鏈代理

Facechain是一個開源項目，用於利用用戶上傳的臉部圖像生成各種風格的個人化肖像。透過將Facechain的能力整合到modelscope-agent框架中，我們大大簡化了使用流程。現在可以透過與 Facechain Agent 對話來產生個人化肖像。

FaceChainAgent Studio申請連結：https://modelscope.cn/studios/CVstudio/facechain_agent_studio/summary

可以直接在notebook/Colab/本機環境中運作：https://www.modelscope.cn/my/mynotebook

 ! git clone -b feat/facechain_agent https://github.com/modelscope/modelscope-agent.git

! cd modelscope-agent && ! pip install -r requirements.txt
! cd modelscope-agent/demo/facechain_agent/demo/facechain_agent && ! pip install -r requirements.txt
! pip install http://dashscope-cn-beijing.oss-cn-beijing.aliyuncs.com/zhicheng/modelscope_agent-0.1.0-py3-none-any.whl
! PYTHONPATH=/mnt/workspace/modelscope-agent/demo/facechain_agent && cd modelscope-agent/demo/facechain_agent/demo/facechain_agent && python app_v1.0.py