archgw下载 - archgw源代码下载

archgw

其他源码

release 0.1.5 ?

下载

快速，可观察和个性化的AI代理。

ARCH是一个智能层的7层分布式代理，旨在使用API保护，观察和个性化AI代理。

Arch采用专门构建的LLM设计，处理与提示的处理和处理有关的关键但未分化的任务，包括检测和拒绝越狱尝试，聪明地称呼“后端” API来满足用户的请求，以提示并在上升llms之间进行灾难恢复和在上升的互动中提供灾难恢复和管理互动的互动和LLM的互动方式。

拱门建立在特使的（并由）代理的核心贡献者基于：

提示是细微的和不透明的用户请求，它需要与传统的HTTP请求相同的功能，包括安全处理，智能路由，可观察到的可观察性以及与后端（API）的个性化系统集成在一起的系统 - 所有外部业务逻辑。

核心功能：

建立在Envoy：Arch与应用程序服务器一起运行，并在Envoy验证的HTTP管理和可扩展性功能之上构建，以处理与提示和LLMS相关的入口和出口流量。
函数要求快速代理和抹布应用程序。采用专门构建的LLMS设计，以处理快速，成本效益且基于准确的及时任务，例如功能/API调用，以及从提示中提取参数。
及时警卫：拱门集中了迅速的护栏，以防止越狱尝试并确保在不编写一行代码的情况下进行安全的用户互动。
流量管理：ARCH管理LLM呼叫，提供智能恢复，自动切割和弹性上游连接，以持续可用。
基于标准的可观察性：ARCH使用W3C跟踪上下文标准来启用跨应用程序的完整请求跟踪，确保与可观察性工具的兼容性，并提供指标来监视延迟，令牌使用率和错误率，从而有助于优化AI应用程序性能。

跳到我们的文档，了解如何使用Arch提高Genai应用程序的速度，安全性和个性化。

重要的

如今，为代理和抹布方案设计的名称LLM（拱门功能）在美国中央地区免费托管。为了提供一致的延迟和吞吐量，为了管理我们的费用，我们将尽快通过开发人员键访问托管版本，并为您提供本地运行该LLM的选项。有关更多详细信息，请参见此问题＃258

接触

要与我们联系，请加入我们的Discord服务器。我们将在那里积极监控并提供支持。

演示

天气预报 - 使用天气预报服务浏览拱门网关的核心功能呼叫功能
保险代理 - 与拱门建立完整的保险代理
网络代理 - 与Arch建立网络副驾驶/代理

Quickstart

遵循本指南，了解如何快速设置ARCH并将其集成到生成AI应用程序中。

先决条件

在开始之前，请确保您有以下内容：

Docker ＆ Python已安装在您的系统上
LLM提供商的API Keys （如果使用外部LLMS）

步骤1：安装拱门

Arch的CLI允许您有效地管理和与拱门网关进行交互。要安装CLI，只需运行以下命令：提示：我们建议开发人员在安装ARCH之前创建一个新的Python虚拟环境来隔离依赖项。这样可以确保ARGGW及其依赖关系不会干扰系统上的其他软件包。

确保您在进一步继续前进之前已安装了遵循公用事业，

Docker系统（V24）
Docker组成（v2.29）
Python（v3.12）
诗歌（v1.8.3。注：仅需要本地发展）

$ python -m venv venv
$ source venv/bin/activate   # On Windows, use: venvScriptsactivate
$ pip install archgw

步骤2：使用您的应用程序配置ARCH

Arch根据配置文件进行操作，您可以在其中定义LLM提供程序，提示目标，护栏等。

 version : v0.1
listener :
  address : 127.0.0.1
  port : 8080 # If you configure port 443, you'll need to update the listener with tls_certificates
  message_format : huggingface

# Centralized way to manage LLMs, manage keys, retry logic, failover and limits in a central way
llm_providers :
  - name : OpenAI
    provider : openai
    access_key : $OPENAI_API_KEY
    model : gpt-3.5-turbo
    default : true

# default system prompt used by all prompt targets
system_prompt : |
  You are a network assistant that helps operators with a better understanding of network traffic flow and perform actions on networking operations. No advice on manufacturers or purchasing decisions.

prompt_targets :
    - name : device_summary
      description : Retrieve network statistics for specific devices within a time range
      endpoint :
        name : app_server
        path : /agent/device_summary
      parameters :
        - name : device_ids
          type : list
          description : A list of device identifiers (IDs) to retrieve statistics for.
          required : true  # device_ids are required to get device statistics
        - name : days
          type : int
          description : The number of days for which to gather device statistics.
          default : " 7 "
    - name : reboot_devices
      description : Reboot a list of devices
      endpoint :
        name : app_server
        path : /agent/device_reboot
      parameters :
        - name : device_ids
          type : list
          description : A list of device identifiers (IDs).
          required : true
        - name : days
          type : int
          description : A list of device identifiers (IDs)
          default : " 7 "

# Arch creates a round-robin load balancing between different endpoints, managed via the cluster subsystem.
endpoints :
  app_server :
    # value could be ip address or a hostname with port
    # this could also be a list of endpoints for load balancing
    # for example endpoint: [ ip1:port, ip2:port ]
    endpoint : host.docker.internal:18083
    # max time to wait for a connection to be established
    connect_timeout : 0.005s

步骤3：将OpenAi客户端与Arch一起用作出口网关

通过拱门进行拨打电话

 from openai import OpenAI

# Use the OpenAI client as usual
client = OpenAI (
  # No need to set a specific openai.api_key since it's configured in Arch's gateway
  api_key = '--' ,
  # Set the OpenAI API base URL to the Arch gateway endpoint
  base_url = "http://127.0.0.1:12000/v1"
)

response = client . chat . completions . create (
    # we select model from arch_config file
    model = "--" ,
    messages = [{ "role" : "user" , "content" : "What is the capital of France?" }],
)

print ( "OpenAI Response:" , response . choices [ 0 ]. message . content )