Agents-Flex は、Java ベースの LangChain のような LLM アプリケーションフレームワークです。

特徴

LLM訪問
プロンプト、プロンプトテンプレート
関数呼び出し定義者、呼び出し者、実行中
メモリ
埋め込み
ベクトルストア
リソースローダー
書類
- スプリッター
- ローダ
- パーサー
  - ポイパーサー
  - PDFボックスパーサー
エージェント
- LLMエージェント
鎖
- シーケンシャルチェーン
- パラレルチェーン
- ループチェーン
- チェーンノード
  - エージェントノード
  - エンドノード
  - ルーターノード
    - Groovyルーターノード
    - QLEExpressRouterNode
    - LLMRルーターノード

簡単なチャット

OpenAi LLM を使用します。

 @ Test
public void testChat () {
    OpenAiLlmConfig config = new OpenAiLlmConfig ();
    config . setApiKey ( "sk-rts5NF6n*******" );

    Llm llm = new OpenAiLlm ( config );
    String response = llm . chat ( "what is your name?" );

    System . out . println ( response );
}

Qwen LLM を使用します。

 @ Test
public void testChat () {
    QwenLlmConfig config = new QwenLlmConfig ();
    config . setApiKey ( "sk-28a6be3236****" );
    config . setModel ( "qwen-turbo" );

    Llm llm = new QwenLlm ( config );
    String response = llm . chat ( "what is your name?" );

    System . out . println ( response );
}

SparkAi LLM を使用します。

 @ Test
public void testChat () {
    SparkLlmConfig config = new SparkLlmConfig ();
    config . setAppId ( "****" );
    config . setApiKey ( "****" );
    config . setApiSecret ( "****" );

    Llm llm = new SparkLlm ( config );
    String response = llm . chat ( "what is your name?" );

    System . out . println ( response );
}

履歴とチャットする

 public static void main ( String [] args ) {
    SparkLlmConfig config = new SparkLlmConfig ();
    config . setAppId ( "****" );
    config . setApiKey ( "****" );
    config . setApiSecret ( "****" );

    Llm llm = new SparkLlm ( config );

    HistoriesPrompt prompt = new HistoriesPrompt ();

    System . out . println ( "ask for something..." );
    Scanner scanner = new Scanner ( System . in );
    String userInput = scanner . nextLine ();

    while ( userInput != null ) {

        prompt . addMessage ( new HumanMessage ( userInput ));

        llm . chatStream ( prompt , ( context , response ) -> {
            System . out . println ( ">>>> " + response . getMessage (). getContent ());
        });

        userInput = scanner . nextLine ();
    }
}

関数呼び出し

ステップ 1: ネイティブ関数を定義する

 public class WeatherUtil {

    @ FunctionDef ( name = "get_the_weather_info" , description = "get the weather info" )
    public static String getWeatherInfo (
        @ FunctionParam ( name = "city" , description = "the city name" ) String name
    ) {
        //we should invoke the third part api for weather info here
        return "Today it will be dull and overcast in " + name ;
    }
}

ステップ 2: LLM から関数を呼び出す

 public static void main ( String [] args ) {
    OpenAiLlmConfig config = new OpenAiLlmConfig ();
    config . setApiKey ( "sk-rts5NF6n*******" );

    OpenAiLlm llm = new OpenAiLlm ( config );

    FunctionPrompt prompt = new FunctionPrompt ( "How is the weather in Beijing today?" , WeatherUtil . class );
    FunctionResultResponse response = llm . chat ( prompt );

    Object result = response . getFunctionResult ();

    System . out . println ( result );
    //Today it will be dull and overcast in Beijing
}