kyma_poc

kyma_poc

Kyma (ギリシャ語で波、https://www.howtopronounce.com/kyma) は、コードの最新化の取り組みを支援するために、Konveyor.io 内の生成 AI を使用した概念実証のデモンストレーションです。

スライド: Konveyor KymaML: GenAI コードの移行

概要

• Kyma は、Konveyor が Migration Waves を通じてすでに収集しているデータと、組織のアプリケーション ポートフォリオのビューを活用することに重点を置いています。
• Kyma は、特定のアプリケーションの分析レポートを調べ、インシデントごとに潜在的なパッチを生成します。
  • これは、他のアプリケーションで解決された同様のインシデントを調べ、そのインシデントを修正したコードの差分を取得し、LLM と協力して、この特定のアプリケーションとインシデントに関して組織が過去にどのように問題を解決したかを活用することで行われます。
    • POC の場合、これには javaee と quarkus の両方のソリューションを備えたアプリケーションを検討することが含まれます。Konveyor でのエクスペリエンスがどのようになるかをシミュレーションします。Konveyor では、より大きなアプリケーション ポートフォリオにアクセスでき、すでに移行されている同様のアプリケーションを見つけてそれらを使用できます。例。
• このアプローチでは、少数のショットのサンプルと一連のエージェントを使用したプロンプト エンジニアリングを利用して、生成されたパッチを改善するために LLM と連携します。
  • 注: このフェーズでは、モデルのトレーニングと微調整は必要ありません。将来的には、huggingface.co のオープンソース基盤モデルを活用して、Open Data Hub と連携して微調整する計画がありますが、それは現在のフェーズの範囲外です。
• Kyma がさまざまなモデルで動作することを想定しており、ツール/プロンプト エンジニアリングに焦点を当てており、モデルの座標を交換可能なエンティティとして扱うことを期待しています。これは、進化するモデルを実験できるようにするためです。

概念実証の成功基準は何ですか

• 私たちは、微調整を必要としない迅速なエンジニアリングによってどの程度の品質が得られるかを評価したいと考えています。
  • 将来のフェーズでは微調整が活用される可能性がありますが、このフェーズでは、Konveyor で有用なデータを収集し、プロンプト エンジニアリングを使用して移行者によるコード変更を支援するためのツールを構築する、よりシンプルなアプローチについて説明します。
• この POC は、Java EE アプリケーションを Quarkus に最新化する領域で生成されたパッチの有用性を評価するために、いくつかのサンプル アプリケーションと分析レポートを操作する小規模な Python プロジェクトであることを目的としています。
• 私たちの成功は、Migrator がアプリケーションを最新化する作業にかかる時間を節約するパッチを生成できたことです。
  • パッチは常に 100% 機能するわけではなく、ユーザーの介入が必要になると想定しています。成功は、どれだけの介入が必要か、そしてパッチが時間を節約するのに十分な助けをもたらすかどうかに関係します。

設定

1. python -m venv env
2. source env/bin/activate
3. pip install -r ./requirements.txt
4. 静的コード分析のために Kantra を実行できるように podman をインストールします

ランニング

サンプルアプリの分析を実行する (MacOS の例)

1. cd data
2. ./fetch.sh # これにより、いくつかのサンプル ソース コード アプリが git clone されます
3. ./darwin_restart_podman_machine.sh # MacOS 上に podman VM をセットアップして、ホスト ファイルシステムを VM にマウントします。
4. ./darwin_get_latest_kantra_cli.sh # アナライザー ツール 'kantra' を取得します
5. ./analyzer_coolstuff.sh # 「coolstuff-javaee」ディレクトリを分析し、分析出力を example_reports/coolstuff-javaee/output.yaml に書き込みます
   • この例に従って、他のサンプル アプリケーションを分析します。

指定された分析レポートのマークダウン バージョンを生成します

• これにより、YAML 出力が取得され、見やすくするために Markdown に変換されます。

1. プロジェクトルートから開始して実行します
   • ./kyma.py report data/example_reports/coolstuff-javaee/output.yaml example_output/coolstuff-quarkus

     • これは、YAML の Kantra 分析レポートが data/example_reports/coolstuff-javaee/output.yaml に存在することを前提としています。

     • サンプル出力の実行:

         $ time ./kyma.py report data/example_reports/coolstuff-javaee/output.yaml example_output/coolstuff-quarkus
         We have results from 4 RuleSet(s) in data/example_reports/coolstuff-javaee/output.yaml
       
         Writing eap7/websphere to example_output/coolstuff-quarkus/eap7_websphere.md
         Writing eap8/eap7 to example_output/coolstuff-quarkus/eap8_eap7.md
         Writing openshift to example_output/coolstuff-quarkus/openshift.md
         Writing quarkus/springboot to example_output/coolstuff-quarkus/quarkus_springboot.md
         ./kyma.py report data/example_reports/coolstuff-javaee/output.yaml   1.28s user 2.12s system 337% cpu 1.007 total
       

     • 出力例は、github の data/example_reports/coolstuff-javaee/output.yaml から参照できます。

       • example_output/coolstuff-quarkus/eap7_websphere.md
       • example_output/coolstuff-quarkus/eap8_eap7.md
       • example_output/coolstuff-quarkus/openshift.md
       • example_output/coolstuff-quarkus/quarkus_springboot.md

LLM インタラクションから結果を生成する

1. export OPENAI_API_KEY="mysecretkey"
   • API キーを作成するには、https://platform.openai.com/api-keys を参照してください。
2. ./generate_coolstuff.sh
   • 呼び出し方法の例として、generate_coolstuff.sh を参照してください。
3. 上記の結果は、example_output/coolstuff-quarkus でご覧ください。
   • 各違反の最初のインシデントの出力として 2 種類のファイルが生成されます (現在、最初のインシデントについてのみ作業中です)
     • '*_full_run.md' LLM に送信されたプロンプトと完全な結果を示すマークダウン ファイル
     • ".diff" - 各違反の最初のインシデントに対して生成される差分
   • 検索するモデ​​ルに基づいて出力を分割していることに注意してください。
     • example_output/coolstuff-quarkus/gpt-3.5-turbo-16k
     • example_output/coolstuff-quarkus/gpt-4-1106-preview
   • 特定の問題と結果の例:
     • example_output/coolstuff-quarkus/gpt-4-1106-preview/quarkus_springboot_cdi-to-quarkus-00050_2_full_run.md

注意事項

• Coolstuff-store を処理する際の実行時間の概念:
  • -t "quarkus" -t "jakarta-ee" -t "jakarta-ee8+" -t "jakarta-ee9+" -t "cloud-readiness"
    • 「gpt-3.5-ターボ-16k」
      • time ./generate_coolstuff.sh 5.12s user 3.46s system 1% cpu 11:02.25 total
    • 「gpt-4-1106-プレビュー」
      • ./generate_coolstuff.sh 4.86s user 3.73s system 0% cpu 15:52.24 total