kyma_poc

kyma_poc

Kyma(Wave의 그리스어, https://www.howtopronounce.com/kyma)는 코드 현대화 노력을 돕기 위해 Konveyor.io 내부의 Generative AI를 사용하는 개념 증명 데모입니다.

슬라이드: Konveyor KymaML: GenAI 코드 마이그레이션

개요

• Kyma는 Konveyor가 Migration Waves를 통해 이미 수집한 데이터와 조직의 애플리케이션 포트폴리오에 대한 관점을 활용하는 데 중점을 두고 있습니다.
• Kyma는 특정 애플리케이션의 분석 보고서를 검토하고 각 사고에 대한 잠재적 패치를 생성합니다.
  • 이는 다른 애플리케이션에서 해결된 유사한 인시던트를 살펴보고 해당 인시던트를 수정한 코드 차이점을 파악하고 LLM과 협력하여 조직이 과거에 이 특정 애플리케이션 및 인시던트에 대한 문제를 해결한 방법을 활용함으로써 수행됩니다.
    • POC의 경우 javaee 및 quarkus 솔루션이 모두 있는 애플리케이션을 살펴보고 더 큰 애플리케이션 포트폴리오에 액세스할 수 있는 Konveyor에서 경험이 어떤 것인지 시뮬레이션하고 이미 마이그레이션된 유사한 애플리케이션을 찾아 다음과 같이 사용할 수 있습니다. 예.
• 이 접근 방식은 Few Shots 예제와 일련의 에이전트를 사용하여 LLM과 협력하여 생성된 패치를 개선하는 신속한 엔지니어링을 활용합니다.
  • 참고: 이 단계에서는 모델 훈련 및 미세 조정이 필요하지 않습니다. 우리는 향후에 Huggingface.co의 오픈 소스 기반 모델을 활용하여 Open Data Hub와 함께 세부 조정을 계획하고 있지만 현재 단계에서는 범위를 벗어납니다.
• 우리는 Kyma가 다양한 모델과 함께 작업할 것이라고 가정하고 있으며, 우리의 초점은 툴링/프롬프트 엔지니어링에 있으며 모델 좌표를 상호 교환 가능한 엔터티로 처리할 것으로 기대합니다. 이는 우리가 진화하는 모델을 실험할 수 있도록 하기 위한 것입니다.

개념 증명의 성공 기준은 무엇입니까?

• 우리는 즉각적인 엔지니어링, 즉 미세 조정이 필요 없는 경우에 어느 정도의 품질을 얻을 수 있는지 평가하고 싶습니다.
  • 향후 단계에서는 미세 조정을 활용할 수 있지만 이 단계는 Konveyor에서 유용한 데이터를 수집하고 신속한 엔지니어링을 사용하여 마이그레이션 프로그램의 코드 변경을 지원하는 도구를 구축하는 더 간단한 접근 방식에 관한 것입니다.
• 이 POC는 Java EE 애플리케이션을 Quarkus로 현대화하는 도메인에서 생성된 패치의 유용성을 측정하기 위해 몇 가지 샘플 애플리케이션 및 분석 보고서와 함께 작동하는 작은 Python 프로젝트로 만들어졌습니다.
• 우리의 성공은 애플리케이션 현대화 작업을 수행하는 Migrator의 시간을 절약하는 패치를 생성할 수 있다는 것입니다.
  • 우리는 패치가 항상 100% 작동하지 않을 것이며 일부 사용자 개입이 필요할 것이라고 가정합니다. 성공 여부는 개입이 얼마나 필요한지, 패치가 시간을 절약할 만큼 충분한 도움을 제공하는지 여부와 관련됩니다.

설정

1. python -m venv env
2. source env/bin/activate
3. pip install -r ./requirements.txt
4. 정적 코드 분석을 위해 Kantra를 실행할 수 있도록 podman을 설치하세요.

달리기

샘플 앱 분석 실행(MacOS의 예)

1. cd data
2. ./fetch.sh # 이것은 일부 샘플 소스 코드 앱을 git clone합니다.
3. ./darwin_restart_podman_machine.sh # MacOS에서 podman VM을 설정하여 호스트 파일 시스템을 VM에 마운트합니다.
4. ./darwin_get_latest_kantra_cli.sh # 분석 도구 'kantra'를 가져옵니다.
5. ./analyzer_coolstuff.sh # 'coolstuff-javaee' 디렉터리를 분석하고 분석 출력을 example_reports/coolstuff-javaee/output.yaml에 씁니다.
   • 해당 예를 따라 다른 샘플 애플리케이션을 분석하세요.

특정 분석 보고서의 마크다운 버전 생성

• 이렇게 하면 YAML 출력을 가져와 더 쉽게 볼 수 있도록 Markdown으로 변환합니다.

1. 프로젝트 루트에서 시작하여 실행
   • ./kyma.py report data/example_reports/coolstuff-javaee/output.yaml example_output/coolstuff-quarkus

     • 이는 YAML의 Kantra 분석 보고서가 data/example_reports/coolstuff-javaee/output.yaml에 존재한다고 가정합니다.

     • 샘플 출력 실행:

         $ time ./kyma.py report data/example_reports/coolstuff-javaee/output.yaml example_output/coolstuff-quarkus
         We have results from 4 RuleSet(s) in data/example_reports/coolstuff-javaee/output.yaml
       
         Writing eap7/websphere to example_output/coolstuff-quarkus/eap7_websphere.md
         Writing eap8/eap7 to example_output/coolstuff-quarkus/eap8_eap7.md
         Writing openshift to example_output/coolstuff-quarkus/openshift.md
         Writing quarkus/springboot to example_output/coolstuff-quarkus/quarkus_springboot.md
         ./kyma.py report data/example_reports/coolstuff-javaee/output.yaml   1.28s user 2.12s system 337% cpu 1.007 total
       

     • 예제 출력은 data/example_reports/coolstuff-javaee/output.yaml에 대한 github에서 볼 수 있습니다.

       • example_output/coolstuff-quarkus/eap7_websphere.md
       • example_output/coolstuff-quarkus/eap8_eap7.md
       • example_output/coolstuff-quarkus/openshift.md
       • example_output/coolstuff-quarkus/quarkus_springboot.md

LLM 상호 작용에서 결과 생성

1. export OPENAI_API_KEY="mysecretkey"
   • API 키를 생성하려면 https://platform.openai.com/api-keys를 참조하세요.
2. ./generate_coolstuff.sh
   • 호출 방법의 예는 generate_coolstuff.sh를 참조하세요.
3. example_output/coolstuff-quarkus에서 위의 결과를 확인하세요.
   • 각 위반의 첫 번째 인시던트에 대한 출력으로 2가지 종류의 파일이 생성됩니다. (현재는 첫 번째 인시던트에 대해서만 작업 중입니다.)
     • '*_full_run.md' LLM으로 전송된 프롬프트와 전체 결과를 보여주는 마크다운 파일입니다.
     • ".diff" - 각 위반의 첫 번째 사건에 대해 생성되는 diff입니다.
   • 우리는 모델을 기반으로 출력을 분석하여 다음을 찾습니다.
     • example_output/coolstuff-quarkus/gpt-3.5-turbo-16k
     • example_output/coolstuff-quarkus/gpt-4-1106-preview
   • 특정 문제 및 결과의 예:
     • example_output/coolstuff-quarkus/gpt-4-1106-preview/quarkus_springboot_cdi-to-quarkus-00050_2_full_run.md

메모

• 다음을 위해 Coolstuff-store를 처리할 때 실행 시간에 대한 아이디어:
  • -t "quarkus" -t "jakarta-ee" -t "jakarta-ee8+" -t "jakarta-ee9+" -t "cloud-readiness"
    • 'gpt-3.5-turbo-16k'
      • time ./generate_coolstuff.sh 5.12s user 3.46s system 1% cpu 11:02.25 total
    • 'gpt-4-1106-미리보기'
      • ./generate_coolstuff.sh 4.86s user 3.73s system 0% cpu 15:52.24 total