dspy phi3

dspy-phi3

저는 최근 COPRO를 사용하여 프롬프트 지침을 개선하고 최고의 점수를 얻는 것을 목표로 phi3으로 DSPy를 테스트했습니다. 의도적으로 단언문을 사용하지 않았습니다.

내가 좋아하는 점은 다음과 같습니다.

나는 문법에 대한 주석이 달린 23개 언어 출판물의 문장을 포함하는 CoLA 데이터 세트를 사용했으며 "단지 레이블"(설명이나 추가 단어 없음)이 있는 출력을 원했습니다. DSPy는 문법적 정확성을 보장하면서 잘 수행되는 명령을 생성했습니다.

원본 지시사항: 문장이 맞는지 확인하세요(1), 틀립니다(0)

최적화된 지시: 문법적으로 올바른 경우 '1', 잘못된 경우 '0'을 출력하여 주어진 문장이 표준 영어 문법 규칙을 준수하는지 확인합니다.

BootstrapFewShot과 Signature Optimizer는 모두 훌륭한 출발점입니다.

개선할 수 있는 점:

DSPy는 "교육이 완료되면 서명에서 수동으로 편집할 수 있는 더 나은 지침과 접두사를 갖게 될 것입니다."라고 말합니다. 그러나 나는 컴파일 후 도구가 예측할 준비가 되어 있어야 한다고 믿습니다. 명령어 최적화 프로그램은 다른 언어와의 호환성 향상과 같이 더 쉽게 조정할 수 있도록 더 많은 유연성이 필요합니다. 또는 필요에 따라 프롬프트를 조정하기 위해 서명 최적화 프로그램을 만드는 것이 도움이 될 것입니다.

그것은 멋진 개념이지만 프레임워크로서 여전히 개선이 필요하다고 생각합니다. 흥미로운 프로젝트나 공통 관심사가 있다면 링크드인을 통해 저에게 연락하세요. https://www.linkedin.com/in/mayankladdha31/