structured generation benchmark

구조화된 세대 벤치마크

LLM(대형 언어 모델)을 효과적이고 안정적으로 사용하려면 구조화된 생성 기술을 포함하는 것이 필수적입니다. 정규식, JSON 또는 Pydantic 데이터 모델과 같은 출력을 얻을 수 있는 능력은 유용한 소프트웨어를 만드는 데 핵심입니다.

하지만 해당 목표를 달성하기 위해 아웃라인이나 강사와 같은 라이브러리를 사용하면 실제로 어떤 효과가 있을까요?

이 저장소는 이 질문에 답하기 위해 평가를 종합했습니다.

함수 호출

기능을 호출하는 LLM의 기능.

데이터세트

• 버클리 함수 호출 리더보드 [2024년 4월 16일 업데이트]

평가

• Transformers + Outlines를 사용하여 오픈 소스 모델을 실행하기 위한 모달 기능을 배포했습니다.
• 우리는 AST simple 평가 범주에 대해 Gorilla BFCL 스크립트[2024년 4월 6일 버전]를 실행하기 위해 다양한 모델 핸들러를 만들었습니다.
• 리더보드 웹사이트[2024년 4월 26일 버전]와 비교한 결과를 평가하고 보고했습니다.

보고서

• 함수 호출 평가 개요
• 강사 함수 호출 평가

합성 데이터 생성

LLM을 사용하여 인공 데이터를 생성합니다.

보고서

• 합성 데이터 생성 개요