OpenAI는 최근 GPT-4o 모델에 대한 예측 출력 기능을 출시했습니다. FactoryAI와 공동 개발한 이 기능은 모델 응답 속도를 원래 속도의 최대 5배까지 크게 향상시킬 수 있습니다. 이 기능은 예측 가능한 콘텐츠 부분을 식별하고 재사용하여 중복을 줄여주며, 특히 코드 리팩토링, 블로그 업데이트 등의 작업에 효과적입니다. 다운코드 편집자는 이 새로운 기능의 장점, 제한 사항 및 사용 비용을 자세히 설명합니다.
OpenAI는 최근 GPT-4o 모델에 예측 출력 기능을 도입하는 중요한 업데이트를 출시했습니다. 이 혁신적인 기술은 특정 시나리오에서 원래 속도의 최대 5배까지 모델의 응답 속도를 크게 향상시켜 개발자에게 새로운 효율성 경험을 제공합니다.
OpenAI와 FactoryAI가 공동 개발한 이 기능의 핵심 장점은 알려진 콘텐츠를 생성하는 복제 프로세스를 우회할 수 있다는 것입니다. 실제 애플리케이션, 특히 블로그 게시물 업데이트, 기존 답변 반복, 코드 재작성 등의 작업에 탁월합니다. FactoryAI가 제공한 데이터에 따르면 프로그래밍 작업에서 응답 시간이 2~4배 단축되어 원래 70초 걸리던 작업을 20초 이내에 완료하는 것으로 압축되었습니다.
현재 이 기능은 API를 통해 개발자에게만 공개되며 GPT-4o 및 GPT-4mini 모델을 지원합니다. 실제 사용을 통한 피드백은 긍정적이었으며 많은 개발자가 자신의 경험을 테스트하고 공유하기 시작했습니다. Firecrawl의 창립자인 Eric Ciarla는 SEO 콘텐츠를 변환할 때 속도가 크게 향상되었으며 사용법이 간단하고 직접적이라고 말했습니다.
기술적으로 예측 출력은 콘텐츠의 예측 가능한 부분을 식별하고 재사용하는 방식으로 작동합니다. OpenAI 공식 문서에는 C# 코드의 Username 속성을 Email로 변경하는 등 코드 리팩토링과 같은 시나리오에서 전체 클래스 파일을 예측 텍스트로 입력하면 생성 속도를 크게 향상시킬 수 있다는 예가 나와 있습니다.
그러나 이 기능에는 몇 가지 제한 사항과 주의 사항이 있습니다. 모델 지원의 한계 외에도 예측 출력을 사용할 때 1보다 큰 n 값, logprobs, 0보다 큰 존재_페널티 및 빈도_페널티를 포함한 특정 API 매개변수를 사용할 수 없습니다.
이 기능은 더 빠른 응답 시간을 제공하지만 비용도 약간 증가한다는 점은 주목할 가치가 있습니다. 사용자 테스트 데이터에 따르면, 동일한 작업에 예측 출력 기능을 사용한 후 처리 시간은 5.2초에서 3.3초로 줄었지만 비용은 0.1555센트에서 0.2675센트로 증가했습니다. 이는 OpenAI가 예측 중에 제공되는 최종 완료 토큰이 아닌 경우에도 완료 토큰 요율을 청구하기 때문입니다.
비용이 약간 증가했지만 효율성이 크게 향상된다는 점을 고려하면 이 기능은 여전히 상당한 적용 가치를 갖고 있습니다. 개발자는 OpenAI 공식 문서를 통해 보다 자세한 기술 지침과 사용 가이드를 얻을 수 있습니다.
OpenAI 공식 문서:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
전체적으로 OpenAI의 예측 출력 기능은 개발자에게 상당한 효율성 향상을 제공하며, 일부 사용 제한 및 비용 증가에도 불구하고 이를 통해 제공되는 속도 향상은 여전히 주목할 가치가 있습니다. Downcodes의 편집자는 개발자가 자신의 필요에 따라 애플리케이션의 가치를 평가할 것을 권장합니다.