GPT-4O 모델의 OpenAi의 최신 "예측 출력"기능은 원래 속도의 최대 5 배까지 모델의 응답 속도를 크게 향상 시켰습니다. 이 기능은 Factoryai와 공동으로 개발 된이 기능은 특히 코드 재구성 및 블로그 업데이트와 같은 시나리오에서 예측 가능한 컨텐츠를 식별하고 재사용하여 중복 생성을 효과적으로 피합니다. 이 기능은 현재 API를 통해서만 열려 있으며 GPT-4O 및 GPT-4MINI 모델을 지원합니다.
OpenAI는 최근 GPT-4O 모델에 "예측 출력"기능을 소개하기위한 중요한 업데이트를 시작했습니다. 이 혁신적인 기술은 모델의 응답 속도를 크게 향상시켜 특정 시나리오에서 원래 속도의 최대 5 배에 도달하여 개발자에게 새로운 효율성 경험을 제공합니다.
이 기능의 핵심 장점은 OpenAI 및 FactoryAI에 의해 공동으로 개발 된이 기능의 반복 된 생성 프로세스를 우회 할 수 있다는 것입니다. 실제 응용 프로그램에서는 블로그 게시물 업데이트, 기존 답변 반복 또는 코드를 다시 쓰는 것과 같은 작업에서 잘 수행됩니다. FactoryAI가 제공 한 데이터에 따르면 프로그래밍 작업에서 응답 시간은 2 ~ 4 배나 감소하고 원래 70 초가 걸리는 작업이 20 초 내에 완료되도록 압축되었습니다.
현재이 기능은 API 양식을 통해서만 개발자에게만 열려 있으며 GPT-4O 및 GPT-4MINI 모델을 지원합니다. 사용에 대한 실제 피드백은 긍정적이며 많은 개발자들이 테스트를 시작하고 경험을 공유했습니다. FireCrawl 설립자 Eric Ciarla는 SEO 컨텐츠를 변환 할 때 다음과 같이 말했습니다 : "속도는 중요하며 사용은 간단하고 간단합니다."
기술적으로 예측 출력 기능은 예측 가능한 컨텐츠 부분을 식별하고 재사용하여 작동합니다. OpenAI 공식 문서는 C# 코드의 "사용자 이름"속성이 "이메일"으로 수정되면 코드 재구성과 같은 시나리오에서 예측 속도를 크게 향상시킬 수 있습니다.
그러나이 기능에는 몇 가지 사용 제한과 예방 조치가 있습니다. 모델에서 지원하는 제한 사항 외에도 1, 로그 프로브 및 ENDERITY_PENATTY 및 0보다 큰 N 값을 포함하여 예측 된 출력을 사용할 때 일부 API 매개 변수를 사용할 수 없습니다.
더 빠른 응답을 제공 하면서이 기능은 약간의 비용 증가를 가져옵니다. 사용자 테스트 데이터에 따르면, 동일한 작업이 예측 된 출력 기능을 사용한 후 처리 시간이 5.2 초에서 3.3 초로 줄었지만 비용은 0.1555 센트에서 0.2675 센트로 증가했습니다. OpenAI는 또한 예측의 비 결합 완료 부분에 대한 토큰 요금을 청구하기 때문입니다.
비용이 약간 증가 했음에도 불구하고,이 기능은 여전히 효율성이 크게 높아지면 상당한 적용 가치가 있습니다. 개발자는 공식 OpenAI 문서를 통해보다 자세한 기술 지침 및 사용 안내서를 얻을 수 있습니다.
Openai 공식 문서 :
https://platform.openai.com/docs/guides/lateency-optimization#use-predicted-outputs
요컨대, OpenAi의 "예측 출력"기능은 개발자에게 크게 효율성이 향상되었지만 속도 장점은 여전히주의를 기울일 가치가 있습니다. 개발자는 실제 요구에 따라 장단점을 평가 하고이 새로운 기능을 사용할지 여부를 선택할 수 있습니다.