Anthropic API는 오랫동안 기다려온 힌트 캐싱이라는 새로운 기능을 도입하여 Claude 모델의 효율성과 경제성을 크게 향상시킵니다. 이 기능을 통해 개발자는 API 호출 간에 자주 사용되는 상황별 정보를 캐시할 수 있으므로 중복 계산이 줄어들고 비용과 대기 시간이 줄어듭니다. 대화 에이전트, 코딩 도우미, 대규모 문서 처리 등 대량의 상황별 정보를 처리해야 하는 애플리케이션 시나리오의 경우 힌트 캐싱을 사용하면 성능이 크게 향상됩니다. 이 업데이트는 현재 Claude3.5 Sonnet 및 Claude3 Haiku의 공개 베타 버전으로 제공되며 Claude3 Opus로 확장할 계획입니다.
Anthropic API는 최근 프롬프트 캐싱을 시작하여 이제 개발자는 API 호출 간에 일반적으로 사용되는 상황별 정보를 캐시할 수 있습니다. 힌트 캐싱을 통해 고객은 Claude 모델에 더 많은 배경 지식과 예제 출력을 제공하는 동시에 긴 힌트 비용을 크게 절감하고 수수료를 최대 90%까지 절감하고 대기 시간을 최대 85%까지 줄일 수 있습니다.
이 기능은 현재 Claude3.5Sonnet 및 Claude3Haiku의 공개 베타 버전에서 사용할 수 있으며 향후 Claude3Opus도 지원할 예정입니다.
프롬프트 캐싱 기능은 특히 복잡한 지침이나 문서 업로드가 포함된 경우 긴 대화의 비용과 대기 시간을 줄이기 위해 대화 프록시와 같이 여러 요청에서 다수의 프롬프트 컨텍스트를 반복적으로 참조해야 하는 시나리오에서 유용합니다. 대규모 문서 작업 시 프롬프트에 코드베이스의 요약 버전을 유지함으로써 보조 자동 완성 및 코드베이스 Q&A가 향상될 수 있습니다. 프롬프트 캐시를 사용하면 여러 라운드가 필요한 시스템의 경우 추가로 응답 시간을 늘리지 않고도 완전한 긴 형식 자료를 포함할 수 있습니다. 도구 호출 및 반복 변경된 프록시 검색 및 도구 사용 시나리오, 프롬프트 캐싱도 성능을 크게 향상시킬 수 있습니다.
팁 캐시 가격은 캐시된 입력 토큰 수와 사용 빈도에 따라 달라집니다. 캐시에 쓰는 비용은 기본 입력 토큰 가격보다 25% 더 비싸지만, 캐시된 콘텐츠를 사용하는 비용은 기본 입력 토큰 가격의 10%에 불과해 훨씬 저렴합니다.
Anthropic API의 고객사인 Notion은 자사의 인공지능 비서인 Notion AI에 프롬프트 캐싱 기능을 통합한 것으로 알려졌습니다. Notion은 비용을 절감하고 속도를 높여 내부 운영을 최적화하고 사용자에게 더욱 발전되고 빠른 경험을 제공합니다.
프롬프트 캐싱 기능의 출시는 Claude 모델의 성능을 최적화하고 사용자 비용을 절감하여 개발자에게 보다 비용 효율적인 AI 솔루션을 제공하고 다양한 애플리케이션 시나리오에서 Claude 모델의 실용성을 더욱 향상시키려는 Anthropic의 노력을 반영합니다. Notion의 성공 사례도 이 기능의 실질적인 가치를 입증합니다.