메인 콘텐츠로 건너뛰기

개요

동시성 한도는 공정한 사용과 API의 안정성을 보장합니다. 동시에 실행할 수 있는 작업 수는 플랜에 따라 다릅니다.

플랜별 한도

플랜에 따라 동시성이 결정되며, 동시성은 모델별로 설정되고 사용자 단위로 계산됩니다. 상위 플랜일수록 더 많은 작업을 동시에 실행할 수 있습니다.
Enterprise 플랜 세부 사항과 맞춤 동시성은 세일즈팀에 문의해 주세요.
Zero Data Retention 요청과 일부 모델에서는 백로그를 허용하는 플랜이라도 백로그가 적용되지 않습니다. Krea 2 요청은 현재 어떤 플랜에서도 백로그되지 않습니다.

작업 백로그

백로그를 사용할 수 있는 경우, 동시성 한도를 넘어 제출한 작업은 status: "backlogged"로 접수됩니다. 이 작업들은 실행 중인 작업이 끝나는 대로 제출된 순서대로 시작됩니다. 별도의 백로그 상한은 없습니다. 백로그를 사용할 수 없는 경우, 추가 작업은 큐에 들어가는 대신 HTTP 429로 거부될 수 있습니다. 상한은 근사값이므로 짧은 순간에 몰린 요청은 상한을 넘어서도 접수될 수 있습니다. 429를 받으면 진행 중인 작업이 끝난 뒤 백오프를 적용해 재시도하세요. 응답 본문과 헤더는 오류 및 디버깅에서 확인할 수 있습니다.
작업이 완료, 실패 또는 취소될 때 알림을 받으려면 웹훅을 사용하세요.

모범 사례

  • 지수 백오프 구현 - 재시도 간격을 점진적으로 늘리세요
  • 클라이언트 측 큐잉 - 몰린 요청은 상한을 넘어서도 접수될 수 있으므로, 다음 요청을 API가 막아 줄 것이라고 기대하지 마세요
  • 사용량 모니터링 - 요청 수를 추적해 한도 내에 머무르세요
  • 웹훅 사용 - 작업 완료 알림에 웹훅을 사용해 폴링 요청을 줄이세요

다음 단계

API 키 및 청구

API 사용량 및 지표 모니터링

웹훅

웹훅으로 폴링 줄이기

오류 및 디버깅

429 응답 본문, 백오프, 실패한 작업의 코드