レート制限

概要

同時実行数の制限は、公平な利用と API の安定性を確保します。同時に実行できるジョブの数はプランによって異なります。

プラン別の制限

プランによって同時実行数が決まります。同時実行数はモデルごとに設定され、ユーザー単位でカウントされます。上位プランほど、より多くのジョブを同時に実行できます。 Zero Data Retention のリクエストや一部のモデルでは、バックログが利用できるプランであってもバックログは無効になります。現在、Krea 2 のリクエストはどのプランでもバックログに追加されません。

ジョブのバックログ

バックログが利用可能な場合、同時実行数の上限を超えて送信したジョブは status: "backlogged" として受理されます。これらのジョブは、実行中のジョブが完了するにつれて、送信された順に開始されます。バックログ専用の上限はありません。 バックログが利用できない場合、追加のジョブはキューに入れられず、HTTP 429 で拒否されることがあります。上限はおおよその値であり、短時間のバーストであれば上限を超えても受理されることがあります。429 を受け取った場合は、実行中のジョブが完了してからバックオフを用いてリトライしてください。レスポンスのボディとヘッダーについては エラーとデバッグ を参照してください。

ベストプラクティス

• 指数バックオフを実装する - リトライ間隔を段階的に長くする
• クライアント側でリクエストをキューイングする - バーストは上限を超えて受理されることがあるため、次のリクエストを API が止めてくれることを前提にしない
• 使用量を監視する - リクエスト数を追跡して制限内に収める
• Webhook を使用する - ジョブ完了通知に Webhooks を使用してポーリングリクエストを削減する

次のステップ