LLM API コストとトークン予算の見積もり

LLM API はトークンによって課金されます。トークンは、平均して約 4 文字、つまり英語の単語の約 4 分の 3 に相当するテキストの塊です。他の言語やコードでは、同じ意味を表すためにさらに多くのトークンが必要になることが多く、各プロバイダーのトークナイザーのカウント方法は少し異なります。価格は 100 万トークンごとに見積もられており、入力 (送信するすべてのもの) と出力 (モデルが生成するすべてのもの) の料金が異なります。通常、アウトプットの価格はインプットの数倍になります。信頼できる推定値は次の 5 つの手順に従います。 1. 機能が実行する各タスクを定義します。 2. 実際のサンプル プロンプトとプロバイダーのトークナイザーまたはトークンカウント エンドポイントを使用して、リクエストごとのトークンを測定します。システム プロンプト、取得したドキュメント、会話履歴、ユーザー入力、および予想される出力をカウントします。 3. ボリュームを見積もる: アクティブ ユーザーに、1 日あたりのユーザーあたりのリクエストを掛けた数。 4. トークンに価格と量を掛けます。 5. 再試行、失敗した呼び出し、評価実行、および拡張のためのオーバーヘッドを追加します。以下は、入力トークン 100 万あたり 3 ドル、出力トークン 100 万あたり 15 ドルの仮想価格を使用した実際の例です。 2,000 個の入力トークンを含むリクエストの入力コストは 0.006 ドルです。 400 個の出力トークンのコストはさらに $0.006 なので、リクエストのコストは $0.012 です。 1 日あたり 10,000 リクエストの場合、オーバーヘッドを除くと、1 日あたり 120 ドル、または 30 日の月で約 3,600 ドルになります。最大の推定誤差は、人々が忘れていることから発生します。 - ほとんどのチャット アプリケーションは、ターンごとに会話を再送信します。メッセージごとに入力が増えるため、1 回の長い会話のコストは、複数の短い会話よりもはるかに高くなります。 - 検索拡張機能により、各呼び出しにコンテキストの数千のトークンを追加できます。 - 推論モデルは、表示されない場合でも出力として請求される内部思考トークンを生成します。 - エージェントは、ユーザーのアクションごとに多くの呼び出しを行います。割引は計算を変えます。プロンプト キャッシュにより、繰り返されるプレフィックスの料金が下がり、バッチ API により、待機できる作業が割引されます。料金は頻繁に変更されるため、プロバイダーの現在の料金ページを常に確認してください。