学ぶニュースツール求人使命

AI用語集の用語

推論時間の計算とは？

定義

各応答の生成中に消費される処理電力の量。

AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する

テスト時のコンピューティング品質または推論を向上させるために応答生成中に使用される追加の推論計算。従量制課金API 呼び出し、トークン、推論時間、または消費されたコンピューティングに応じてコストが変動する価格設定。蒸留モデル推論時の計算量を減らしながら、より大きなモデルの動作を模倣するようにトレーニングされた小さなモデル。コンピューティングモデルのトレーニングと実行に必要な処理リソース。多くの場合、FLOPS または GPU 時間で測定されます。RAG (検索拡張生成)外部の知識を取得し、それを推論時の生成にフィードする方法。調整税システムをより安全で制御しやすくするために必要な、時間、コンピューティング、または製品の速度に関する追加のコスト。

無料ガイドで詳細をご覧ください

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

こちらも参照

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff