学ぶニュースツール求人使命

AI用語集の用語

レイテンシとは？

定義

リクエストを送信してからモデルの出力を受信するまでの時間。

AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する

注意メカニズム出力を生成するときに、入力の関連部分に動的に焦点を当てるモデルコンポーネント。自律システム人間による直接的な制御を制限したり、制御せずにリアルタイムで意思決定し、行動できるシステム。クリップテキストと画像間の共有表現を学習するマルチモーダルモデルアーキテクチャ。データドリフトモデルのパフォーマンスを低下させる可能性がある、時間の経過に伴う実世界の入力データの変化。推論時間の計算各応答の生成中に消費される処理電力の量。知識の遮断モデルのトレーニングデータに反映された最新の時点。

無料ガイドで詳細をご覧ください

Tail Latency in Model Serving Reducing LLM App Latency Time to First Token and Latency Metrics

こちらも参照

Label Smoothing Large Language Model (LLM)Knowledge Graph Learning Rate Knowledge Distillation LoRA (Low-Rank Adaptation)Loss Function Jailbreak