Обучение Новини Инструм.Работни места Мисия

Термин от речника на AI

Какво е Извод-изчисляване на времето?

Определение

Количеството процесорна мощност, изразходвана при генериране на всеки отговор.

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI

Изчисляване на тестово времеДопълнителни изчисления за изводи, използвани по време на генериране на отговор за подобряване на качеството или разсъжденията.Таксуване въз основа на употребатаЦенообразуване, при което разходите се мащабират с извиквания на API, токени, време за извод или изразходвани изчисления.Дестилиран моделПо-малък модел, обучен да имитира поведението на по-голям модел, като същевременно използва по-малко изчисления при извод.ИзчислетеРесурсите за обработка, необходими за обучение и изпълнение на модели, често измервани във FLOPS или GPU часове.RAG (генериране с допълнено извличане)Метод, който извлича външно знание и го захранва за генериране по време на извод.Данък за привеждане в съответствиеДопълнителните разходи във времето, изчисленията или скоростта на продукта, необходими, за да направят системите по-безопасни и по-контролируеми.

Научете повече в нашите безплатни ръководства

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Вижте също

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff