Kvíz spojený s průvodcem · Střední úroveň

Kvíz LLMOps vs MLOps

Porovnejte provozní problémy specifické pro LLM se sdílenými postupy MLOps napříč výzvami, vyhledáváním, hodnocením, náklady a monitorováním.

Související vodicí cestyLlmops versus Mlops
Otázka 1 z 8

Která změna může ovlivnit chování aplikace LLM bez retréninku vah základního modelu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Která změna může ovlivnit chování aplikace LLM bez retréninku vah základního modelu?
    • Šablona promptu nebo aktualizace indexu vyhledávání
    • Pouze změna barvy dashboardu
    • Název cloudové oblasti v dokumentaci
    • Velikost písma karty modelu
  2. Proč verzovat korpus nebo index vyhledávání odděleně od generátoru?
    • Dělá z indexu část vah modelu
    • Umožňuje týmům zjistit, zda změna získávání důkazů způsobila regresi výstupu
    • Odstraňuje řízení přístupu k dokumentům
    • Zaručuje faktické odpovědi
  3. Která metrika je specifická pro sledování nákladů na běžné LLM API?
    • Pouze využití GPU
    • Giniho nečistota
    • Použití tokenů na vstupu a výstupu
    • Počet třídních štítků
  4. Proč spouštět evaluační případy po změně promptu?
    • Vyhodnocování je jen pro GPU jádra
    • Prompt nemůže ovlivnit odpovědi modelu
    • Změna promptu automaticky přetrénuje model
    • Formulace promptu může měnit výstupy, používání nástrojů a odmítání chování
  5. Co může selhání modelového hodnocení neodhalit?
    • Změny verze promptu
    • Faktické chyby nebo zaujatost hodnotitele sdílená s kandidátem
    • Počet tokenů
    • Aktualizace indexu pro vyhledávání
  6. Která sdílená praxe MLOps zůstává užitečná pro aplikace LLM?
    • Pouze tréninková přesnost
    • Ignorování správy dat
    • Postupné vydání, monitorování a vrácení zpět
    • Vždy znovu trénovat celé váhy na každou žádost
  7. Proč může alias hostovaného modelu omezit reprodukovatelnost?
    • Hostované modely nikdy nevrací metadata
    • Aliasy obsahují úplné váhy modelu
    • Prompt nelze uložit
    • Chování poskytovatele se může změnit za identifikátorem
  8. Jaký bezpečnostní problém může vzniknout z načtených externích dokumentů?
    • Nedůvěryhodný obsah může obsahovat instrukce pro vkládání promptu
    • Dokumenty automaticky přeškolují model
    • Vyhledávání zaručuje platná oprávnění k přístupu
    • Vkládání odstraňuje citlivá data