Kvíz spojený s průvodcem · Střední úroveň

Jak vytvořit chatbot s LLM API kvíz

Vytvořte chatbot kolem smyčky požadavků na API, rozdílů ve stavu a poskytovateli, streamování, spouštění nástrojů, limitů tokenů a bezpečného zpracování chyb.

Související vodicí cestyJak vytvořit chatbot s LLM API
Otázka 1 z 8

V klientem řízeném toku Chat Completions, jaký kontext se obvykle posílá při každém novém kroku?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. V klientem řízeném toku Chat Completions, jaký kontext se obvykle posílá při každém novém kroku?
    • Pouze nejnovější uživatelská zpráva
    • Celé pole předchozích zpráv plus nová
    • Komprimovaný binární token relace
    • Pouze systémový prompt
  2. V klientem řízeném, bezstavovém chatu, proč může bot odkazovat na předchozí kroky?
    • Model automaticky ukládá relaci na server poskytovatele
    • Klient při každém volání znovu odesílá celou historii zpráv
    • API ukládá do mezipaměti embeddingy předchozích kroků
    • Model má trvalou paměť napříč všemi uživateli
  3. Podle průvodce, jaká je hlavní praktická výhoda streamování odpovědí v chatbotu?
    • Snižuje celkové náklady na tokeny požadavku
    • Umožňuje modelu přeskočit systémový prompt
    • Zlepšuje vnímanou rychlost tím, že vykresluje text při jeho příchodu
    • Odstraňuje potřebu ošetřování chyb
  4. Podle průvodce, co by mělo spustit exponenciální zpomalení místo okamžitého opakování?
    • Úspěšná odpověď 200
    • Chyby omezení rychlosti (429) a přechodné chyby serveru (5xx)
    • Jakákoli zpráva asistenta delší než očekáváno
    • Uživatel píše novou zprávu
  5. Jak se volání nástrojů začleňuje do základní smyčky chatbota?
    • Model vykoná funkci sám na serverech poskytovatele
    • Aplikace spustí požadovanou funkci a připojí její výsledek jako zprávu před opětovným voláním modelu
    • Volání nástrojů zcela nahrazují systémový prompt
    • Klient musí přepnout na jiný koncový bod API
  6. Pro nový chatbot OpenAI, jaký přístup k API a stavu konverzace aktuální dokumentace doporučuje?
    • Chat Completions již není podporováno
    • Responses se doporučuje pro nové projekty; Chat Completions zůstává podporováno a běžně používá historii zpráv dodávanou klientem
    • Responses může přijmout jen jeden uživatelský tah
    • Obě API vždy ukládají stejnou konverzaci na straně serveru
  7. Proč je počítání znaků nebo slov nedostatečné pro správu kontextového okna chatbota?
    • Limity kontextu jsou vynucovány v tokenách, které se přímo nepřevádějí na znaky ani slova
    • Znaky jsou vždy dražší než tokeny
    • API odmítá jakýkoli požadavek s interpunkcí
    • Počet slov je relevantní pouze pro streamování
  8. Podle průvodce, jaká je doporučená strategie, když se pole zpráv konverzace rozrostne příliš velké pro kontextové okno?
    • Odstraňte systémový prompt, abyste ušetřili místo
    • Skróťte nebo shrňte starší tahy před dosažením limitu
    • Přepněte každou zprávu na roli asistenta
    • Zastavte streamování odpovědí