Cloudová architektura AI

Návrh musí splňovat omezení spolehlivosti, dat, latence a nákladů. Výkonný akcelerátor je pouze jednou součástí tohoto designu.

Klíčové věci

• Oddělte pracovní zátěže podle jejich provozních potřeb.
• Vynutit hranice dat a oprávnění.
• Navrhněte kapacitu, opakování a vrácení zpět dohromady.

Oddělte interaktivní úlohy a úlohy na pozadí, kde se jejich požadavky liší. Uživatel čekající na odpověď potřebuje omezenou dobu odezvy, zatímco dávkové zpracování může využívat fronty a déle běžící úlohy. Zajistěte, aby byl stav fronty a chování opakování pozorovatelné. Definujte datové hranice a přístupové role. Dokumenty, vložení, artefakty modelu a protokoly mohou mít různé požadavky na uchovávání a oprávnění. Uchovávejte přihlašovací údaje ve vhodné správě tajných informací a nepředpokládejte, že oprávnění vytváří pouze umístění v síti. Plánujte změny kapacity a selhání závislostí. Automatické škálování může nějakou dobu trvat, načítání modelu může být drahé a poskytovatel může stanovit limity sazeb. Použijte řízení přístupu, zpětný tlak, omezené opakování a vymažte nedostupné stavy, abyste zabránili tomu, aby jedna přetížená závislost přemohla celou službu. Verze nasazení a obnovení testu. Zkontrolujte kompatibilní verze modelu a předběžného zpracování, migrace dat a procedury vrácení zpět. Měřte náklady na užitečný dokončený úkol, včetně úložiště, přenosu, neúspěšných pokusů a nečinných zdrojů. Nízká cena za jedno volání API může skrývat dražší celkový pracovní postup.

1. Představte si, že 100 aplikačních pracovníků volá jeden koncový bod modelu s omezenou sazbou. Každý neúspěšný požadavek je okamžitě pětkrát opakován.
2. Další pokusy zvyšují zatížení bez přidání kapacity koncového bodu.
3. Použijte zásadu omezeného opakování, která respektuje odstoupení poskytovatele, omezí souběžné požadavky a zobrazí uživatelům stav fronty nebo nedostupnosti.

Tento vytvořený příklad vysvětluje, jak může architektura zabránit šíření přetížení.