Műszaki ÚTMUTATÓ

Lakehouses és Delta Lake az ML Data számára

A Delta Lake tranzakciós naplót és táblaszolgáltatásokat ad a fájlokban tárolt adatokhoz, beleértve az ACID-tranzakciókat, a sémavezérlőket és a verziószámú pillanatképeket.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A Lakehouses és a Delta Lake jövője az ML Data számára
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Az időutazás csak akkor tudja támogatni a reprodukálhatóságot, ha a szükséges napló- és adatfájlok megmaradnak, és a tárolórendszer megfelel a Delta dokumentált garanciáinak; önmagában nem őriz meg egy teljes ML környezetet.

Mély merülés

A Lakehouse adat-tó tárolót használ táblázatkezelési funkciókkal. A Delta Lake egy nyílt forráskódú táblaformátum, amely adatfájlokat tárol a végrehajtott táblamódosításokat leíró tranzakciós naplóval. A napló támogatja a tábla pillanatképeit, a tranzakciókat, a séma érvényesítését és az olyan műveleteket, mint az összevonás és törlés. Általában a Sparkkal használják, és más motorokhoz is rendelkezik csatlakozókkal, a kompatibilitástól és a funkciók támogatásától függően. Az ML munkafolyamatok esetében a Delta táblaverzió képes azonosítani a táblaelőzmények egy adott pontján látható sorokat. A képzési futtatás rögzítheti a tábla elérési útját és verzióját, a kísérletkövetés pedig naplózhatja az adatkészlet bemenetét. Ez segít a korábbi pillanatképek újratöltésében, amikor a fájlok elérhetők maradnak. Nem rögzíti automatikusan az előfeldolgozási kódot, a véletlenszerű magokat, a függőségeket, a modellkonfigurációt vagy a külső adatforrásokat; ezeket külön kell rögzíteni. Az időutazást a megtartás és a takarítás határolja. A Delta dokumentációja elmagyarázza, hogy a VACUUM eltávolítja a nem hivatkozott adatfájlokat, és elérhetetlenné teheti a régebbi verziókat; a tranzakciós napló megőrzése is konfigurálható. Ezért a verziószám nem jelent állandó archiválási garanciát. A hosszú távú reprodukálhatóságot igénylő csapatoknak a szabályzatuknak megfelelő megőrzési beállításokra, biztonsági másolatokra vagy megváltoztathatatlan exportokra van szükségük. Az ACID viselkedése a tárolási lehetőségektől függ. A Delta dokumentáció leírja az atomi láthatóságot, a kölcsönös kizárást és a konzisztens listázási feltételezéseket, és szükség esetén LogStore implementációkat használ. A sémakényszerítés elutasíthatja az inkompatibilis írásokat, míg a sémafejlődés egy különálló, konfigurálható viselkedés. Érvényesítse a motor és a protokoll kompatibilitását, mielőtt egy szolgáltatásra hagyatkozna. A Delta Lake táblázatkonzisztencia eszközöket biztosít, nem pedig önmagában egy végponttól végpontig terjedő ML adatirányítási vagy modell-reproducálhatósági rendszert.

Valós megvalósítás

Az MLflow futtatása naplózza a Delta adatkészlet-forrást egy adott táblaverzióval a betanítási bemenethez.

Egy csapat blokkolja a VACUUM-ot abban, hogy törölje a szükséges ellenőrzési ablakhoz szükséges fájlokat.

Az író addig utasítja el az új oszlopot, amíg a sémamódosítást kifejezetten át nem tekintik.

Egy ML mérnök rögzíti az előfeldolgozási kódot és a véletlenszerű magot a Delta verzió mellett.

A Lakehouses és a Delta Lake jövője az ML Data számára

A Lakehouse formátumok továbbra is hozzáadhatnak protokollfunkciókat és több motortámogatást, de a funkciók kompatibilitása és megőrzése továbbra is működési gond marad. Az ML csapatok javíthatják a reprodukálhatóságot azáltal, hogy táblázatos verziókat kapcsolnak össze a kísérletkövetőkkel, és megőrzik a megváltoztathatatlan pillanatfelvételeket a szabályozott vagy hosszú élettartamú vizsgálatokhoz. A jövőbeli munkafolyamatoknak meg kell magyarázniuk, hogy mikor járnak le a korábbi verziók, és ellenőrizniük kell, hogy a mentett kísérleti bemenetek még mindig rekonstruálhatók. A verziókövető katalógusok és az automatikus megőrzési ellenőrzések megkönnyíthetik a függőségek kezelését, de idővel nem helyettesítik a szándékos archiválási szabályzatot.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Lakehouses and Delta Lake for ML Data quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi a Lakehouses és a Delta Lake az ML Data számára?

A Delta Lake tranzakciós naplót és táblaszolgáltatásokat ad a fájlokban tárolt adatokhoz, beleértve az ACID-tranzakciókat, a sémavezérlőket és a verziószámú pillanatképeket. Az időutazás csak akkor tudja támogatni a reprodukálhatóságot, ha a szükséges napló- és adatfájlok megmaradnak, és a tárolórendszer megfelel a Delta dokumentált garanciáinak; önmagában nem őriz meg egy teljes ML környezetet.

Mit rögzít a Delta tranzakciós naplója?

A Delta a tranzakciónaplóját használja a tábla állapotának és változásainak leírására.

Hogyan segíthet egy Delta táblaverzió egy ML-kísérletben?

Egy verzió képes azonosítani a pillanatképet, a fájlmegőrzés függvényében.

Mitől lehet egy régebbi Delta időutazásos verzió elérhetetlen?

A Delta docs arra figyelmeztet, hogy a tisztítás eltávolíthatja a régi verziókhoz szükséges fájlokat.

Milyen tárolási feltételezések támasztják alá a Delta ACID-garanciáit?

A Delta dokumentumtárolási garanciák szükségesek a tranzakciós működéshez.

A Delta tábla verziókezelése automatikusan rögzíti az előfeldolgozási kódot és a véletlenszerű magokat?

A táblaverziók a tábla állapotát fedik le, nem a teljes ML végrehajtási környezetet.