DalšíDalší průvodce
Jemné doladění TTS na vlastní hlas
Technický
Vizuální průvodce AI
Custom Diffusion is a research method for adapting text-to-image diffusion models to new concepts by tuning selected cross-attention parameters.
Poslechněte si tento návodAI-vyprávěný · ~1 min
The Custom Diffusion paper fine-tunes key and value projections in cross-attention layers using concept images. It adds regularization images from broader categories to reduce overfitting and language drift. The method supports joint training of multiple concepts or merging separately tuned concepts through constrained optimization. The authors report experiments using as few as four concept images, storing a tuned subset of about 3% of model weights, and a six-minute fine-tuning time on two A100 GPUs. These values are specific to the paper’s Stable Diffusion setup; they do not establish universal data needs, artifact file size, runtime, deployment, or adoption.
Illustrative workflow: adapt a pretrained model to a small set of concept images.
Illustrative workflow: use regularization images to reduce language drift during tuning.
Illustrative workflow: combine separately learned concepts with a constrained weight merge.
Illustrative workflow: review generated samples for concept fidelity and unintended changes.
A research direction is to test concept composability and preservation across more models, prompts, and image sets, reporting failure cases as well as successful samples.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Custom Diffusion is a research method for adapting text-to-image diffusion models to new concepts by tuning selected cross-attention parameters.
Aktualizuje pouze matice křížové pozornosti K a V, které spojují slova se vzhledem, udržují rychlé ladění a uložený soubor je malý.
Jeho charakteristickou schopností je generování více konceptů, které kombinuje několik personalizovaných předmětů dohromady.
The paper reports experiments with as few as four training images. This is a minimum demonstrated in its setup, not a general 4–20-image requirement for every concept.
Regularizační obrázky zachovávají obecný význam slova kategorie nedotčený, takže model se nezhroutí pouze na nový koncept.
Nezávisle naučené koncepty lze sloučit prostřednictvím omezené optimalizace s uzavřenou formou, která umožňuje spojovat výzvy.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jemné doladění TTS na vlastní hlas
Technický