VolgendeVolgende gids
Schrijven van effectieve aanwijzingen voor het genereren van afbeeldingen
Visuele AI
Visuele AI-GIDS
Door het genereren van afbeeldingen naar 3D wordt een enkele foto of afbeelding van een object omgezet in een gestructureerd 3D-model, meestal een mesh, vaak binnen enkele seconden met behulp van een feed-forward-netwerk zoals TripoSR.
Luister naar deze gidsAI-verteld · ~3 min
Het model reconstrueert wat het kan zien en raadt de verborgen kanten van patronen die tijdens de training zijn geleerd. Het is belangrijk omdat het snelle 3D-middelen toegankelijk maakt voor niet-specialisten, maar de output ervan is een plausibele schatting en geen meting van het echte object.
Door het genereren van afbeeldingen naar 3D wordt een enkele afbeelding van een object omgezet in een gestructureerd 3D-model dat u kunt gebruiken in een game-engine, AR-viewer of modelleringstool. De snelle moderne aanpak is feed-forward-reconstructie: één keer door een getraind netwerk gaan, wat seconden in beslag neemt in plaats van de minuten of uren die nodig zijn bij oudere optimalisatiemethoden per object. Het belangrijkste ontwerp kwam uit het Large Reconstruction Model (LRM), een paper uit 2023 van onderzoekers van Adobe en de Australian National University. LRM maakt gebruik van een vooraf getrainde beeldencoder (DINO) en een grote transformator die beeldkenmerken in een drievlak in kaart brengt: drie op de assen uitgelijnde kenmerkvlakken die samen een 3D-veld beschrijven. Een klein netwerk decodeert dichtheid en kleur op elk punt, dat tijdens de training als een NeRF kan worden weergegeven en daarna kan worden omgezet in een mesh met marcherende kubussen. TripoSR, uitgebracht in maart 2024 door Stability AI en Tripo AI onder een MIT-licentie, bouwde voort op het LRM-ontwerp en rapporteerde reconstructies in minder dan een seconde op een capabele GPU. Stability's latere Stable Fast 3D voegde UV-onverpakte texturen en materiaalschattingen toe. Een andere familie gebruikt eerst een diffusiemodel om nieuwe perspectieven op het object voor te stellen, een idee ontwikkeld door Zero-1-to-3, en reconstrueert vervolgens vanuit die perspectieven, zoals InstantMesh doet. De centrale beperking is dat één foto niet de achterkant van het object bevat. Alles wat verborgen is, is een aangeleerde gok, gevormd door trainingsgegevens zoals de grote Objaverse-verzameling van 3D-middelen. Gemeenschappelijke, symmetrische objecten komen plausibel naar voren; ongebruikelijke ontwerpen, dunne onderdelen, transparante of glanzende materialen en fijne tekst mislukken vaak. Schaal is onbekend van een enkele afbeelding, dus afmetingen zijn niet betrouwbaar. Een vaak voorkomende misvatting is dat dit gelijk staat aan 3D-scannen of fotogrammetrie, waarbij de werkelijke geometrie van veel foto's wordt gemeten. Modellen met één afbeelding zijn geschikt voor concepten, tijdelijke aanduidingen en prototypes, niet voor onderdelen die moeten passen.
Een indiegame-ontwikkelaar fotografeert een keramische mok, verwijdert de achtergrond en gebruikt TripoSR om binnen enkele seconden een gaas te krijgen als tijdelijke aanduiding voor een keukenscène.
Een productontwerper verandert een conceptschets van een lamp in een ruw 3D-model om vanuit verschillende hoeken te bekijken voordat een professionele modelbouwer de definitieve versie bouwt.
Een hobbyist probeert een vervangende knop van een foto in 3D te printen en ontdekt dat de afmetingen afwijken en dat de verborgen achterkant is uitgevonden, dus schakelt ze over op het meten met een schuifmaat.
Een online verkoper genereert een 3D-preview van een knuffel voor een AR-viewer en merkt vervolgens dat de onzichtbare achterkant een geraden naadpatroon heeft dat niet overeenkomt met het echte speelgoed.
Onderzoek evolueert in de richting van geometrie met een hogere resolutie, schonere mesh-topologie, juiste PBR-materialen in plaats van gebakken kleuren, en beter gebruik van meerdere invoerfoto's, indien beschikbaar. Het combineren van multi-view diffusie met feed-forward reconstructie heeft de plausibiliteit van de verborgen kant verbeterd, maar een enkel beeld zal de achterkant altijd onderbepaald laten, dus gissen kan niet worden geëlimineerd. Verwacht een nauwere integratie in game-engines en ontwerptools, en meer gebruik voor snelle prototyping. Voor nauwkeurigheidskritische taken zullen meetmethoden zoals fotogrammetrie, dieptesensoren en CAD waarschijnlijk noodzakelijk blijven.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Door het genereren van afbeeldingen naar 3D wordt een enkele foto of afbeelding van een object omgezet in een gestructureerd 3D-model, meestal een mesh, vaak binnen enkele seconden met behulp van een feed-forward-netwerk zoals TripoSR. Het model reconstrueert wat het kan zien en raadt de verborgen kanten van patronen die tijdens de training zijn geleerd. Het is belangrijk omdat het snelle 3D-middelen toegankelijk maakt voor niet-specialisten, maar de output ervan is een plausibele schatting en geen meting van het echte object.
Feed-forward-modellen voorspellen 3D rechtstreeks in één keer, in tegenstelling tot oudere methoden die per object in minuten of uren optimaliseren.
LRM voorspelt een triplane, die een klein netwerk op elk 3D-punt decodeert in dichtheid en kleur.
TripoSR werd uitgebracht door Stability AI en Tripo AI onder een MIT-licentie en gebouwd op het LRM-ontwerp.
Marcherende kubussen zetten een dichtheidsveld om in een driehoekig maasoppervlak.
Zero-1-to-3 was een pionier in het genereren van nieuwe inzichten door middel van diffusie, waaruit methoden als InstantMesh vervolgens reconstrueerden.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Schrijven van effectieve aanwijzingen voor het genereren van afbeeldingen
Visuele AI