Il prossimoProssima guida
Allenamento misto di precisione
Tecnico
GUIDA AI visiva
I visori per realtà mista combinano la visione dell'ambiente fisico con contenuti virtuali e le app possono aggiungere funzionalità di intelligenza artificiale come rilevamento di oggetti, input vocale o modelli linguistici.
Ascolta questa guidaNarrato dall'IA · ~3 min
Su Meta Quest, alcuni strumenti di sviluppo espongono i fotogrammi della fotocamera passthrough per la visione artificiale, mentre il rendering passthrough ordinario non fornisce di per sé immagini grezze della fotocamera all'app. La capacità dell'intelligenza artificiale dipende quindi dalla progettazione dell'app, dalle autorizzazioni, dal provider del modello e dal fatto che l'inferenza venga eseguita localmente o in remoto.
A mixed-reality headset can show a live view of the room with digital objects layered into it. Meta Quest developer documentation distinguishes system-composited passthrough from direct camera access. Standard passthrough lets a person see surroundings while the app does not receive raw camera frames. If an app needs those frames for computer vision, QR scanning, or custom processing, it must request relevant permission and follow Meta’s camera-access policies. Quest 3 and Quest 3S are named as supported hardware for the Passthrough Camera API in current developer docs. Developers can add AI by combining camera or scene input with models for object detection, speech recognition, text generation, or speech output. Meta’s AI Building Blocks offer configurable providers, including on-device and cloud options; model availability and requirements vary. This means AI in a headset does not necessarily mean all inference happens on the headset. An app should disclose which inputs it processes, where requests go, and which features require internet. Developers should minimize raw camera access and request it only when needed. AI-supported MR can help anchor instructions to equipment or answer questions about a visible object, but it can misidentify items, misread depth, or respond from incomplete context. Passthrough is not equivalent to natural vision, and Meta cautions it does not replace boundary safety mechanisms. Users should keep hazards visible, follow comfort breaks and device guidance, and verify outputs before acting. These features are app- and device-specific rather than universal headset behavior.
Un'app Quest utilizza le superfici della scena per posizionare una nota virtuale su una scrivania senza richiedere fotogrammi grezzi della fotocamera.
Uno sviluppatore richiede l'autorizzazione all'API Passthrough Camera per il riconoscimento degli oggetti e spiega perché l'app necessita dell'accesso alla fotocamera.
Un prototipo utilizza un modello sul dispositivo per il rilevamento, ma richiama un modello di linguaggio cloud per spiegazioni più lunghe, documentando entrambi i percorsi dei dati.
Un utente testa un assistente MR in una stanza disordinata e mantiene visibile il confine del sistema invece di presumere che il passaggio prevenga gli incidenti.
I visori MR potrebbero acquisire più modelli integrati sul dispositivo e assistenti più ricchi in grado di riconoscere la fotocamera, ma gli sviluppatori di app rimangono responsabili delle autorizzazioni e dei percorsi dei dati. L’elaborazione locale può ridurre alcune esigenze di rete, mentre i modelli cloud possono offrire funzionalità diverse e trasferire input altrove. Gli elenchi delle funzionalità e il supporto hardware cambiano in base alla versione dell'auricolare e del software. Gli utenti e gli sviluppatori dovrebbero verificare i requisiti e i limiti attuali prima di adottare un flusso di lavoro basato sulla fotocamera. I test su dispositivi e versioni dell'app aiutano a rilevare in modo coerente le regressioni di autorizzazioni, latenza e sicurezza prima del rilascio.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I visori per realtà mista combinano la visione dell'ambiente fisico con contenuti virtuali e le app possono aggiungere funzionalità di intelligenza artificiale come rilevamento di oggetti, input vocale o modelli linguistici. Su Meta Quest, alcuni strumenti di sviluppo espongono i fotogrammi della fotocamera passthrough per la visione artificiale, mentre il rendering passthrough ordinario non fornisce di per sé immagini grezze della fotocamera all'app. La capacità dell'intelligenza artificiale dipende quindi dalla progettazione dell'app, dalle autorizzazioni, dal provider del modello e dal fatto che l'inferenza venga eseguita localmente o in remoto.
Meta documenta che il passthrough predefinito non fornisce dati grezzi della fotocamera all'app.
Meta descrive i provider di inferenza configurabili con opzioni locali e cloud.
La configurazione delle autorizzazioni e dell'inferenza influisce sulla gestione degli input non elaborati.
Meta afferma che il passthrough non equivale alla visione naturale e non sostituisce i confini.
Tali condizioni espongono limiti nella percezione e nella comprensione spaziale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Allenamento misto di precisione
Tecnico