Cos’è lo splatting gaussiano 3D e come può rivoluzionare i mondi in realtà aumentata

Recentemente implementata nell'app Scaniverse di Niantic, questa tecnologia di scansione utilizza una combinazione di punti di dati 3D, noti come "splat", per creare rappresentazioni visive pressoché indistinguibili dal reale

Niantic Scaniverse

di Roberto Catania - 26/03/2024 17:48

La realtà aumentata diventa sempre più… reale. Niantic – la società nota per aver dato i natali a Pokemon GO, il gioco che ha trasformato l’AR in un fenomeno di massa - ha da poco annunciato il supporto al cosiddetto splatting gaussiano 3D all’interno di Scaniverse, l'app di scansione spaziale acquistata nel 2021. L'obiettivo, si legge nel comunicato che fa da cornice al lancio, è quello di "portare la creazione di contenuti 3D direttamente nelle mani degli utenti, rendendo possibile catturare e condividere il mondo in modo totalmente nuovo".

Ma di cosa si tratta, in concreto? Lo splatting altro non è che un sistema di scansione per creare scene 3D fotorealistiche attraverso un semplice smartphone. Tecnicamente parlando, siamo di fronte a una tecnica di rasterizzazione nella ricostruzione 3D che combina e supera le sfide delle attuali tecniche di NeRF e fotogrammetria. Partendo da una serie di immagini, la ricostruzione della geometria tridimensionale di una scena o di un oggetto (meglio nota come Structure from Motion o SfM) viene impiegata per stimare una nuvola di punti. Ogni punto viene poi convertito in una gaussiana, che contiene una serie di parametri quali posizione, orientamento, scala, colore e trasparenza.

La differenza rispetto alle modalità già note di acquisizione (si pensi ai cosiddetti “mesh”) sta nel livello di dettaglio senza precedenti: gli splat sono in grado di rappresentare trasparenza, riflessi e illuminazione in modo estremamente accurato, simile a quanto percepiamo con l'occhio umano. Tutto ciò si traduce nella possibilità di produrre modelli che sono virtualmente indistinguibili dalle scene reali, un aspetto dal potenziale rivoluzionario in diversi settori, tra cui il design industriale, l'architettura, il gaming, l'arte digitale e molto altro ancora.



Ad abilitare un tale livello di realismo sono soprattutto la capacità e la velocità di apprendimento in dote alla tecnologia: gli splat possono infatti adattarsi a una vasta gamma di scene, indipendentemente dalla scala o dai materiali coinvolti, e in pochissimo tempo. È sufficiente aprire l’applicazione Scaniverse, effettuare la scansione e far partire l’elaborazione per addestrare lo splat, spiega Niantic. Tempo stimato? Un minuto circa, ma volendo si può prolungare l’addestramento per ottenere dettagli e qualità ancora più elevati.

Il tutto senza passare da un server remoto: la scansione, il rendering in tempo reale e la generazione di immagini in qualità fotorealistica avvengono infatti sul dispositivo mobile sul quale è installata l’applicazione. Ciò significa che i contenuti risiedono sul dispositivo, a meno che – chiaramente - l’utente non decida di condividere il risultato.

Il supporto a questa tecnologia – va detto – è ancora limitato, sia in termini di dispositivi compatibili (per il momento solo iPhone e iPad), sia per ciò che riguarda funzionalità ed ambienti di sviluppo: Scaniverse è funzionale per ricreare oggetti di uso quotidiano, ma per scansion di aree più ampie o per creare modelli 3D indipendenti (ovvero senza sfondo), la “vecchia” tecnologia mesh risulta ancora più affidabile. Tuttavia Niantic fa sapere di essere già al lavoro per superare questi limiti, preannunciando la versione di Scaniverse per Android (arriverà prossimamente) e la possibilità di ritagliare e modificare gli splat, proprio come è già possibile con le mesh.