and 
Tracciamento della telecamera con precisione centimetrica per l'acquisizione 3D su larga scala (Gaussian splatting)
Panoramica
Questo progetto del cliente proviene da Aryonix, fondata da Alexandre Cavaleri. Aryonix sviluppa un motore di rendering in tempo reale in grado di creare ambienti 3D cinematografici, fotorealistici e immersivi a partire da fotografie. Aryonix ha collaborato con Ali da discesa, un progetto dedicato all'esplorazione, alla mappatura e alla ripresa di percorsi in discesa per pattini in linea, longboard e altri sport di gravità. Il progetto utilizza una tecnica chiamata Gaussian splatting.
Negli sport di discesa, è fondamentale che una ricostruzione digitale corrisponda alla realtà. Il percorso deve avere la posizione, la scala e la pendenza corrette, in modo che i ciclisti possano valutarne con precisione la difficoltà, la sicurezza e l'esperienza di guida complessiva.
La principale difficoltà nella ricostruzione di percorsi all'aperto così lunghi risiede nel calcolo delle posizioni della telecamera: strumenti come COLMAP presentano derive e accumulano errori sulla distanza, faticano a gestire schemi ripetitivi naturali e panorami privi di elementi distintivi (vitigni, manto stradale, cielo) e, senza un GPS preesistente, il risultato non è vincolato a coordinate, scala o pendenza reali.
Per superare queste limitazioni, Aryonix ha utilizzato Bussola GNSS – Kit di avviamento RTK per fornire posizioni e orientamenti della telecamera con precisione centimetrica durante la registrazione.
La trivella
Per risolvere questo problema, abbiamo utilizzato un kit di base con bussola GNSS per fornire a COLMAP le posizioni e l'orientamento della telecamera con precisione centimetrica.
- Bussola GNSS – Kit di avviamento RTK: Kit GNSS/RTK con scheda basata su UM982 e due antenne elicoidali di alta qualità
- Videocamera cinematografica Blackmagic URSA Mini Pro 4.6K G2, che registra in formato RAW.
- L'adattatore XLR Hosa MIT-129 converte il segnale PPS della scheda in livelli audio compatibili con la telecamera e protegge la scheda dall'alimentazione phantom della telecamera.
- Telefono con SW Maps, registrazione RTK e alimentazione della scheda
Sincronizzazione video con RTK
Conoscere la posizione della telecamera è utile solo se ogni fotogramma video può essere associato alla corretta misurazione RTK.
Il ricevitore GNSS emette un segnale PPS (Pulse Per Second). Si tratta di un impulso elettrico estremamente preciso, generato esattamente una volta ogni secondo GPS. Invece di affidarsi all'orologio interno della telecamera, questo segnale PPS è stato registrato direttamente in un canale audio della telecamera tramite l'ingresso XLR.
Poiché l'audio viene campionato a 48 kHz, ogni impulso PPS può essere rilevato con una precisione inferiore al millisecondo. In confronto, un singolo fotogramma video registrato a 24 fps dura circa 42 millisecondi. Ciò consente di assegnare un timestamp a ogni fotogramma con una precisione molto maggiore rispetto all'utilizzo delle informazioni di temporizzazione della telecamera stessa.
La registrazione di un impulso PPS ogni secondo consente inoltre di rilevare e correggere continuamente qualsiasi deriva dell'orologio della fotocamera durante l'intera registrazione. Il segnale PPS segna l'inizio di ogni secondo GPS, mentre il log RTK registrato dal telefono fornisce i corrispondenti timestamp GNSS. Avviare entrambe le registrazioni approssimativamente nello stesso momento è sufficiente per sincronizzare automaticamente gli impulsi PPS con i dati RTK.
Se questo ti sembra complesso, consulta il nostro post Capire il GPS Timepulse o PPS.
Catturare la scena
Il team ha percorso a piedi un tragitto di 800 metri attraverso i vigneti di Lavaux, in Svizzera, registrando video ininterrottamente.
Anziché procedere semplicemente in linea retta, la telecamera è stata spostata con un movimento a spirale per osservare la scena da diverse angolazioni. Ciò migliora la qualità della ricostruzione 3D, evitando al contempo le ombre proiettate dall'operatore.
Occasionalmente, sono stati immortalati brevi tratti di sentieri secondari prima di tornare al percorso principale, aggiungendo ulteriori punti di vista che migliorano la precisione della ricostruzione.
Gli oggetti in movimento, come pedoni e veicoli, venivano gestiti direttamente durante le riprese, distogliendo brevemente l'attenzione della telecamera, riducendo così la necessità di post-produzione.
Risultati
Dopo aver sincronizzato le misurazioni RTK con i fotogrammi video, le posizioni delle telecamere sono state fornite alla pipeline di ricostruzione come informazioni a priori. Invece di stimare la posizione di ogni telecamera a partire dalle sole immagini, il software parte da misurazioni RTK con precisione centimetrica.
La rappresentazione 3D risultante viene renderizzata in tempo reale utilizzando il motore Aryonix, preservando la corretta posizione, orientamento, scala e pendenza del percorso nel mondo reale.
Sebbene qui venga illustrato con il Gaussian splatting, lo stesso flusso di lavoro si applica a qualsiasi metodo di ricostruzione che si basi su immagini 2D e pose della telecamera: i dati a priori sincronizzati della telecamera possono essere forniti a strumenti come COLMAP per addestrare Gaussian splatting, NeRF o ricostruzioni fotogrammetriche tradizionali.
Grazie alla precisione nel posizionamento della telecamera durante tutta la registrazione, il GNSS RTK trasforma un flusso di lavoro che normalmente risentirebbe della deriva cumulativa in un metodo affidabile per la ricostruzione di ampi ambienti esterni. Il risultato è una scena 3D fotorealistica che può essere utilizzata anche per misurazioni accurate del percorso, comprese le pendenze, spesso con un livello di dettaglio superiore a quello offerto dai modelli digitali di elevazione esistenti.
Prodotti correlati
Assistente RTK
Trova i prodotti più adatti alle tue esigenze in poche semplici domande.