Rilevamento in tempo reale degli errori procedurali su dispositivo edge tramite grafi procedurali
In breve
Costruire una demo dal vivo che osserva una persona mentre svolge una procedura e la avvisa subito se salta un passo o lo fa nell'ordine sbagliato.
Montare un mobile, preparare una ricetta, fare manutenzione a una macchina: ogni procedura ha passi che vanno fatti prima di altri. Gli assistenti virtuali su dispositivi indossabili possono guidarci attraverso queste procedure e avvisarci nel momento in cui sbagliamo.
L’obiettivo della tesi è costruire una demo dal vivo che fa esattamente questo. Una telecamera indossabile, o una webcam, riprende le mani al lavoro; un piccolo computer NVIDIA riconosce i passi in tempo reale e li confronta con la “mappa” della procedura, segnalando subito passi saltati o fuori ordine. Si parte da un metodo sviluppato nel nostro gruppo e lo si porta dal laboratorio al mondo reale: è una tesi pratica, dal codice fino a una demo da mostrare.
Per iniziare
- Seminara, Farinella, Furnari, Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos, NeurIPS 2024.
- Seminara, Farinella, Furnari, Task Graph Maximum Likelihood Estimation for Procedural Activity Understanding in Egocentric Videos, IEEE TPAMI, arXiv 2502.17753.
Ti interessa questa tesi? Scrivimi indicando il tuo corso di laurea e gli esami sostenuti.