Scenario di manutenzione in laboratorio e raccolta di un dataset video in prima persona

Per insegnare a un assistente a guidare un tecnico durante una manutenzione servono prima di tutto degli esempi: video girati in prima persona da persone che eseguono la procedura, a volte correttamente e a volte sbagliando.

L’obiettivo della tesi è costruire tutto questo da zero. Si parte progettando un’attività di manutenzione realistica (es. riparazione di un PC) da riprodurre in laboratorio. Poi si scrive il software per registrare con diversi visori e per annotare i video, e infine si raccoglie una prima collezione di dati. Infine si analizzano i dati e le performance di modelli computazionali (es. MLLMs).

Per iniziare

• Schoonbeek et al., IndustReal: A Dataset for Procedure Step Recognition Handling Execution Errors in Egocentric Videos in an Industrial-Like Setting, WACV 2024.
• Lee et al., Error Detection in Egocentric Procedural Task Videos (EgoPER), CVPR 2024.