Apprendimento della selezione dei sensori per il riconoscimento di azioni a basso consumo su dispositivi indossabili

Gli occhiali smart integrano telecamere, microfoni e sensori di movimento e di sguardo, ma tenerli tutti accesi scarica rapidamente la batteria. Per funzionare a lungo, un dispositivo indossabile deve attivare solo i sensori utili in ogni momento.

L’obiettivo della tesi è costruire un sistema che impara da solo questa strategia. Guardando i dati che arrivano, decide istante per istante quali sensori usare per riconoscere cosa sta facendo l’utente, cercando il miglior compromesso tra accuratezza e consumo. Si lavora su dati multimodali reali già pronti all’uso, con modelli di deep learning per sequenze, e si misura quanta energia si riesce a risparmiare. È una tesi di ricerca, con l’obiettivo di migliorare le soluzioni esistenti.

Per iniziare

• Santos-Villafranca et al., Ego-METAS: an Egocentric online Multimodal Energy-efficient Temporal Action Segmentation benchmark, arXiv 2606.02246.
• Panda et al., AdaMML: Adaptive Multi-Modal Learning for Efficient Video Recognition, ICCV 2021.