Conoscenza procedurale per assistenti esperti mediante modelli video-linguaggio
In breve
Dare a un assistente video-linguaggio la conoscenza di come si svolge una procedura, per rispondere come farebbe un esperto a chi la sta imparando.
Quando impariamo una procedura nuova, un esperto accanto a noi risponde alle domande e ci corregge al momento giusto, perché sa come la procedura deve andare. I modelli video-linguaggio attuali descrivono bene ciò che vedono, ma non hanno questa conoscenza: sui dataset in cui serve conoscere la procedura (per esempio le quantità degli ingredienti), restano lontani dal livello di un esperto.
L’obiettivo della tesi è costruire assistenti che sfruttano esplicitamente la conoscenza procedurale, per esempio recuperandola da fonti esterne o rappresentandola in forma strutturata, e misurare quanto questo li avvicini a un esperto umano. Si lavora con modelli video-linguaggio moderni su video in prima persona di attività reali.
Per iniziare
- Ragusa et al., Ego-EXTRA: video-language Egocentric Dataset for EXpert-TRAinee assistance, WACV 2026, arXiv 2512.13238 · sito.
- Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020.
Ti interessa questa tesi? Scrivimi indicando il tuo corso di laurea e gli esami sostenuti.