Porting e ottimizzazione di un sistema di memoria visiva su dispositivi edge NVIDIA
In breve
Far funzionare un assistente con memoria visiva su piccoli computer NVIDIA, veloce, a basso consumo e senza cloud.
Un assistente con memoria visiva dovrebbe funzionare vicino all’utente, senza inviare i video nel cloud: è più veloce e rispetta la privacy. I modelli di intelligenza artificiale, però, richiedono molte risorse, mentre i dispositivi portatili ne hanno poche.
L’obiettivo della tesi è prendere un sistema di memoria esistente e farlo girare su computer compatti NVIDIA, ottimizzandolo passo dopo passo fino a una demo funzionante. Imparerai le tecniche con cui l’industria porta l’IA sui dispositivi: profilazione, quantizzazione, compilazione dei modelli.
Per iniziare
- Jacob et al., Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, CVPR 2018.
- Documentazione NVIDIA TensorRT e JetPack.
Ti interessa questa tesi? Scrivimi indicando il tuo corso di laurea e gli esami sostenuti.