Algorithmes de descente par blocs pour l’apprentissage creux
16
de descente par blocs pour l’apprentissa ge creux Mehdi Meghzifene – IF Ensimag 2A 18 mai 2011
-
Upload
teegan-tran -
Category
Documents
-
view
21 -
download
2
description
Algorithmes de descente par blocs pour l’apprentissage creux. Mehdi Meghzifene – IF Ensimag 2A 18 mai 2011. Objectif. Réduire le nombre de paramètres décrivant un individu. k < < m. Comment?. En minimisant l’erreur de reconstruction pour k fixé. ACP. où. - PowerPoint PPT Presentation
Transcript of Algorithmes de descente par blocs pour l’apprentissage creux
Algorithmes de descente par blocs pour
l’apprentissage creux
Mehdi Meghzifene – IFEnsimag 2A18 mai 2011
ObjectifRéduire le nombre de paramètres décrivant un individu.
k < < m
Comment?
En minimisant l’erreur de reconstruction pour k fixé.
ACPoù
Formulation du Problème
Minimisation de l’erreur parcimonie
Relacher la contrainte d’orthogonalité pour obtenir une compression plus forte.
Problème trop complexe
Norme ||.||1
Pourquoi la norme ||.||1?
Difficultés & Solutions
• h n’est pas convexe. On considère donc les fonctions partielles
• f n’est pas différentiable. On doit avoir recours à des algorithmes
spécifiques pour résoudre
Algorithme de descente par coordonnée
Minimisation à tour de rôle selon chaque coefficient de α.
Convergence
Preuve adaptée de Non Linear Programming, Bertsekas
Expériences
Algorithmes Implémentés
Résultats Descente α
Résultats Descente D
Résultats Parcimonie
Comparaison avec l’ACP
MERCI
