Algorithmes de descente par blocs pour

l’apprentissage creux

Mehdi Meghzifene – IFEnsimag 2A18 mai 2011

ObjectifRéduire le nombre de paramètres décrivant un individu.

k < < m

Comment?

En minimisant l’erreur de reconstruction pour k fixé.

ACPoù

Formulation du Problème

Minimisation de l’erreur parcimonie

Relacher la contrainte d’orthogonalité pour obtenir une compression plus forte.

Problème trop complexe

Norme ||.||1

Pourquoi la norme ||.||1?

Difficultés & Solutions

• h n’est pas convexe. On considère donc les fonctions partielles

• f n’est pas différentiable. On doit avoir recours à des algorithmes

spécifiques pour résoudre

Algorithme de descente par coordonnée

Minimisation à tour de rôle selon chaque coefficient de α.

Convergence

Preuve adaptée de Non Linear Programming, Bertsekas

Expériences

Algorithmes Implémentés

Résultats Descente α

Résultats Descente D

Résultats Parcimonie

Comparaison avec l’ACP

MERCI