Laure Blanc-Féraud

DR CNRSLaboratoire I3S – CNRS-UNS –INRIA Sophia Antipolis

Approche variationnelle pour la restauration d’image

2

Problème général

En discret X=RNxN, X1=RPxP

X X1

u g = Hu + n

Espace des objets à reconstruire

Espace desobservations

2R⊂Ω

Variables continues : ( )xu

( )xux

u

→→Ω R:

niveau de gris au point x=(x1,x2). u∈L2(Ω)., ouvert borné.

( ) ( ) ( ).u.,uuji,:u

221ji, Λ∈∆∆=→

→Λlxjxi

R

Variables discrètes : ui,j

3

Exemple : la restauration d’image

Les images observées sont dégradées (flou + bruit) :

Image originale

Image observée

nuhg +∗=Bruit iid blanc, gaussien

Noyau de convolution

4

Quelles sont les normes, les bons espaces régularisant Y adaptés aux images ?

Quelle norme choisir pour le terme de données ? existence, unicité d’une solution ? Dans quel espace ? Algorithme de minimisation ? Evaluation des résultats ?

Minimisation de critère

Terme d’attache aux données

Norme ou semi-normedans un espacerégularisant

( )uJHug YXYXu

+−∩∈

2

1min

5

CONTENU Introduction aux problèmes inverses : ex. déconvolution

Problème mal posé

Régularisation L2 2

2

2

2uHug ∇+− λ

Régularisation non linéaire

Régularisation L2/L1

Régularisation par Variation Totale

Solutions dans l’espace BV (et algorithmes)

( )∫Ω

+− DuHug ϕλ2

2

Et la transformée en ondelettes ? Régularisation dans le domaine de la transformée en ondelettes

Solution dans un espace de Besov (et algorithmes)

∑−

+−kj

kj

j

uHug,

,22

2,2 ψλ

Autre norme sur le terme des données Approche de Y. Meyer : décomposition d’image

Critère et minimisation ∫Ω

+− DuugG

λ

6

Inversion

inversion

Y

Image floue

≠

nHugH 11 −− +=

Idem pour la solution des moindres carrés2

uHugmin −

©CNES

7

Régularisation l2 (Tikhonov)

≤− 22

2Hug

1u / σ

M

Chercher une solution dans un ensemble de solutions admissibles :

Choisir une solution régulière pour stabiliser le processus d’inversion : 2

2u

umin ∇

Minimisation d’un critère (pénalisation) :2

2

2

2uHug(u) ∇+−= λE

Attache aux données Terme de régularisation

( ) ( )∑∑ −− −+−=∇=∇ji

jijijijiji

jiuuuu

,

21,,

2,1,

,

2

,

2

2uu

8

∆uλHu)(gHt

u * +−=∂∂

Régularisation L2

Equation d’Euler 0=−− ∆uλg)(HuH *

0=∂∂n

ur

J(u)t

u −∇=∂∂

Schéma dynamique : u(i,j,t)

( )( )( )[ ] ( )∫∫

ΩΩΩ∈

∇+− dxxudxxHugHu

22

1min λ

9

CONTENU Introduction aux problèmes inverses : ex. déconvolution

Problèmes bien posés

Régularisation L2

Régularisation non linéaire

Régularisation L2/L1

Régularisation par Variation Totale

Solutions dans l’espace BV et algorithmes

Et la transformée en ondelettes ? Régularisation dans le domaine de la transformée en ondelettes

Solution dans un espace de Besov et algorithmes

Une nouvelle norme sur le terme des données Approche de Y. Meyer : décomposition d’image

Critère et minimisation

2

2

2

2uHug ∇+− λ

( )∫Ω

+− DuHug ϕλ2

2

∑−

+−kj

kj

j

uHug,

,22

2,2 ψλ

∫Ω

+− DuugG

λ

10

Normes l2 et l1 : un petit exemple en 1D.

Norme l1 et l2

Diminuer le poids des forts gradients dans le processus de minimisation :

remplacer la norme l2 par la norme l1.

( ) ( )2

1,,

2

,1,,,

,1

1

2

2

uuu

uHug(u)

−− −+−=∇∇=∇

∇+−=

∑ jijijijijiji

jiuuuu

E

avec

λ

||.||22=9

||.||1 =3

||.||22=5

||.||1 =3||.||2

2=3

||.||1 =3||.||2

2=11

||.||1=5

∑ −−=∇i

ii uu 11u

3

2

1

0

11

Régulariser et préserver les contours

( )∑ ∇ji

ji,

,uα

Minu

1<α 1>α

( )∑ ∇+−=ji

jiE

,,

2uHug(u) ϕλ

On cherche u qui minimise E(u) :

)0( α<

Zones homogènes régularisation 2)1( =<≈ ααϕ αt

Contours préservation 1)1( =≥≈ ααϕ αt

1=α

ϕ fonction de régularisation

12

Fonctions ϕ

ϕ non quadratique :préservationdes contours

13

Modèle explicite de contours

Minimiser en u

est équivalent à minimiser en u et b (b∈ [0,1]MxM)

( )∑ +∇+−=ji

jijijiE,

,

2

,,22* bubHugb)(u, ψλ

( )∑ ∇+−=ji

jiE

,,

2uHug(u) ϕλ

variable auxiliaire bi,j : 0 = contour → arrêt du lissage

1 = zone homogène → lissage

( ) ( ) ( )t

tbbbtt

b

ϕψϕ ′=+=

∈ min2

]1,0[min

14

Minimisations alternées en u et b

Algorithme de minimisation

u fixé minimisation de b

b fixé minimum en u quadratique (gradient conjugué par ex.).

[P.Charbonnier, L. Blanc-Féraud, G. Aubert, M. Barlaud, « Deterministic Edge-Preserving Regularization in Computed Imaging » IEEE Trans. On Image Processing, 6(2), 1997].

[ G. Aubert, L. Vese « A variational method in image recovery » SIAM Journal of Numericalanalysis, 35(4), 1997 ].

[A. Delaney, Y. Bresler « Globally convergent edge-preserving regularized reconstruction : An application to limited-angle tomography » IEEE Trans. On Image Processing, 7(2), 1998].

[J. Idier, « Convex half-quadratic criteria and interacting auxiliary variables for image restoration », IEEE Trans. Image Processing, vol. 10, no. 7, pp. 1001-1009, juil. 2001].

Initialisation u0=0 ou u0=g

convergence (en fonction de la convexité de ϕ)

( )

∇

∇

∇+−+= +++ 121*1 u

u

u')Hu(gHuu n

n

n

nnn divtϕ

λδ

15

Saturn (Hubble

telescope)

observed Wiener

edgepreserving b

16

Image originale

Image observée g Régularisation semi-quadratiqueλ=0.5, δ=10

Régularisation l2

17

Espace de minimisation ?

Un espace de minimisation contenant des fonctions qui peuvent avoir des discontinuités le long de courbes → BV

Espace des fonctions à variation totale bornée.

[Luigi Ambrosio, Nicola Fusco, Diego Pallara “Functions of bounded variation and free discontinuity problems“ Oxford ; New York : Clarendon Press, cop. 2000].

[Evans & Gariepy “MeasureTheory and Fine properties of functions” Studies in advanced mathematics, CRCPress, Berlin 1992].

Critère en variables continues :

( )dxudxHug

dxudxHug

∫∫

∫∫

ΩΩ

ΩΩ

∇+−

∇+−

λ

ϕλ2

2

ou

( )xux

u

→→⊂Ω RR2:

18

Espace BV Le gradient est considéré comme une mesure et on calcule

la variation totale de cette mesure. On la note

Exemple 1D : u définie sur [-1,1] par

alors et

( ) ∫Ω

= DuuJTV

≤<<≤−−

=101

011)(

xsi

xsixu

02δ=Du 21

1=∫− Du

1

-1

19

Exemple en 2D : χA une fonction caractéristique d’ensemble :

Espace BV

( )

)(

0

1

APerD

Axx

A

A

ΩΩ

= ∈

=

∫ χ

χ sinon

si

A

Ω

10

( ) ( )∫∫ΩΩ

∇== dxxuDuuJTV Si u régulière

en discret,

Alors…intérêt ???

( ) ∑ ∇=∇=ji

jiTVJ,

,1uuu

20

Bon espace de fonctions pour les images géométriques (cartoon)

Résultats d’existence et unicité de solution

Difficulté de minimisation de critère avec régularisation par VT En discret, la norme l1 n’est pas différentiable en 0

En continu, pas d’équation d’Euler simple pour la VT

Nouveaux algorithmes de minimisation[A. Braides “Approximation of Free-Discontinuity Problems.” Lecture Notes in Mathematics,

1694, Springer 1998]

[A. Chambolle, PL Lions “Image recovery via total variation minimization and relatedproblems.” Numerische Mathematike, 76(2), Springer, 1997]

[A. Chambolle “An Algorithm for Total Variation Minimization and Applications.” Journal of Mathematical Imaging and Vision 20 (1-2): 89-97, January - March, 2004.]

[P. Weiss, L. Blanc-Féraud, G. Aubert “Sur la complexité et la rapidité d’algorithmes pour la minimisation de la variation totale sous contraintes.” Gretsi 2007]

…

Minimisation dans BV

∫∫ΩΩ

∈+− DudxHug

BVuλ

2inf

21

Exemple

originale bruitée

régularisation régularisation

L2 L1

22

originale

régularisation L2 régularisation L1

Lignes de niveaux

23

CONTENU Introduction aux problèmes inverses : ex. déconvolution

Problèmes bien posés

Régularisation L2

Régularisation non linéaire

Régularisation L2/L1

Régularisation par Variation Totale

Solutions dans l’espace BV et algorithmes

Et la transformée en ondelettes ? Régularisation dans le domaine de la transformée en ondelettes

Solution dans un espace de Besov et algorithmes

Une nouvelle norme sur le terme des données Approche de Y. Meyer : décomposition d’image

Critère et minimisation

2

2

2

2uHug ∇+− λ

( )∫Ω

+− DuHug ϕλ2

2

∑−

+−kj

kj

j

uHug,

,22

2,2 ψλ

∫Ω

+− DuugG

λ

24

Une décomposition 2D (Haar)

25

Régularisation par ondelettes

Domaine des ondelettes : Représentation parcimonieuse du signal → bonne séparation signal/bruit

Débruitage : nug cccnug +=→+=

( )

≤>

=Tt

TtttH

T si

si

0θ seuillage dur : TT−

HTθ( )gu cc θ= Par seuillage :

Le seuillage dur préserve les forts coefficients (supérieurs à T) = contours

→ pas de lissage des contours.

Les petits coefficients (inférieurs à T) sont mis à 0 : dans les zones où les transitions de l’image sont faibles, on fait une moyenne locale des coefficients bruités.

1

2

21,

,

2

2, uHuguHug

M

jiji Ψ+−=+− ∑

=

λψλ

26

Débruitage par ondelettes

seuillage mou : ( )

≤−<+

>−=

Tt

TtTt

TtTt

tST

si

si

si

0

θTT−

STθ

Les forts coefficients sont atténués de T.

La fonction de seuillage est plus régulière (continue).

L’estimateur de seuillage est optimal (au sens risque minimax) pour le seuil , parmi les opérateurs diagonaux dans une base d’ondelettes. [D. Donoho I. Johnstone, 1994 - …]

2log2 MT σ=

27

Interprétation variationnelle du seuillagedes coefficients en ondelettes

• Domaine des ondelettes : Représentation parcimonieuse du signal→ Trouver u qui minimise

0c

2u#ug

≠+− λ

0c

2guu#cc

≠+− λ

Solution : cuopt = θλ(cg) seuillage dur.

1

u2

2

gu ccc λ+−⇔

Solution : cuopt = θλ(cg) seuillage doux

1

u2

2cgu λ+−

→ Trouver u qui minimise

28

Extension à la déconvolution,

Le gradient est

Algorithmes de « type proximal »

[Demol-Defrise-Daubechies04, Figueiredo-Nowak04, Bect-Blanc-Féraud-Aubert-Chambolle04]

[Wajs-Combettes05, Chaux-Pesquet-Combettes-Wajs07…]

Déconvolution et TO

1

2

2uHug Ψ+− λ

( )

ΨΨΨ+−

1

**

u

ugHuH

( ) ( )( )nn HugHuIuJK

n −+∏−=+ *1 ξλξ

29

La norme l1 des coefficients en ondelettes :

est la norme sur l’espace de Besov B11,1 ([0,1])

Utiliser cette norme pour le terme d’a priori correspond àun seuillage doux sur les coefficient en ondelettes pour la partie régularisation.

Espace de Besov

∑ ∑+

−∞=

−

=

−−

=1 12

0,

2 ,211,1

J

j kkj

j

B

j

uu ψ

30

Espace de Besov

L’espace de Besov Bsβ,γ ([0,1]) est l’ensemble des fonctions u∈L2([0,1]) dont les

coefficients dans une base d’ondelettes satisfont

On montre que la norme est indépendante de la base d’ondelettes ψj,m choisie, tant que les ondelettes de la base ont q>s moments nuls et sont dans Cq.

L’espace correspond typiquement à des fonctions qui ont une dérivée d’ordre s dans Lβ([0,1]). γ est un paramètre de réglage fin qui est secondaire.

Les espaces de Besov incluent des fonctions régulières par morceaux (β<2).

+∞<

= ∑ ∑

+

−∞=

−

=

−+−

γγ

βββ ψ

γβ

1

1

1

12

0,

1

2

1

,2,

J

j mmj

sj

B

j

s uu

31

On peut montrer que

C’est-à-dire que la norme BV s’encadre par deux normes de Besov

Besov et BV

[ ]( ) [ ]( ) [ ]( )1,01,01,0 1,1

11,1 +∞⊂⊂ BBVB

∫

∑ ∑

∑

+=

=

=

≤≤

+

=

−

=

−

−

=

−

+≤

−

−

+∞

+∞

Duuu

uu

uu

uBuuA

BV

J

j mmj

j

B

mmj

j

JjB

BBVB

j

j

1

1

0

12

0,

2

12

0,

2

1

,2

,2sup

11,1

1,1

11,1

1,1

ψ

ψ

32

Approximation des fonctions BV

Propriété : Soit ε[M] l’erreur d’approximation non linéaire sur une base d’ondelettes :

alors

Cette vitesse de décroissance ne peut être meilleure avec n’importe quelle autre approximation non linéaire dans une base orthogonale. En ce sens les ondelettes sont optimales pour l’approximation de fonctions à variations bornées.

(la décroissance de l’erreur ε[M] pour l’approximation linéaire en M-1)

[ ]( )[ ] 22

.

1,00−≤

∈∀>∃

MuBM

BVuB

TVε

quetel

[ ] ∑∉

=MImj

mjuM,

2

,,ψε

33

Régularisation par TO ou par TV? Pour la restauration de g=Hu+n on considère la fonctionnelle à minimiser

||.||Y est la norme de l’approximation u de g dans un espace régularisant Y :

BV, B11,1 …

( ) YLuHug λ+−

Ω

22

Pas d’espace optimal, dépend du contenu de l’image TV lisse les oscillations reconstruit bien les contours et permet interpolation et

extrapolation spectrale.

TO reconstruit bien les détails et les textures

Modèles ultérieurs pour le débruitage décomposition sur des trames, X-lets [,…]

décomposition sur un dictionnaire [Stark-Elad-Donoho05,…]

Régularisation mixte l1 , par exemple TV + TO(s)

34

CONTENU Introduction aux problèmes inverses : ex. déconvolution

Problèmes bien posés

Régularisation L2

Régularisation non linéaire

Régularisation L2/L1

Régularisation par Variation Totale

Solutions dans l’espace BV et algorithmes

Et la transformée en ondelettes ? Régularisation dans le domaine de la transformée en ondelettes

Solution dans un espace de Besov et algorithmes

Une nouvelle norme sur le terme des données Approche de Y. Meyer : décomposition d’image

Critère et minimisation

2

2

2

2uHug ∇+− λ

( )∫Ω

+− DuHug ϕλ2

2

∑−

+−kj

kj

j

uHug,

,22

2,2 ψλ

∫Ω

+− DuugG

λ

35

Décomposition d’image

vug +=

Supposons qu’on ait une image g (sans flou) que nous voulonsdécomposer en deux parties:

[Yves Meyer: Oscillating patterns in image processing and in some nonlinear evolution equation, 2001].

Géométrie Texture+Bruit

(partie BV)

36

Modèle par TV [Rudin Osher Fatemi 1992]

Débruitage d’image par TV

Ce problème est équivalent à

v = g - u reste de l’image observée moins la partie BV, doit contenir les textures et le bruit

Remarque de Y. Meyer: la norme L2 pour v n’est pas adaptée et ne peut pas capturer les oscillations dans le processus de minimisation.

( )

+− ∫Ω

Ω∈Duug

BVu

2

22

1inf

λ

( ) ( )

=++ ∫Ω

×Ω∈gvuDuv

LBVvu,

2

1inf

2

2, 2 λ

37

Le problème posé par Yves Meyer

L’espace G et la norme associée sont définis par

( )

=++∫Ω

×∈gvu,vinf

vu, GGBVDu α

( ) ( ) XXdiv

divXXXG

G×∈===

=×∈∃∈=

∞ 21 w,ww,w/vwinfv

wvw/v quetel

( ) ( )22,

21,,,

,wwwwmaxw jijijiji

ji+==

∞où

38

Exemple 1D (variables continues)

( ) [ ]( )

( ) [ ]( ) N

N

∈∀=

∈∀=

nn

nx

nnx

G

L

1sin

sin

,0

,02

π

π π

Les fonctions de G peuvent être très oscillantes avec une petite norme .G.

39

Exemple 2D (variables discrètes)

Images

texturée

géométrique

TV

1000 000

64 600

L2

9500

9500

G

360

2000

40

Calcul numérique

Calculer la norme G est difficile à cause de la norme L∞ qui est non-différentiable.

Plusieurs algorithmes ont été proposés, dont :

[Vese, Osher… 2003-] approximation de la norme G ou définition d’autres espaces, [Darbon, Sigelle 2005] approche par ensemble de niveaux et technique de graph-cut,

[Goldfarb, Yin 2005] second order cone program et technique de point intérieur.

[Aujol, Aubert, Blanc-Féraud, Chambolle 2005] une solution pour la minimisation obtenue par dualité et projection.

…

Pour une autre approche de la décomposition d’image

[Stark-Elad-Donoho05]

…

41

Décomposition de Barbara

composante u

avec la norme G avec la norme L2

composante v

42

Restauration d’image RSO

Image RSO CNES-CESBIO

λ=0.1, µ=30 λ=0.1, µ=40

43

En résumé

Quel est l’espace Z (et la norme) à utiliser à la place de L2, pour modéliser les textures et/ou le bruit dans un algorithme de restauration ?

Quel est l’espace Y (et la norme) à utiliser pour la régularisation ?

Interprétation stochastique : estimation des paramètres ? Analyse théorique du problème de minimisation ? Algorithmes de minimisation ? Évaluation, analyse des erreurs ? Et le multispectral / hyperspectral ?

( )uJAug YZ+−

44

Remerciements

Gilles Aubert, J-A Dieudonné Laboratory, University of Nice-Sophia Antipolis

Antonin Chambolle, CMAPX, Ecole Polytechnique Paris,

Jean-François Aujol, CMLA, ENS Cachan, Paris

Julien Bect, ex master student in Ariana

Pierre Charbonnier, LCPC Strasbourg

André Jalobeanu, LISTIC Strasbourg

et les autres collaborateurs …