Démosaïçage dans les caméras numériques couleur · • Acquisition d’images numériques...

Démosaïçage dans les caméras numériques couleur

David Alleysson11 Janvier 2005

Introduction• Trivalance de la perception des couleurs

chez l’homme.Expérience d’égalisation visuelle

[W] r[R] g[G] b[B]

Loi de Grassman

Equivalence [W] = r[R] + g[G] + b[B]

Symétrie[A]=[B] => [B]=[A]

Proportionalité[A]=[B] => k[A]=k[B]

Additivité[A]=[B], [C]=[D] => [A]+[C]=[B]+[D]

Transistivité[A]=[B], [B]=[C] => [A]=[C]

Espace Vectoriel

Introduction• L’espace des couleurs est tridimensionnelUne image couleur est un vecteur à trois composantes par position spatiale.

=

Introduction• Acquisition d’images numériques couleur

Lumière incidente

Reflecteur 60% Filtre Rouge

CCD

Miroir

Miroir

CCD

CCD

Filtre Vert

Filtre Bleu

Reflecteur 50%

Caméra 3CDD

Lumière incidente

CCDMatrice de filtres couleurs (CFA)

Caméra monoCCD,Single chip

Mosaïque de cônes

350 400 450 500 550 600 650 700 750

LMS

0

0.5

1

Introduction• Le CFA de Bayer, Bayer 1976

– 2 fois plus de pixels de luminance que de pixels de chrominance

– Même fréquence d’échantillonnage horizontale et verticale des chrominances.

R11 G12R13

G21 B22 G23

R31 G32R33

Introduction• Simulation d’une image CFA par

suppression de pixels

Bayer CFA et TV NTSC• Le format du CFA est compatible avec le format

NTSC.

525

Y-

I

Q

CFA de Dillon & Bayer, 1977• Le CFA est compatible avec une mesure

entrelacée.

Copie de pixels• Utilisée avec des éléments analogiques

Dillon & Bayer, 1979

Copie de pixels• Simulation sur le CFA de Bayer

T=0.02

Interpolation linéaire

• Avec des éléments discretsAdcock et al. 1977

Interpolation linéaire• Camera avec mémoire et bus de données

Cok, 1986

Interpolation bilinéaire• Simulation sur le CFA de Bayer

4/010141010

=GF 4/

121242121

,

=BRF

43,31,33,11,1

2,2

RRRRR

+++=

43,22,31,22,1

2,2

GGGGG

+++=

R11 G12R13

G21 B22 G23

R31 G32R33

Interpolation bilinéaire

Méthodes optiques• Filtre biréfringent

Evans, 1949Pritchard, 1971Greivenkamp, 1986, 1990Cok 1986Weldy, 1987, 1989

Méthode de constance de teinte• Interpolation de la teinte

On interpole la teinte plutôt que chacune des couleurs

43,3

3,3

1,3

1,3

3,1

3,1

1,1

1,1

2,22,2

GR

GR

GR

GR

GR+++

=

Les teintes sont calculées comme les rapports R/G et B/G

Nécessite l’initialisation des pixels verts par interpolation bilinéaire

Méthode de constance de teinte• Simulation sur le CFA de Bayer

Reconnaissance de formes• Classer les pixels suivant le voisinage

XH

HHL X H

L

LH L

LXHH

Contour Bande Coin

XL

LH H

BB

BB

BB

BB

XHHL

L

CC

CC

Xp1

p2p4

p3

m=(p1+p2+p3+p4)/4

A>=B>=C>=D

M=(B+C)/2

Si pi<m =>L (lower)Si pi>m =>H (higher)Si pi=m =>E (equal)

Cok, 1986, Cok 1994, Adams 1995

Reconnaissance de formes

Utilisation du gradient• Seuillage sur le gradient pour la classification

∆H=|G43 –G45|

R11 G12R13

G21 B22 G23

R31 G32R33

R15

R35

R51 R53 R55

G14

G25

G34

G41 G43 G45

G52 G54 G56

G36

G16

G61 G63 G65

B24 B26

B42 B44 B46

B62 B64 B66

∆V=|G34 –G54|

Si ∆H>∆VG44=(G34+G54)/2

Sinon si ∆H<∆VG44=(G43+G45)/2

SinonG44=(G34+G43+G45+G54)/4

Hibbard 1995

Laroche et al. 1994

∆H=|(B42+B46)/2–B44|

∆V=|(B24+B64)/2–B44|

Utilisation du gradient

Gradient corrigé du laplacien

R11 G12R13

G21 B22 G23

R31 G32R33

R15

R35

R51 R53 R55

G14

G25

G34

G41 G43 G45

G52 G54 G56

G36

G16

G61 G63 G65

B24 B26

B42 B44 B46

B62 B64 B66 ∆H=|G43-G45|+|2B44 -B42-B46|

∆V=|G34-G54|+|2B44-B24-B64|

Si ∆H>∆VG44=(G34+G54)/2+(2B44 –B24-B64)/4

Sinon si ∆H<∆VG44=(G43+G45)/2+(2B44 -B42-B46)/4

SinonG44=(G34+G43+G45+G54)/4+(4B44 –B24-B64 -B42-B46)/8

Idéal

Linéaire

Corrigée

Gradient corrigé du laplacien

Interpolation linéaire pondérée• Généralisation de reconnaissance des formes

G44=(E43G43+E45G45+E34G34+E54G54)/(E43+E45+E34+E54)R11 G12R13

G21 B22 G23

R31 G32R33

R15

R35

R51 R53 R55

G14

G25

G34

G41 G43 G45

G52 G54 G56

G36

G16

G61 G63 G65

B24 B26

B42 B44 B46

B62 B64 B66

Exemple Hibbard

Si |G34-G54|<|G43-G45| => E34=E54=1 et E43=E45=0

Si |G34-G54|>|G43-G45| => E34=E54=0 et E43=E45=1

Si |G34-G54|=|G43-G45| => E34=E54=E43=E45=1

Kimmel 1999

Ei,j=1/(1+Di,j2+Di+1,j+1

2)1/2

Fonction contour Dx(Pi,j)=(Pi-1,j-Pi+1,j)/2Dy(Pi,j)=(Pi,j-1-Pi,j+1)/2

Dxd(Pi,j)=….

Kimmel

Coefficients prédéterminés • Interpolation directement dans le CFA

R11 G12R13

G21 B22 G23

R31 G32R33

R15

R35

R51 R53 R55

G14

G25

G34

G41 G43 G45

G52 G54 G56

G36

G16

G61 G63 G65

B24 B26

B42 B44 B46

B62 B64 B66

b33=R33-Rm+Bm Rm=(R13+R31+R33+R35+R53)/5

Bm=(B22+B24+B42+B44)/4

−

−−

−

0040005050401604

0505000400

201

Interpolation des pixels bleus au points rouges

−−−−

−−−−−−

004040005163016504012641204

05163016500040400

801

Pixel R/B au pixels G

−−−−−

−−−−

−−−

0040400050100504082580401025602510040825804050100500040400

1001

Pixels G

Coefficients prédéterminés

Suppression d’aliasing• Motifs d’aliasing

fx

fy

-1/2

-1/2

1/2

1/2-1/4

-1/4

1/4

1/4fx

fy

-1/2

-1/2

1/2

1/2

Topfer et al. 1998

fx

fy

-1/2

-1/2

1/2

1/2H H

V

V

Copie des hautes fréquences du vert sur le rouge et le bleu

Goltzbach et al. 2001

Suppression d’aliasing

Projection alternée

• Algorithme itératif

Initialisation par interpolation bilinéaire ou HamiltonAnalyse par ondelettes des plans RGB.Copie des hautes fréquences de G sur R et BSynthèse par ondelettes de l’image R B modifiéeCorrection des pixels interpolés par les valeurs réellesRecommencer au point 2 jusqu’au critère d’arrêt

Projection alternée

Décomposition luminance-chrominance

= +

+=

InterpolationDemodulation

Avec un arrangement aléatoire

Sélection de fréquences• FFT d’une image CFA

FFT

fx

fyπ

π−π−π

( 2 )/2R G BC C C+ +) ) )

( )/8R BC C−) )

( 2 )/16R G BC C C− +) ) )

Sélection de fréquences

x =

−2 +3 −6 +3 −2

+3 +4 +2 +4 +3

−6 +2 +48 +2 −6

+3 +4 +2 +4 +3

−2 +3 −6 +3 −6

/64* =


MultiplexedImage Luminanceluminance

selection

MultiplexedChrominance

+ -

demulti-plexing

SubsampledChrominance

interpo-lation Chrominance

RGB image+

+


fx

fyπ

π−π−π

( 2 )/2R G BC C C+ +) ) )

( )/8R BC C−) )

( 2 )/16R G BC C C− +) ) )

Le CFA de Bayer est l’arrangement spatial optimal

Comparaisons

Cop

ie p

ixel

sB

ilinéa

ireC

onst

ance

des

tein

tes

Free

man

Tem

plat

e M

atch

ing

Cok

Hib

bard

Laro

che

Ham

ilton

Cra

neK

imm

elA

nnul

atio

n d’

alia

sing

Gun

turk

1G

untu

rk 2

Sél

ectio

n fré

quen

tielle

CPSNRdB

Comparaisons

CPSNR PSNRR PSNRG PSNRB CMSE MSER MSEG MSEB TempsCopie Pixel 26.68 25.86 28.83 25.99 27.85 33.64 17.4143 32.49 0.05Bilineaire 30.21 29.36 33.27 29.13 12.75 15.56 6.2546 16.43 0.17Teinte Const 32.83 32.60 33.23 32.72 6.87 7.12 6.2864 7.19 0.42Freeman 34.21 34.30 33.96 34.45 4.97 4.75 5.3781 4.79 120.97Template Match 33.29 32.60 34.51 33.30 5.96 6.96 4.7562 6.16 39.67Hibbard 33.22 33.01 33.47 33.22 6.31 6.48 6.0486 6.42 0.73Laroche 34.45 34.11 34.88 34.44 4.72 4.98 4.3624 4.83 0.82Hamilton 37.23 36.35 38.42 37.30 2.42 2.86 1.9148 2.48 1.04Crane 35.95 34.64 39.64 35.17 3.19 4.24 1.3346 4.02 0.93Kimmel 37.29 36.22 39.42 37.09 2.17 2.78 1.3415 2.39 7.39Annulat. Alias 31.82 30.68 34.38 31.46 7.56 9.48 4.7798 8.42 1.45Gunturk 1 37.92 36.69 40.27 37.76 1.92 2.55 1.1185 2.11 5.62Gunturk 2 39.16 37.71 41.58 39.27 1.38 1.97 0.7972 1.38 6.51Select. Frequ. 37.78 36.22 40.82 37.69 1.91 2.79 0.9414 1.99 0.39

Démosaïçage dans les caméras numériques couleur · • Acquisition d’images numériques...

Documents

Transcript of Démosaïçage dans les caméras numériques couleur · • Acquisition d’images numériques...