Les capteurs imageurs - LORIA · 2017. 3. 29. · Capteurs CCD/CMOS Exposition et sensibilite...

De la photographienumérique à laphotographie

computationnelleSéance 7

F. Sur - ENSMN

Capteurs

CCD/CMOS

Exposition etsensibilité

Modélisationstatistique du bruit

Modèle Poisson-Gauss

Estimation

Limites

Conclusion

De la photographie numériqueà la photographie computationnelle

Séance 7

Le bruit dans les imagesnumériques

Frédéric Sur

École des Mines de Nancy

Loria

https://members.loria.fr/FSur/enseignement/photo/

1/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Exemple

Source : wikipedia.org2/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Séance 7

1 CapteursCCD/CMOSExposition et sensibilité

2 Modélisation statistique du bruitModèle Poisson-GaussEstimationLimites

3 Conclusion

3/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Les capteurs imageurs

Deux grandes familles : CCD (1969) / CMOS (1963)Années 1980 : applications vidéo

Années 1990 : applications photo

But : mesurer une tension en chaque photosite fonction del’exposition lumineuse.

→ fichier RAW ou caméra linéaire :niveau de gris = tension discrétisée

4/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Formation de l’image et bruit

→ tension en chaque photosite proportionnelle à l’exposition.Tension haute : site clair

Tension basse : site sombre

En chaque photosite :

photonsphotosite−−−−−→ électrons

condensateur

amplificateur−−−−−−−−−→ tension

Principales sources d’incertitude dans la mesure de latension :

courant d’obscurité (residual dark current)

bruit photonique (shot noise)

bruit de lecture (read-out noise)

5/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Autre exemple

6/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Détour : la notion d’exposition

Ou comment sont liés :

quantité de lumière incidente,

ouverture du diaphragme,

temps de pose,

sensibilité de la surface où se forme l’image.

7/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Éclairement : le nombre d’ouverture

Diaphragme vu en F sous l’angle solide : Ω = πD2/(4f 2).Éclairement par un flux lumineux parallèle à l’axe optique :

E = Ω · T · L = πD2

4f 2TL =

πTL

4N2(en lux)

T : facteur de transmission de l’objectif

L : luminance de la source lumineuse (proportionnelle àl’intensité lumineuse de la source) (en candela.m−2)

N = f /D est le nombre d’ouverture

8/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Ouverture : f /N

Ouverture du diaphragme : D = f /N→ objectif ouvrant à f /2 (i.e. N = 2), f /4 (i.e. N = 4), etc.Éclairement inversement proportionnel à N2

→ ouvertures standardisées en progression géom. raison√

2 :f/1, f/1,4, f/2, f/2.8, f/4, f/5,6, f/8 ; f/11. . . (cran)

9/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Principe de réciprocité

Durée d’exposition : t

Exposition lumineuse : H = E · t→ quantité de lumière cumulée par unité de surface pendant t(en lux.s)

Principe de réciprocité :Multiplier (resp. diviser) le temps de pose par 2 en fermant(resp. ouvrant) d’un cran donne la même exposition.

10/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Exercice

Même exposition pour :

t = 1/100 sec., f/4

t = 1/200 sec., f/2,8

t = 1/25 sec., f/8

t = 1/3 sec, f/22

11/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Sensibilité

Photographie correctement exposée lorsque la surfacesensible reçoit la � bonne � quantité de lumière

→ celle qui permet d’obtenir une image qui n’est ni � tropclaire � ni � trop sombre �.(notion forcément un peu arbitraire)

→ automatisme : scène supposée correspondre à un grismoyen à 18%.

Définition : sensibilité S = H0/Hoù H est l’exposition nécessaire, et H0 une constante.Unité de la sensibilité : ISO.

→ une surface de sensibilité 200 ISO a besoin de 2 foismoins d’exposition lumineuse qu’une surface de sensibilité100 ISO pour être correctement exposée.

12/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Exercice

Exemple : même exposition pour :

100 ISO, t = 1/100 sec., f/4

100 ISO, t = 1/200 sec., f/2,8

200 ISO, t = 1/100 sec., f/5,6

200 ISO, t = 1/200 sec., f/4

1600 ISO, t = 1/800 sec., f/5,6

13/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Séance 7



3 Conclusion

14/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Modèle stochastiqueTension en un photosite pendant une durée d’exposition t :

u = µ+ gηp+d + δ

µ : décalage (offset)→ fixé par le constructeurp nombre moyen d’électrons générés par les photonsarrivant pendant t→ proportionnel à l’exposition lumineuse par l’intermédiairede l’efficacité quantique

d nombre moyen d’électrons spontanément généréspendant t (dark current)

ηp+d variable aléatoire de Poisson (λ = p + d)

g : coefficient d’amplification (gain)

δ variable aléatoire gaussienne (moyenne 0, variance σ2)

Remarque : d dépend de la température et de t.→ en conditions normales, pour t < 1 sec., d = 0.

15/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Rappel : la loi de (Siméon Denis) Poisson

P(X = k) =λk

k!e−λ

Propriété : E (X ) = Var(X ) = λ.16/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Propriété du bruit

Modèle stochastique :

u = µ+ gηp+d + δ

Conséquence :

E (u) = µ+ g(p + d)

Var(u) = g2(p + d) + σ2 = gE (u) + σ2 − gµ

Propriété : la variance du bruit est une fonction affine de latension mesurée moyenne (représentant l’exposition).

17/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Exemple : variance empirique sur 100 images

u

Var(u) 50 100 150 200 250 300 350

20

40

60

80

100

120

140

160

180

200

20

40

60

80

100

120

140

160

180

18/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Le gain règle la sensibilité

Hypothèse : d = 0 (conditions � normales �)

{E (u) = µ+ gpVar(u) = gE (u) + σ2 − gµ

Donc :si durée de pose divisée par 2 (diaphragme fermé d’un cran),alors p divisé par 2,mais on garde la même tension moyenne E (u) (donc lemême niveau de gris) en multipliant le gain g par 2.

→ le gain permet de régler la sensibilité (ISO) du capteur.

Contrepartie : variance du bruit ↗ quand gain ↗.

Remarque pour les poses longues : compromis gain / tempsde pose (cf. dark noise)

19/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Rapport signal sur bruit (signal-to-noise ratio)

SNR =E (u)− µ√

Var(u)

=

√E (u)− µ√g + σ

2

E(u)−µ

0 500 1000 1500 2000E(u)- 7

0

10

20

30

40

50

60

70

SN

R

g=0.5;



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Illustration

21/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Question pratique

Intérêt d’avoir des � gros � photosites ?

E (u) = µ+ gp

→ à E (u) et exposition fixés, augmenter p permet dediminuer le gain g , donc de diminuer le bruit.

Comment ?Moins de � megapixels �, capteur plus grand (24x36),diminution de l’espace inter-photosites sur le capteur. . .

22/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Estimation : photon transfer method

Source : European Machine Vision Association (EMVA)23/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Limites du modèle

saturation des photosites

quantification des niveaux de gris

variations spatiales

de σ, µ : DSNU (dark signal nonuniformity)de g : PRNU (photo response nonuniformity)

Application : image forgery detection.

photosites défectueux : hot / dead pixels.

amplifier glow, banding, blooming/smearing. . .

24/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Bruit périodique

Source : Lunar Orbiter, USGS (1967)

→ framelets, variations alimentation électrique, interférences25/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Dans les images � courantes �

Modèle discuté valable pour � images brutes �.(fichiers RAW)

Post-traitement des fichiers RAW :

correction gamma

balance des blancs

compression (JPEG)

26/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Correction gammaFichier RAW : représentation linéaire de l’éclairement commeun niveau de gris.

Mais l’œil n’est pas linéaire : on perçoit mieux les nuancesdans les tons sombres que dans les tons clairs.

→ on ne discrétise pas uniformément u, mais u1/γ (γ = 2, 2)

Rendu :

Source : http://www.cambridgeincolour.com/tutorials/gamma-correction.htm

27/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Balance des blancsBut : le blanc doit sembler blanc, malgré la lumièreambiante. . .Difficulté : le cerveau corrige, pas un capteur numérique.

Curiosity Rover (2012→)Source : https ://www.jpl.nasa.gov/spaceimages/details.php ?id=PIA16800

AWB (automatic white balance) repose sur des hypothèsessur la scène (gray world assumption, simplest colorbalance. . .).

28/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Séance 7



3 Conclusion

29/30



F. Sur - ENSMN

Capteurs

CCD/CMOS




Estimation

Limites

Conclusion

Conclusion

Bruit dans les images numériques dû (en particulier) àla nature quantique de la lumière.

Pour limiter le bruit :

diminuer le gain (ISO)(optique plus lumineuse, ou temps de pose plus long)

augmenter le rendement quantique,

augmenter la taille des photosites,

refroidir le capteur si pose longue.

30/30

Les capteurs imageurs - LORIA · 2017. 3. 29. · Capteurs CCD/CMOS Exposition et sensibilite...

Documents

Transcript of Les capteurs imageurs - LORIA · 2017. 3. 29. · Capteurs CCD/CMOS Exposition et sensibilite...