Post on 28-Jan-2021
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
De la photographie numériqueà la photographie computationnelle
Séance 7
Le bruit dans les imagesnumériques
Frédéric Sur
École des Mines de Nancy
Loria
https://members.loria.fr/FSur/enseignement/photo/
1/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Exemple
Source : wikipedia.org2/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Séance 7
1 CapteursCCD/CMOSExposition et sensibilité
2 Modélisation statistique du bruitModèle Poisson-GaussEstimationLimites
3 Conclusion
3/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Les capteurs imageurs
Deux grandes familles : CCD (1969) / CMOS (1963)Années 1980 : applications vidéo
Années 1990 : applications photo
But : mesurer une tension en chaque photosite fonction del’exposition lumineuse.
→ fichier RAW ou caméra linéaire :niveau de gris = tension discrétisée
4/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Formation de l’image et bruit
→ tension en chaque photosite proportionnelle à l’exposition.Tension haute : site clair
Tension basse : site sombre
En chaque photosite :
photonsphotosite−−−−−→ électrons
condensateur
amplificateur−−−−−−−−−→ tension
Principales sources d’incertitude dans la mesure de latension :
courant d’obscurité (residual dark current)
bruit photonique (shot noise)
bruit de lecture (read-out noise)
5/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Autre exemple
6/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Détour : la notion d’exposition
Ou comment sont liés :
quantité de lumière incidente,
ouverture du diaphragme,
temps de pose,
sensibilité de la surface où se forme l’image.
7/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Éclairement : le nombre d’ouverture
Diaphragme vu en F sous l’angle solide : Ω = πD2/(4f 2).Éclairement par un flux lumineux parallèle à l’axe optique :
E = Ω · T · L = πD2
4f 2TL =
πTL
4N2(en lux)
T : facteur de transmission de l’objectif
L : luminance de la source lumineuse (proportionnelle àl’intensité lumineuse de la source) (en candela.m−2)
N = f /D est le nombre d’ouverture
8/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Ouverture : f /N
Ouverture du diaphragme : D = f /N→ objectif ouvrant à f /2 (i.e. N = 2), f /4 (i.e. N = 4), etc.Éclairement inversement proportionnel à N2
→ ouvertures standardisées en progression géom. raison√
2 :f/1, f/1,4, f/2, f/2.8, f/4, f/5,6, f/8 ; f/11. . . (cran)
9/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Principe de réciprocité
Durée d’exposition : t
Exposition lumineuse : H = E · t→ quantité de lumière cumulée par unité de surface pendant t(en lux.s)
Principe de réciprocité :Multiplier (resp. diviser) le temps de pose par 2 en fermant(resp. ouvrant) d’un cran donne la même exposition.
10/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Exercice
Même exposition pour :
t = 1/100 sec., f/4
t = 1/200 sec., f/2,8
t = 1/25 sec., f/8
t = 1/3 sec, f/22
11/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Sensibilité
Photographie correctement exposée lorsque la surfacesensible reçoit la � bonne � quantité de lumière
→ celle qui permet d’obtenir une image qui n’est ni � tropclaire � ni � trop sombre �.(notion forcément un peu arbitraire)
→ automatisme : scène supposée correspondre à un grismoyen à 18%.
Définition : sensibilité S = H0/Hoù H est l’exposition nécessaire, et H0 une constante.Unité de la sensibilité : ISO.
→ une surface de sensibilité 200 ISO a besoin de 2 foismoins d’exposition lumineuse qu’une surface de sensibilité100 ISO pour être correctement exposée.
12/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Exercice
Exemple : même exposition pour :
100 ISO, t = 1/100 sec., f/4
100 ISO, t = 1/200 sec., f/2,8
200 ISO, t = 1/100 sec., f/5,6
200 ISO, t = 1/200 sec., f/4
1600 ISO, t = 1/800 sec., f/5,6
13/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Séance 7
1 CapteursCCD/CMOSExposition et sensibilité
2 Modélisation statistique du bruitModèle Poisson-GaussEstimationLimites
3 Conclusion
14/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Modèle stochastiqueTension en un photosite pendant une durée d’exposition t :
u = µ+ gηp+d + δ
µ : décalage (offset)→ fixé par le constructeurp nombre moyen d’électrons générés par les photonsarrivant pendant t→ proportionnel à l’exposition lumineuse par l’intermédiairede l’efficacité quantique
d nombre moyen d’électrons spontanément généréspendant t (dark current)
ηp+d variable aléatoire de Poisson (λ = p + d)
g : coefficient d’amplification (gain)
δ variable aléatoire gaussienne (moyenne 0, variance σ2)
Remarque : d dépend de la température et de t.→ en conditions normales, pour t < 1 sec., d = 0.
15/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Rappel : la loi de (Siméon Denis) Poisson
P(X = k) =λk
k!e−λ
Propriété : E (X ) = Var(X ) = λ.16/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Propriété du bruit
Modèle stochastique :
u = µ+ gηp+d + δ
Conséquence :
E (u) = µ+ g(p + d)
Var(u) = g2(p + d) + σ2 = gE (u) + σ2 − gµ
Propriété : la variance du bruit est une fonction affine de latension mesurée moyenne (représentant l’exposition).
17/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Exemple : variance empirique sur 100 images
u
Var(u) 50 100 150 200 250 300 350
20
40
60
80
100
120
140
160
180
200
20
40
60
80
100
120
140
160
180
18/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Le gain règle la sensibilité
Hypothèse : d = 0 (conditions � normales �)
{E (u) = µ+ gpVar(u) = gE (u) + σ2 − gµ
Donc :si durée de pose divisée par 2 (diaphragme fermé d’un cran),alors p divisé par 2,mais on garde la même tension moyenne E (u) (donc lemême niveau de gris) en multipliant le gain g par 2.
→ le gain permet de régler la sensibilité (ISO) du capteur.
Contrepartie : variance du bruit ↗ quand gain ↗.
Remarque pour les poses longues : compromis gain / tempsde pose (cf. dark noise)
19/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Rapport signal sur bruit (signal-to-noise ratio)
SNR =E (u)− µ√
Var(u)
=
√E (u)− µ√g + σ
2
E(u)−µ
0 500 1000 1500 2000E(u)- 7
0
10
20
30
40
50
60
70
SN
R
g=0.5;
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Illustration
21/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Question pratique
Intérêt d’avoir des � gros � photosites ?
E (u) = µ+ gp
→ à E (u) et exposition fixés, augmenter p permet dediminuer le gain g , donc de diminuer le bruit.
Comment ?Moins de � megapixels �, capteur plus grand (24x36),diminution de l’espace inter-photosites sur le capteur. . .
22/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Estimation : photon transfer method
Source : European Machine Vision Association (EMVA)23/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Limites du modèle
saturation des photosites
quantification des niveaux de gris
variations spatiales
de σ, µ : DSNU (dark signal nonuniformity)de g : PRNU (photo response nonuniformity)
Application : image forgery detection.
photosites défectueux : hot / dead pixels.
amplifier glow, banding, blooming/smearing. . .
24/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Bruit périodique
Source : Lunar Orbiter, USGS (1967)
→ framelets, variations alimentation électrique, interférences25/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Dans les images � courantes �
Modèle discuté valable pour � images brutes �.(fichiers RAW)
Post-traitement des fichiers RAW :
correction gamma
balance des blancs
compression (JPEG)
26/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Correction gammaFichier RAW : représentation linéaire de l’éclairement commeun niveau de gris.
Mais l’œil n’est pas linéaire : on perçoit mieux les nuancesdans les tons sombres que dans les tons clairs.
→ on ne discrétise pas uniformément u, mais u1/γ (γ = 2, 2)
Rendu :
Source : http://www.cambridgeincolour.com/tutorials/gamma-correction.htm
27/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Balance des blancsBut : le blanc doit sembler blanc, malgré la lumièreambiante. . .Difficulté : le cerveau corrige, pas un capteur numérique.
Curiosity Rover (2012→)Source : https ://www.jpl.nasa.gov/spaceimages/details.php ?id=PIA16800
AWB (automatic white balance) repose sur des hypothèsessur la scène (gray world assumption, simplest colorbalance. . .).
28/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Séance 7
1 CapteursCCD/CMOSExposition et sensibilité
2 Modélisation statistique du bruitModèle Poisson-GaussEstimationLimites
3 Conclusion
29/30
De la photographienumérique à laphotographie
computationnelleSéance 7
F. Sur - ENSMN
Capteurs
CCD/CMOS
Exposition etsensibilité
Modélisationstatistique du bruit
Modèle Poisson-Gauss
Estimation
Limites
Conclusion
Conclusion
Bruit dans les images numériques dû (en particulier) àla nature quantique de la lumière.
Pour limiter le bruit :
diminuer le gain (ISO)(optique plus lumineuse, ou temps de pose plus long)
augmenter le rendement quantique,
augmenter la taille des photosites,
refroidir le capteur si pose longue.
30/30