Qu’apporte-t-elle de nouveau...« Votre objectif TAMRON SP 150-600mm F/5-6.3 Di VC USD vient...

Institut Mines-Télécom

Photo numérique …

Qu’apporte-t-elle de nouveau ?

11/02/2016 INRIA_Alumni_2016 1 [email protected]


La photo numérique …

Une évolution sociétale majeure …

Ou une révolution ?

11/02/2016 INRIA_Alumni_2016 2


Une révolution sociétale

400 000 000 utilisateurs d’Instagram (2015)

6 000 000 000 images sur Flickr (2011)

100 000 000 000 images sur FaceBook (2011)

32 000 000 photo-galleries sur jAlbum (2013)

70 000 000 photos de voyages sur Panoramio

200 000 000 blogs sur Tumblr

1 000 000 000 photos par jour sur Internet

1 000 000 000 $ pour Instagram en 2012

23 % croissance annuelle d’Instagram

70 000 000 000 $ marché de la photo (et de ses . services) 2014

6 – 7 % croissance annuelle jusqu’en 2020

11/02/2016 INRIA_Alumni_2016 3


Un appareil photo, c’est :

• une lentille (ou un jeu de lentilles)

• un capteur

• un télémètre, pour déterminer la distance de mise

au point,

• un équipage mobile, pour faire la mise au point,

• une cellule photométrique, pour mesurer la lumière

incidente,

• un diaphragme, pour contrôler le flux de lumière,

• un obturateur, pour contrôler le temps d’exposition.

11/02/2016 INRIA_Alumni_2016 4


Un appareil photo numérique, c’est :

• une lentille (ou un jeu de lentilles)

• un capteur solide

• un télémètre, pour déterminer la distance de mise

au point,

• un équipage mobile, pour faire la mise au point,

• une cellule photométrique, pour mesurer la lumière

incidente,

• un diaphragme, pour contrôler le flux de lumière,

• un obturateur, pour contrôler le temps d’exposition.

+ • Unité centrale + logiciels associés = progiciel

11/02/2016 INRIA_Alumni_2016 5


1 - Le capteur

11/02/2016 INRIA_Alumni_2016 6


Diversité des tailles des capteurs

Rapport des surfaces = 1 à 200

11/02/2016 INRIA_Alumni_2016 7

Film:

24 x 36 mm

phones

compacts

hybrides

réflex


Efficacité quantique interne : un gain > 50

11/02/2016 INRIA_Alumni_2016 8

© Improving the red wavelength sensitivity of CCDs ( Proc SPIE – San Diego – june 2010)

JORDEN P. R.; DOWNING M. ; HARRIS A.; KELT A.; MISTRY P.; PATEL P.

CCD = CMOS


Des architectures puissantes et très

efficaces

Passage du montage PPS (passif) au montage

APS (actif) et de l’APS au PPD (pinned

photodiode device)

11/02/2016 INRIA_Alumni_2016 9


Des architectures puissantes et très

efficaces

Partage de l’électronique et passage aux montages rétro-éclairés (BSI)

Rejet de l’électronique sur une couche séparée : technologie VLSI en pile

11/02/2016 INRIA_Alumni_2016 10

2009

2012


Des algorithmes précis de traitement du signal :

une modélisation fidèle de la physique

Modélisation du bruit :

𝒁𝒊 𝒙, 𝒚 = 𝝋 𝒈𝒙𝒚 𝝆𝒒𝒆𝒏𝒑𝒉 +𝑫𝒕𝒉 +𝑵𝒓𝒆𝒔𝒆𝒕 𝑮𝒐𝒖𝒕 +𝑵𝒐𝒖𝒕 + 𝐊 • φ = non linéarité

• 𝑔𝑥𝑦 = gain au site (x,y)

• 𝜌𝑞𝑒 = efficacité quantique externe (dépend de (x,y))

• 𝑛𝑝ℎ = nombre de photons incidents

• 𝐷𝑡ℎ = bruit thermique à la température th

• 𝑁𝑟𝑒𝑠𝑒𝑡 = bruit de recharge + bruit de diaphonie

• 𝐺𝑜𝑢𝑡 = gain électronique (fonction de la sensibilité ISO : 𝐺𝑜𝑢𝑡 ≈ 𝛼 𝐼𝑆𝑂)

• 𝑁𝑜𝑢𝑡 = bruit de lecture

• 𝐾 = bruit de quantification

Bruit = bruit poissonnien + bruit gaussien + bruit de quantification uniforme

© C. Aguerrebere 2014

11/02/2016 INRIA_Alumni_2016 11


La détection des photons : conclusion

Excellent capteur

+

architecture électronique très élaborée

+

traitement du signal puissant

=

très bonnes images

11/02/2016 INRIA_Alumni_2016 12


Un processeur,

pourquoi faire ?

11/02/2016 INRIA_Alumni_2016 13


Le processeur comme chef d’orchestre

11/02/2016 INRIA_Alumni_2016 14

CPU

capteurs réglages

CCD / CMOS

Photodétecteur

Télémètre

Photomètre Goniomètre

GPS

Mise au point

Ouverture

Temps de pose

Sensibilité Flash

Stabilisation

Mémoire

Interface Utilisateur


Un processeur pour … (1/2)

Gestion centrale = application des programmes : « Auto », « Priorité X », « Paysages », « Portraits », …

• Sélection des capteurs : télémètres, photomètres,

• Combinaison des mesures

• Contrôle des fonctions : ouverture, diaphragme, flash, stabilisation

• Choix des paramètres de traitement

Interface utilisateur • Affichage des commandes

• Affichage et gestion des images (zoom, rotation, saturation, histogrammes, …)

Optimisation des mesures : • Mesure de la lumière = ~ 100 capteurs ~ 1 ms

• Mise au point = 10 capteurs et 20 mesures/capteur ~ 100 ms

• Stabilisation = 3 ou 5 capteurs … 500 mesures/s ~ 5 ms

• Flash = 10 capteurs ~ 1ms

11/02/2016 INRIA_Alumni_2016 15


Un processeur pour … (2/2)

Traitement des images

• Gestion des Entrées/Sorties

─ Images fixes = 20 Mpixels rafale 10 images en 1 s = 400 Moctets

─ Vidéo 4k = 10 Mpixels/image = 600 Mpixels/s

• Gestion de la couleur

─ Démosaïcage ~ 10 opérations / pixel

─ Balance des blancs / chgt d’espace (capteur vers sRGB) ~ qlq op/pixel

• Compression JPEG ou MPEG4

─ Transformation DCT 8x8 + balayage zigzag + compression ZL

─ Décomposition hiérarchique en ondelettes par bancs de filtres

─ Détection de mouvement par corrélation de bloc,

─ Prédiction et interpolation de trames

11/02/2016 INRIA_Alumni_2016 16


Le matriçage chromatique

Solution par défaut :

• Multiplexage spatial de Bayer

… mais beaucoup d’autres choix possibles

11/02/2016 INRIA_Alumni_2016 17

Matrice de Kodak

(R,V,B + panchro) Matrices de Fujifilm

(sites couplés)

Matrice Sony

4 couleurs


Démosaïcage

Sous-échantillonnage au sens de Shannon

des algorithmes puissants mais heuristiques

11/02/2016 INRIA_Alumni_2016 18


Démosaïcage (de Bayer)

Algorithmes heuristiques :

• On reconstruit le canal Vert

• Puis les canaux Bleu et Rouge sachant le Vert

•

𝐵𝑖𝑛𝑐𝑜𝑛𝑛𝑢= 1

𝑛

𝐵𝑐𝑜𝑛𝑛𝑢𝑠

𝜕𝑉𝑖4 𝑜𝑢 2 𝑣𝑜𝑖𝑠𝑖𝑛𝑠

11/02/2016 INRIA_Alumni_2016 19


Filtrage des bruits d’acquisition

(à venir)

11/02/2016 INRIA_Alumni_2016 20

Image originale native Image filtrée


Espace chromatique et Balance des blancs

11/02/2016 INRIA_Alumni_2016 21

𝐴 = 𝜋𝑟2

𝑅′𝑉′𝐵′

=

𝑎11 ⋯ 𝑎13⋮ ⋱ ⋮𝑎31 ⋯ 𝑎33

𝑅𝑉𝐵

Von Kries :

𝑎𝑖𝑗 = 0 𝑠𝑖 𝑖 ≠ 𝑗

Espaces (R, V, B ; E)

E=R+V+B

𝑅 = 𝛼 𝜑 𝜔 𝑟 𝜔 𝜎𝑅 𝜔 𝑑𝜔

𝜔1

𝜔0

• Luminance spectrale incidente

• Réflectance spectrale de l’objet

• Sensibilité spectrale du canal (Rouge)


Balance des blancs

11/02/2016 INRIA_Alumni_2016 22

avant

après monde gris

monde gris frustré

page blanche

algo. constructeur

Capteur constructeur + illuminant


Gestion du piqué (modification du spectre

de densité de puissance)

FSCS = Fonction de sensibilité au contraste spatial

11/02/2016 INRIA_Alumni_2016 23

En prenant en compte la FSCS acutance


Aberrations géométriques (1/2)

11/02/2016 INRIA_Alumni_2016 24

courbure coma

sphérique astigmatisme


Aberrations géométriques (2/2)

11/02/2016 INRIA_Alumni_2016 25


Aberrations chromatiques

11/02/2016 INRIA_Alumni_2016 26


Vignettage

11/02/2016 INRIA_Alumni_2016 27


… mais aussi … (3/2)

Détection des visages pour la mise au point

Poursuite des cibles

11/02/2016 INRIA_Alumni_2016 28


Mais aussi, … Panoramas …

11/02/2016 INRIA_Alumni_2016 29

Angle de vue = 192° = 4 photos = 17 000 pixels


Mosaïcage : projection cylindrique

Maintien des parallèles dans une direction,

préservation des dimensions d’un plan frontal

11/02/2016 INRIA_Alumni_2016 30


Mosaïcage, projection sphérique

Maintien des proportions 2D des objets

Maintien des angles

11/02/2016 INRIA_Alumni_2016 31


Mosaïcage d’une rafale à un panorama

11/02/2016 INRIA_Alumni_2016 32

Modèle de mouvement : translation / et /ou rotation

Modèle de projection : affinité / homographie

Modèle d’illumination : continuité par morceaux


Panoramas : oui, mais …

11/02/2016 INRIA_Alumni_2016 33


Panorama 2D

11/02/2016 INRIA_Alumni_2016 34


Accroissement de la profondeur de champ

11/02/2016 INRIA_Alumni_2016 35

Mise au point à 1 m

Mise au point à 100 m

+ d’autres

avant


Accroissement de la profondeur de champ

11/02/2016 INRIA_Alumni_2016 36

après


Mais aussi … Effets spéciaux : Cartoon

11/02/2016 INRIA_Alumni_2016 37


Mais aussi … Effets spéciaux : ambiance

dramatique

11/02/2016 INRIA_Alumni_2016 38


3 - Et les capacités de

télécommunications ?

Dans les téléphones mobiles surtout !

11/02/2016 INRIA_Alumni_2016 39


Quelles fonctions de communication ?

Une hiérarchie très stricte :

• Tous les appareils photos ……… un port USB

• De plus en plus … ……………… un lien WiFi

• Dans les mobiles ……………….. 3G, 4G, …

Pour :

• Mise à jour du logiciel :

─ « Votre objectif TAMRON SP 150-600mm F/5-6.3 Di VC USD

vient d’être mis à jour »

• Echange d’images

• Pilotage d’un terminal d’affichage (TV)

• Pilotage d’une imprimante couleur

• Téléopération de l’appareil photo

11/02/2016 INRIA_Alumni_2016 40


De plus en plus

Téléchargement de mises à jour des logiciels de traitement :

• Traitement de la couleur

• Mise au point

• Corrections géométriques

par le fabricant

Mais aussi, importation de logiciels de remplacement depuis des sites spécialisés, indépendants du fabricant

• Mise à jour des fonctionnalités

Développement d’officines spécialisées

2/11/2016 41 INRIA_Alumni_2016


L’appareil photo est en ligne

11/02/2016 INRIA_Alumni_2016 42

Configuration « classique »


Pour les téléphones cellulaires

11/02/2016 INRIA_Alumni_2016 43

utilisateur


Que faire dans le nuage avec un téléphone ?

Reconnaissance de l’écrit :

• Assistance aux malvoyants

• Traduction automatique

• Assistance aux usagers : magasins, touristes, services publics

Reconnaissance des formes :

• Mode, Esthétique, Coiffure

• Reconnaissance des fleurs, oiseaux, …

• Montage mécanique, dépannage, bricolage

• Enseignement technique à distance

11/02/2016 INRIA_Alumni_2016 44


Et avec un réflex ?

11/02/2016 INRIA_Alumni_2016 45

utilisateur


Aller chercher les services sur le web

Aide à la prise de vue

• Situation difficiles : réflexions, contre-jours, éclairages spéciaux

• Utilisation de bases de données

Référencement et indexation des images :

• Exploiter conjointement les données de

─ Date

─ Géo-positionnement (GPS)

─ Goniométrie

• Enrichir les métadonnées (fichier EXIF)

11/02/2016 INRIA_Alumni_2016 46

Joubarbe

Sempervivum

Rue de la Butte aux

Cailles, Misstic

Mont Quitaraju,

Pérou


Aller chercher les services sur le web

Calcul intensif sur des rafales, des séquences ou des

piles d’images :

• Reconstruction 3D

• Création d’images super-résolues

• Composition d’animations

• Aide à la composition

11/02/2016 INRIA_Alumni_2016 47

Moins de

profondeur

de champ

Plus de

profondeur

de champ


Quel marché ?

Marché « expert » très opposé à la techno :

• L’expertise c’est le photographe, pas l’appareil

• La référence historique à la photo argentique demeure la règle

• Les nouvelles technologies réclament des apprentissages et un

changement des pratiques

Marché des compacts et des « entrées de gamme », plutôt prudent

• le surcoût des outils nécessaires est prohibitif

La caméra n’a pas les moyens de franchir le pas de

l’appareil en ligne

Le téléphone mène le jeu

11/02/2016 INRIA_Alumni_2016 48


Conclusion

Que sera le futur ?

11/02/2016 INRIA_Alumni_2016 49


Peut-on freiner l’intégration du téléphone au

Nuage ?

Elle est déjà en place à petite échelle

Elle s’est développée grâce au téléphone mobile car : • C’est un marché beaucoup plus riche (rapport 100 à 1)

• C’est un marché beaucoup plus porteur (plus jeune, plus dynamique, acquis au numérique)

Elle pénètre doucement le monde de la photo, essentiellement par les outsiders et les nouveaux venus issus du monde de l’électronique ou de l’instrumentation scientifique : Sony, Olympus, Apple, Fuji, Lumix, Samsung

Les ténors freinent car : • leur clientèle de référence n’y est pas acquise

• Leur place n’y est pas assurée

11/02/2016 INRIA_Alumni_2016 50


Télécharger des programmes spécialisés

(en mode SAS)

11/02/2016 INRIA_Alumni_2016 51

utilisateur


Installer ses propres logiciels

Ouvrir les OS des appareils photos :

• Créer des plateformes programmables / interopérables

Permettre l’implantation de logiciels concurrents / différents / complémentaires :

• Balance des blancs

• Corrections et transformations géométriques

• Enchaînement de réglages

• Effets spéciaux

Exploiter toutes les performances disponibles

• Même celles non prévues

• Même celles interdites

Emergence de nouveaux acteurs, de nouveaux métiers

11/02/2016 INRIA_Alumni_2016 52

Qu’apporte-t-elle de nouveau...« Votre objectif TAMRON SP 150-600mm F/5-6.3 Di VC USD vient...

Documents

Transcript of Qu’apporte-t-elle de nouveau...« Votre objectif TAMRON SP 150-600mm F/5-6.3 Di VC USD vient...