SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production...

61
SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia

Transcript of SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production...

Page 1: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

SYS-844

Vision par ordinateur

Professeur: Richard Lepage

Département de génie de laproduction automatisée

Livia

Page 2: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 2SYS-844

Hiver 2005

Collaborateurs Pierre Gravel

LIO (CHUM-ETS) Ajout de plusieurs acétates Approche MatLab

Normand Grégoire Étudiant Ph.D. Forensight Matériel de laboratoire

Page 3: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 3SYS-844

Hiver 2005

Cours #1: Plan

Syllabus du cours Plan détaillé Formation des équipes

(durant la pause) Introduction à la vision

informatique

Page 4: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 4SYS-844

Hiver 2005

Syllabus

Page 5: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 5SYS-844

Hiver 2005

Page 6: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 6SYS-844

Hiver 2005

Page 7: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 7SYS-844

Hiver 2005

Page 8: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 8SYS-844

Hiver 2005

Page 9: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 9SYS-844

Hiver 2005

Page 10: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 10SYS-844

Hiver 2005

Plan détaillé

Page 11: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 11SYS-844

Hiver 2005

Page 12: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 12SYS-844

Hiver 2005

Page 13: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 13SYS-844

Hiver 2005

Page 14: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 14SYS-844

Hiver 2005

Page 15: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 15SYS-844

Hiver 2005

Page 16: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 16SYS-844

Hiver 2005

Page 17: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 17SYS-844

Hiver 2005

Introduction à la vision informatique

Page 18: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 18SYS-844

Hiver 2005

Vision artificielle

Un système de vision artificielle capte une scène tridimensionnelle et la traduit en une ou plusieurs images

Objectifs Reconnaître et localiser les objets

présents dans la scène

Page 19: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 19SYS-844

Hiver 2005

Quelques applications Robot dans un milieu hostile Inspection industrielle Télédétection Imagerie médicale Reconnaissance de forme Aérospatiale

Page 20: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 20SYS-844

Hiver 2005

Neurologie Psychologie Biologie Traitement de signal Réalité virtuelle Archéologie Géologie Géophysique Hydrologie

Page 21: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Imagerie médicale et sécurité

L’image de la rétine humaine est traitée afin d’en rehausser le contraste. L’image résultante peut ensuite être utilisée en

ophtalmologie ou en reconnaissance de la personne.

Page 22: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Imagerie médicale

Rehaussement du contraste d’une radiographie de la cage thoracique

Page 23: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Imagerie médicaleDétection des tumeurs cancéreuses à partir d’une

mammographie (Rayons X)

Page 24: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Imagerie médicale

Recherche de lésions ou d’anomalies dans le cerveau (images en RMN)

Page 25: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Imagerie médicale

Reconstruction 3D du cerveau à partir d’images en RMN

Page 26: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Traitement de signal

Amélioration d’images (dégradation inconnue)

Page 27: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Traitement de signal

Restauration d’images

(dégradation connue)

Page 28: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 28SYS-844

Hiver 2005

Interprétation des images Quelle information est utilisée? Comment place-t-on des étiquettes? Peut-on déduire la forme 3D?

Comment? Importance du contexte Le but de l’observation influence-t-il

l’interprétation? Rôle des connaissances a priori

Page 29: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 29SYS-844

Hiver 2005

maison

Page 30: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 30SYS-844

Hiver 2005

corvette

Page 31: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 31SYS-844

Hiver 2005

Ville de San Francisco

Page 32: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 32SYS-844

Hiver 2005

mandrill (singe)

Page 33: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 33SYS-844

Hiver 2005

Ava Gardner

Page 34: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 34SYS-844

Hiver 2005

Résonnance magnétique

Page 35: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 35SYS-844

Hiver 2005Nébuleuse du cheval

Information utilisée: contraste ? Arêtes?

Page 36: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 36SYS-844

Hiver 2005

Reconnaissance des visages

Mandrill (singe) Penelope Cruz

Page 37: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 37SYS-844

Hiver 2005

Photo aérienne

Page 38: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 38SYS-844

Hiver 2005

Approches en vision Approche computationnelle

Image structure

Le processus de vision est divisé en plusieurs niveaux de représentation. Des algorithmes permettent de passer d’un niveau au suivant

Page 39: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 39SYS-844

Hiver 2005

Niveau 0

Niveau 1

Niveau 2

Niveau 3

Niveau 4

Segmentation

Interpolation

AutresOmbrageStéréo

Images

droitegauche

Détection des arêtes

Esquisse

Esquisse2 1/2 D

Description

Détection des arêtes

Croquis Croquis

3D

Page 40: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 40SYS-844

Hiver 2005

Approche basée sur les connaissances Image structure

Page 41: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 41SYS-844

Hiver 2005

si 2 lignes voisinessi lignes longues

alors fermersi - - -si lignes parallèles

Système à basede connaissances

Fusion

Stéréo

Images

droitegauche

Croquis

Esquisse

Esquisse2 1/2 D

multirésolutions

Ombrage Ombrage

Détection des arêtes

Description3 D

Segmentation

MouvementTexture

Page 42: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 42SYS-844

Hiver 2005

Extraction des lignes

Images

Croquis

multi-résolution

Détection des arêtes

si 2 lignes voisinessi lignes longues

alors fermersi - - -si lignes parallèles

Segmentation

Description3 D

Soar

et interpolation

et interprétation

Esquisse

Page 43: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 43SYS-844

Hiver 2005

Vision appliquée (ou industrielle) Image fonction

Page 44: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 44SYS-844

Hiver 2005

Difficultées

Variations naturelles dans une même catégorie d’objet Ex.: maison

chaise Grande quantité de données à traiter

Image faible résolution N/B 128x128 16Ko Image haute résolution couleur 512x512x3 750Ko Image caméra numérique 2592x1944 pix

15,1Mo Mouvement (30 im./s) 560Ko

22.5 Mo

Page 45: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 45SYS-844

Hiver 2005

Variations dans le processus de formation de l’image Éclairage Distorsion de perspective Occlusion Point d’observation Qualité du capteur Qualité du système optique

Page 46: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 46SYS-844

Hiver 2005

Capteurs Appareil photo Caméra Stéréo Caméra 3D Capteurs dans des bandes non-

visibles• Radarsat

Page 47: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 47SYS-844

Hiver 2005

Perspective

Occlusion

Page 48: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 48SYS-844

Hiver 2005

Contexte La vision comme un problème d’IA

Page 49: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 49SYS-844

Hiver 2005

Page 50: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 50SYS-844

Hiver 2005

Contexte Influence

Page 51: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 51SYS-844

Hiver 2005

Contexte Influence (bis)

Page 52: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.
Page 53: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.
Page 54: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 54SYS-844

Hiver 2005

Système de vision à base de connaissance

si 2 lignes voisinessi lignes longues

alors fermersi - - -si lignes parallèles

Système à basede connaissances

Fusion

Stéréo

Images

droitegauche

Croquis

Esquisse

Esquisse2 1/2 D

multirésolutions

Ombrage Ombrage

Détection des arêtes

Description3 D

Segmentation

MouvementTexture

Page 55: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 55SYS-844

Hiver 2005

Type de connaissances requises

Connaissances déclaratives attributs des objets: couleur, texture, forme,

etc. relations fonctionnelles et spatiales entre les

composantes des objets structure

Connaissances procédurales mécanismes de contrôle

comment reconnaître un objet comment utiliser le contexte comment contourner l’effet des occlusions comment relier l’échelle sur l’image à

l’échelle physique de l’objet

Page 56: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 56SYS-844

Hiver 2005

Mesures sur l’image caractéristiques spectrales

brillance contraste couleur

contour 2D segments de ligne ou de courbe effets de perspective ombrage, spot lumineux flux optique (mouvement) stéréoscopie

Page 57: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 57SYS-844

Hiver 2005

Inférences de haut niveau continuité de surface et connexité volume 3D côtés et surfaces cachées identification (étiquette, nom) dimensions absolues propriétés fonctionnelles utilisation

Page 58: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 58SYS-844

Hiver 2005

Niveaux d’abstraction en vision

Niveau bas: image Algos: extraction d’arêtes

régions Niveau intermédiaire: éléments

symboliques représentation symbolique génération de carac. + abstraites

Haut niveau: interprétation représenter objets, partie d’objet mécanismes d’inférence interprétation partielle

Page 59: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 59SYS-844

Hiver 2005

IMAGE descrip. Interm. connaissance

Page 60: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 60SYS-844

Hiver 2005

Page 61: SYS-844 Vision par ordinateur Professeur: Richard Lepage Département de génie de la production automatisée Livia.

Cours #1 - 61SYS-844

Hiver 2005

Niveaux d’abstraction