Design d’un système de Design d’un système de vision embarquévision embarqué

Application:Application:

Mandats du projet de fin Mandats du projet de fin d’étuded’étude

Définition de la problématique (Définition de la problématique (contexte de la Robocupcontexte de la Robocup)) Proposer un design matériel et logiciel pouvant satisfaire Proposer un design matériel et logiciel pouvant satisfaire

les exigences de la compétition et les contraintes de notre les exigences de la compétition et les contraintes de notre robot.robot.

Faire une implémentation partielle pour mesurer les Faire une implémentation partielle pour mesurer les performances envisageablesperformances envisageables

Les objectifs du système de Les objectifs du système de vision embarquévision embarqué

Identification des repères fixes sur le terrain.Identification des repères fixes sur le terrain. Identification des objets mobiles en Identification des objets mobiles en

l’occurrence les robots et le ballon.l’occurrence les robots et le ballon. L’identification doit mener à l’obtention des L’identification doit mener à l’obtention des

coordonnées réelles des éléments visibles.coordonnées réelles des éléments visibles. La position sur le terrain du robot La position sur le terrain du robot

observateur.observateur. Le tout devrait être Le tout devrait être rapiderapide et et robusterobuste

Notions essentielles:Notions essentielles:

Des couleurs spécifiquesDes couleurs spécifiques Un éclairage contrôlé (tubes fluorescents)Un éclairage contrôlé (tubes fluorescents) Une scène dont on connaît les paramètres Une scène dont on connaît les paramètres

( bien que l’on ne sache pas à priori où se trouvent les ( bien que l’on ne sache pas à priori où se trouvent les objets que l’on cherche, nous connaissons très bien leurs objets que l’on cherche, nous connaissons très bien leurs caractéristiques. La scène elle-même est limitée en caractéristiques. La scène elle-même est limitée en dimension. Tout ça est documenté dans les règlements de dimension. Tout ça est documenté dans les règlements de la compétition.)la compétition.)

Ces notions permettent d’entrevoir le problème avec une approche plus pratique. Sans contraintes on chercherait à résoudre un problème général de vision, ce qui n’est pas envisageable à notre époque.

Comment percevoir l’imageComment percevoir l’image

Caméra conventionnelleCaméra conventionnelle

Caméra omnidirectionnelleCaméra omnidirectionnelle

Comment percevoir l’imageComment percevoir l’image

Caméra conventionnelleCaméra conventionnelle

Comment percevoir l’imageComment percevoir l’image

Caméra conventionnelleCaméra conventionnelleAvantagesSimple, peu coûteux et aucune déformation de la forme ou la taille apparente d’un objet.Il est possible d’examiner la taille d’un objet connu, le but par exemple, et d’avoir une approximation grossière de la distance à laquelle le robot cet objet.

InconvénientsChamp de vision très limité.Beaucoup d’occlusions causés par des objets, des robots, qui s’interposent entre le robot et l’élément observé.Très difficile d’offrir une approximation de la position du robot observateur!

Comment percevoir l’imageComment percevoir l’image

Caméra conventionnelleCaméra conventionnelle

Caméra omnidirectionnelleCaméra omnidirectionnelle

+

Comment percevoir l’imageComment percevoir l’image

Caméra omnidirectionnelleCaméra omnidirectionnelleAvantagesMeilleur champ de vision ( 360degrés)Des occlusions plus rares, le ballon serait visible la plupart du temps.Permet de bien situer le robot observateur sur le terrain.

InconvénientsDéformation des objets dans l’image qui nécessite des calculs de transformation. Perte de résolution car il y a maintenant beaucoup plus d’information dans l’image et sa taille est la même. Autrement dit, un objet situé loin sera représenté par beaucoup moins de pixels.

Voici un exemple de perception omnidirectionnelle avec un miroir de la compagnie Accowle.

Segmentation de l’imageSegmentation de l’image

Segmentation de l’imageSegmentation de l’image

Choix d’un espace des couleursChoix d’un espace des couleursYUV – modèle pour composantes YUV – modèle pour composantes

analogiquesanalogiques

RGB – Rouge, vert et BleuRGB – Rouge, vert et Bleu

HSV – Teinte, saturation et intensitéHSV – Teinte, saturation et intensité

Séparation des couleursSéparation des couleurs Numérotation des régionsNumérotation des régions

ImplémentationImplémentation•Je propose d’associer à toutes les couleurs RGB un identificateur représentant la classe de couleur. •Cet identificateur doit être une donnée de la plus petite taille possible.•Le nombre d’identificateur est restreint au nombre de classes de couleur devant être reconnues. Selon les règlements de RoboCup, les couleurs utiles sont: {rien, orange, jaune, bleu, cyan, vert, magenta, blanc}

ImplémentationImplémentationCouleur enum=colorTable [ refcouleur[r] ] [ refcouleur[g] ] [ refcouleur[b] ]

Ref couleur est un tableau qui sous-échantillonne les Ref couleur est un tableau qui sous-échantillonne les composantes RGB valant [0 255] vers un intervalle composantes RGB valant [0 255] vers un intervalle

[0 20]. [0 20].

Sur l’image précédente, on note R R’, G G’, B B’Sur l’image précédente, on note R R’, G G’, B B’On passe ainsi de 16,7millions de couleurs à 8000 couleurs.On passe ainsi de 16,7millions de couleurs à 8000 couleurs.

ColorTable est une table de référence en 3 dimensions ColorTable est une table de référence en 3 dimensions (20x20x20) dans laquelle se trouve le nom de la classe (20x20x20) dans laquelle se trouve le nom de la classe de couleur correspondant au vecteur R’G’B’.de couleur correspondant au vecteur R’G’B’.

ImplémentationImplémentation

Une séquence de méthodesUne séquence de méthodes Séparation des couleursSéparation des couleurs Connexion des pixels Connexion des pixels (ou lissage de (ou lissage de

l’image)l’image) Numérotation des régionsNumérotation des régions Transformation en coordonnées réellesTransformation en coordonnées réelles Élimination des régions non symboliquesÉlimination des régions non symboliques Affectation d’un objet à la régionAffectation d’un objet à la région

ImplémentationImplémentation

RésultatsRésultats

Cette image provient du Web et est d’une qualité supérieure à la caméra que nous utiliserons.

RésultatsRésultats

Le centre des objets est représenté par un point blanc

RésultatsRésultats

Voici une image prise dans notre laboratoire avec la caméra retenue pour les robots.

RésultatsRésultats

Notez les erreurs de classification des couleurs. Elles sont inévitables et doivent être prises en compte traitées par toutes les opérations subséquentes

RésultatsRésultats

Voici les régions pertinentes reconnues, répertoriés et prête pour une transformation en coordonnées réelles. Une opération qui devra être effectuée dans un proche avenir

Merci de votre attention