Rapport Extraction Fonds

DRT – LIST - DTSI

Service Architectures et Conception CEA/SACLAY – 91191 GIF-SUR-YVETTE CEDEX

TÉL : +33 (0)1 69 08 65 25 - FAX : +33(0)1 69 08 83 95 – E-MAIL : [email protected] Etablissement public à caractère industriel et commercial

R.C.S. PARIS B 775 685 019

Ce document et les informations qu’il contient, sont la propriété exclusive du CEA. Ils ne peuvent pas être communiqués ou divulgués sans une autorisation préalable du Cea-List.

CEA/SACLAY DIRECTION DE LA RECHERCHE TECHNOLOGIQUE

DEPARTEMENT DES TECHNOLOGIES DES SYSTEMES INTELLIGENTS SERVICE ARCHITECTURES ET CONCEPTION

Service Architectures et Conception

Saclay, le 21 août 2008

REF. : DTSI/SARC/08-339/ZN Modélisation du fond pour la vidéosurveillance

Par

Zénabou NGOUNGOURE

CEA-LIST

Modélisation du fond pour la vidéosurveillance __________________________________________________________________________

________________________________________________________________________

Ce document et les informations qu’il contient, sont la propriété exclusive du CEA. Ils ne peuvent pas être communiqués

ou divulgués sans une autorisation préalable du Cea-List.

2/39

Ce document est la propriété du CEA. Il ne peut être reproduit ou communiqué sans son autorisation.

REDACTEUR

VERIFICATEUR

CHEF DE SERVICE

NOM

Z. NGOUNGOURE

François GASPARD

Thierry COLLETTE

DATE SIGNATURE

IDENTIFICATION : Rapport DTSI/SARC/08-339/ZN

TITRE : Modélisation du fond pour la vidéosurveillance AUTEURS : Zénabou NGOUNGOURE Mots-clefs : Vidéosurveillance, soustraction de fond, ombres

UNITE : DRT/LIST/DTSI/SARC/LSVE RESUME/Contexte Dans les applications d'analyse de vidéos, les objets d'intérêts, aussi

appelés "cibles" doivent être segmentés avec précision. Cette tâche est couramment rendue difficile par la présence d'ombres, le plus souvent créé par l'objet lui-même. Ce projet a pour but l'implantation et l'évaluation de plusieurs algorithmes existants pour la détection et/ou la suppression d'ombres dans des flux vidéo en temps réel. Les algorithmes s'intègreront dans un système de suivi d'objets modulaire basé sur un algorithme de soustraction de fond existant au CEA LIST. La méthode implémentée qui exploite les principales propriétés des ombres, est assez robuste et les résultats, plutôt concluants, permettront éventuellement leur exploitation dans divers projets de R&D.


________________________________________________________________________



3/39

Liste de diffusion : CEA/DRT/DTSI/SARC CEA/DRT/DTSI/SARC/LSVE Polytech’Clermont-Ferrand Campus des Cézeaux 24, Avenue des Landais BP 206 63174 AUBIÈRE CEDEX


________________________________________________________________________



4/39

Remerciements Je tiens à remercier tout d’abord ceux qui m’ont permis de réaliser ce stage au sein du CEA LIST, notamment Thierry Collette, chef de Service Architecture et Conception, et François Gaspard, chef du laboratoire des Systèmes de Vision Embarqués. Je remercie tout particulièrement mon maître de stage Mr Yoann Dhome, pour son encadrement et ses conseils de tous les jours. Les quelques lignes restantes ne suffiront pas malheureusement, à citer tous ceux que j’ai eu à rencontrer durant le stage pour leur amabilité à mon égard. Je prie les membres qui me font l’honneur d’assister à ce jury, d’agréer l’expression de mon profond respect.


________________________________________________________________________



5/39

Résumé Le stage dont le rapport vous est présenté, a été effectué au Commissariat à l’Énergie Atomique (CEA) dans un laboratoire du CEA LIST (Laboratoire d'Intégration des Systèmes et des Technologies) spécialisé en systèmes de vision embarqués. Mon stage abordera plus particulièrement les domaines de la vidéosurveillance et de la vidéo-assistance. Dans certaines applications d'analyse de vidéos, les objets d'intérêts, aussi appelés "cibles" doivent être segmentés avec précision. Cette tâche est couramment rendue difficile par la présence d'ombres, le plus souvent créés par l'objet lui-même. Ce projet a pour but l'implantation et l'évaluation de plusieurs algorithmes existants pour la détection et/ou la suppression d'ombres dans des flux vidéo en temps réel. Le travail commencera par une analyse de la littérature scientifique sur ce sujet. Les algorithmes s'intègreront dans un système de suivi d'objets modulaire basé sur un algorithme de soustraction de fond existant au CEA. La méthode implémentée qui exploite les principales propriétés des ombres, est assez robuste et les résultats, plutôt concluants, permettront éventuellement leur exploitation dans divers projets de R&D.

Abstract The internship, whose report is presented to you, was carried out at Commissariat à l'Energie Atomique (CEA) in a laboratory of CEA LIST (Laboratoire d'Intégration des Systèmes et des Technologies) which is specialized in embedded computing vision system. My training course will focus on video-surveillance and video-assistance domains. In many image analysis and interpretation applications, objects of interest, so called "target", must be segmented with precision. This task is usually made difficult by the presence of shadows, generally created by the object itself (self shadow). The purpose of this project is to establish and evaluate several existing algorithms that deal with detection and/or suppression of shadows in video streams in real-time. The present report will start with an analysis of the scientific literature on this subject. The algorithms will be integrated in a modular objects tracking system based on a background subtraction algorithm existing at the CEA. The implemented method which exploits principal properties of shadows is rather robust and the results, quite conclusive, will probably allow their exploitation in various projects of R&D.


________________________________________________________________________



6/39

Plan Remerciements ........................................................................................................................... 4

Résumé ....................................................................................................................................... 5

Plan............................................................................................................................................. 6

Table des figures ........................................................................................................................ 7

Introduction ................................................................................................................................ 8

1. Présentation du Commissariat à l’Energie Atomique ........................................................ 9

1.1. Histoire, implantation géographique et chiffres ......................................................... 9

1.2. Organisation ............................................................................................................. 10

1.2.1. Le pôle défense................................................................................................. 10

1.2.2. Le pôle nucléaire .............................................................................................. 11

1.2.3. Le pôle recherche ............................................................................................. 11

1.2.4. Le pôle technologique ...................................................................................... 11

1.3. Le laboratoire LIST.................................................................................................. 12

1.4. Le laboratoire LSVE ................................................................................................ 12

2. Cadre de travail et problématique du stage ...................................................................... 14

2.1. La vidéosurveillance ................................................................................................ 14

2.1. Exemples d’applications du domaine de la vision ................................................... 15

2.2. Problématique........................................................................................................... 16

3. Modèle actuel ................................................................................................................... 17

3.1. Rappels ..................................................................................................................... 17

3.2. Soustraction de fond................................................................................................. 18

3.2.1. Principe............................................................................................................. 18

3.2.1. Modèle multicouches ....................................................................................... 19

3.2.2. Méthode par bloc.............................................................................................. 20

3.3. Exemples .................................................................................................................. 22

3.4. Faiblesses ................................................................................................................. 23

4. Modélisation des ombres dans une image........................................................................ 25

4.1. Propriétés spectrales d’une ombre............................................................................ 25

4.2. Propriétés géométriques d’une ombre...................................................................... 26

5. Les principales étapes de l’algorithme ............................................................................. 27

5.1. Critère du Gradient................................................................................................... 27

5.2. Filtre des ombres ...................................................................................................... 29

5.3. Notre contribution .................................................................................................... 30

5.3.1. Utilisation des valeurs 1c , 2c , 3c ..................................................................... 31

5.3.2. Utilisation du model YUV ............................................................................... 31

5.3.3. Méthode proposée ............................................................................................ 32

6. Résultats et discussion...................................................................................................... 34

6.1. Résultats ................................................................................................................... 34

6.1. Performances et limitations des algorithmes............................................................ 37

Conclusion................................................................................................................................ 38

Bibliographie ............................................................................................................................ 39


________________________________________________________________________



7/39

Table des figures Figure 1 : Implantations des 9 centres........................................................................................ 9 Figure 2 : Hiérarchie du LSVE ................................................................................................ 10 Figure 3 : Caméra de vidéosurveillance ................................................................................... 14 Figure 4 : Salle des moniteurs .................................................................................................. 15 Figure 5 : Représentation matricielle d'une image ................................................................... 17 Figure 6 : Soustraction de fond ................................................................................................ 18 Figure 7 : Un exemple de l’histogramme contraste d’un bloc d’une image à niveau de gris .. 21 Figure 8 : Exemple de soustraction de fond méthode par bloc et l’approche pixellique ......... 22 Figure 9 : Exemple de soustraction de fond méthode par bloc ................................................ 23 Figure 10 : Problème d’ombre lors de la soustraction de fond ................................................ 24 Figure 11 : Illustration de la formation de l’ombre portée d’un objet...................................... 25 Figure 12 : Illustration des contours de l’ombre ...................................................................... 26 Figure 13 : Traitement d’ombres sur le critère du gradient...................................................... 27 Figure 14 : Illustration d’élimination de bruit par le critère du gradient.................................. 28 Figure 15 : Les variations admises de couleurs sont définies par un cône autour de la valeur

originale............................................................................................................................ 29 Figure 16 : Faiblesse de la méthode existante.......................................................................... 30 Figure 17 : Traitement d’ombres.............................................................................................. 31 Figure 18 : Utilisation du model YUV pour le traitement d’ombres ....................................... 32 Figure 19 : Résultat de la différence de gradient...................................................................... 33 Figure 20 : Méthode proposée de traitement d’ombres............................................................ 33 Figure 21 : Résultats sur une scène à extérieure ...................................................................... 35 Figure 22 : Résultats sur une scène à l’intérieure..................................................................... 36 Figure 23 : Limite de la méthode proposée.............................................................................. 37 Figure 24 : Exemple de cas critiques ....................................................................................... 37


________________________________________________________________________



8/39

Introduction Ce rapport présente le travail effectué en stage de seconde année d’école d’ingénieur du 2 juin au 29 aout 2008 au CEA LIST à Saclay, dans le « Laboratoire des Systèmes de Vision Embarqués » (LSVE). Durant ce stage de 3 mois, j'ai traité un sujet de vidéosurveillance, et me suis intéressée plus particulièrement à la détection et la suppression des ombres pour l’optimisation d’un algorithme de soustraction de fond. La vidéosurveillance est un domaine en plein essor de part ses nombreuses applications potentielles tant dans le domaine de la surveillance militaire que civile : surveillance des carrefours, assistance aux personnes âgées à leur domicile … Dans les applications de vidéosurveillance, une approche classique est de repérer dans un premier temps les "zones d'intérêts" avant de focaliser sur ces "objets" des traitements plus spécifiques : typiquement pour la surveillance routière, il est intéressant de déterminer dans l’image les zones où une voiture est présente. Pour cela, lorsque la caméra est fixe, on utilise généralement une méthode de soustraction de fond. Schématiquement, le système modélise et mémorise la scène vide. Un objet entrant dans la scène va provoquer un changement dans l’image. Détecter ce changement permet de détecter l’objet. Il existe plusieurs méthodes de modélisation dont les plus complexes permettent de gérer des mouvements parasites complexes (feuillage dans le vent, escalator…). Cependant, dans certaines applications de suivi d'objets dans une vidéo, les objets cibles doivent être segmentés avec précision. Cette tâche est rendue difficile par la présence d'ombres. Il arrive que les ombres soient dans des zones d’intérêts séparées, elles sont alors suivies comme des objets, ou alors comme faisant partie des cibles. Le but de mon stage est donc l'implantation et l'évaluation de plusieurs algorithmes existants pour la détection et/ou la suppression d'ombres dans des flux vidéo en temps réel. Le travail commencera par l’apprentissage des logiciels internes et continuera par une analyse de la littérature scientifique sur ce sujet. Les algorithmes s'intègreront dans un système de suivi d'objets modulaire basé sur un algorithme de soustraction de fond existant au CEA. Dans ce rapport, nous allons tout d’abord présenter différentes techniques utilisées pour segmenter une image et différencier le fond des objets mobiles (Blob). Ensuite, je présenterai différentes approches permettant la détection et la suppression d’ombres dans une séquence vidéo pour optimiser les algorithmes de soustraction de fond.


________________________________________________________________________



9/39

1. Présentation du Commissariat à l’Energie Atomique

1.1. Histoire, implantation géographique et chiffre s

Le Commissariat à l'Énergie Atomique (CEA) est un établissement public de recherche fondamentale et technologique. L'ordonnance de la création du CEA a été approuvée par le gouvernement du général de Gaulle, le 18 octobre 1945. Cet établissement est chargé de donner à la France la maîtrise de l'atome et de ses applications. Mais les activités du CEA se sont développées dans tous les domaines connexes au nucléaire. Cette diversification a permis au CEA d'être un acteur majeur de la recherche dans des domaines liés au nucléaire mais aussi très éloignés de ce dernier : dissuasion nucléaire, micro et nano technologies, astrophysique, imagerie. . . Le CEA est réparti sur neuf centres dans toute la France. Il existe deux types de centres : - les centres d'études pour les applications militaires (Bruyères-le-Châtel, Cesta, Valduc et le Ripault) - les centres d'études civils (Fontenay-aux-Roses, Saclay, Grenoble, Cadarache, Valrhô)

Figure 1 : Implantations des 9 centres

En quelques chiffres : Le CEA fonctionne avec un budget de 3.4 milliards d'euros annuels et emploie plus de 15 000 personnes. Il travaille notamment pour les entreprises. En 2001 par exemple, 1300 contrats ont été signés avec l'industrie. Plus récemment, en 2005, 14 projets dans lesquels le CEA est impliqué ont été labellisés comme pôles de compétitivité, dont 5 projets mondiaux. On retrouve dans ces projets les principales thématiques de recherche et développement du CEA : fusion, fission, énergies renouvelables, hydrogène, sciences du vivant, sciences de la matière, technologies de l'information et de la communication et défense.


________________________________________________________________________



10/39

1.2. Organisation

Figure 2 : Hiérarchie du LSVE

Le CEA est organisé autour de 4 grands pôles d'activités :

1.2.1. Le pôle défense La stratégie de défense française est basée sur la dissuasion nucléaire. Dans ce contexte, la Direction des Applications Militaires (DAM), qui constitue le pôle Défense du CEA, conçoit, fabrique, maintient en condition opérationnelle, puis démantèle les têtes nucléaires qui équipent les forces océaniques et aéroportées. Le pôle Défense doit être en mesure de garantir au président de la République la sûreté et la fiabilité des têtes nucléaires qu'il met à la disposition des armées. Après l'arrêt définitif des essais nucléaires, cette garantie devra être apportée, pendant toute la durée de vie des armes, par la simulation numérique. C'est l'objectif du programme Simulation. La DAM est également responsable de l’approvisionnement en matières nucléaires pour les besoins de la défense, et ceci dans le respect de la décision d’arrêter la production de matières fissiles destinées aux armes et de démanteler les usines de production associées. Elle est chargée de la conception et de l’entretien des réacteurs nucléaires assurant la propulsion des bâtiments de la Marine nationale (sous-marins et porte-avions). Enfin, la DAM contribue, pour les instances nationales et internationales, à la surveillance du respect du Traité d’interdiction des essais nucléaires (Tice) et à la lutte contre la prolifération nucléaire et le terrorisme.

LaSTRE

THHJHLCE


________________________________________________________________________



11/39

1.2.2. Le pôle nucléaire La Direction de l'Energie Nucléaire (DEN) mène la réalisation de programmes majeurs sur les systèmes présents et futurs de production de l'énergie nucléaire ainsi que sur les aspects combustibles, sûreté, gestion des déchets et traitement des combustibles usés. Elle apporte son soutien aux industriels et développe, dans son domaine d'activité, des coopérations sur le plan national et international. Elle a la responsabilité de l'assainissement et du démantèlement des installations du CEA civil. Les axes essentiels de ses missions sont la préparation du futur et la gestion rigoureuse des activités nucléaires du CEA, le soutien aux industriels pour le nucléaire existant et le maintien au plus haut niveau des connaissances et des moyens du CEA.

1.2.3. Le pôle recherche Le pôle de recherche est composé de deux directions : - La Direction des Sciences du Vivant (DSV) : Le premier axe de recherche de cette direction concerne la recherche biologique et médicale pour l'énergie nucléaire. Il comprend l'étude des effets sur la matière vivante des rayonnements ionisants et des toxiques utilisés dans la recherche et l'industrie nucléaire. Le second axe de recherche privilégié porte sur les applications des technologies issues du nucléaire à la santé et aux biotechnologies (exemple : marquage lors d'examens médicaux). - La Direction des Sciences de la Matière (DSM) : Les recherches à la DSM sont orientées sur des domaines très variés tels que le domaine de l'énergie et de l'environnement (chimie, physique, …), des sciences de la matière pour l'innovation industrielle (nano physique, ...), de l'utilisation des technologies du nucléaire en recherche biologique et médicale, de la connaissance de la matière (physique des noyaux et des particules, astrophysique, …).

1.2.4. Le pôle technologique La Direction de la Recherche Technologique (DRT), créée en janvier 2001, fixe les orientations stratégiques et les missions du pôle recherche technologique. Les missions fondamentales de la Direction de la Recherche Technologique sont : - Mettre en œuvre des plates-formes partenariales d'innovation ouvertes sur l'extérieur et permettant de favoriser la création d'une forte culture technologique mêlant la recherche amont, la recherche appliquée et la valorisation industrielle. - Identifier et développer les nouvelles technologies de l'information et de la communication, qui répondent aux attentes des industriels en améliorant leur compétitivité, dans les domaines des micro et nano technologies et des systèmes à logiciel prépondérant. - Identifier et développer, en collaboration avec les autres pôles, les nouveaux matériaux et procédés et les nouvelles technologies pour l'énergie et l'environnement en pilotant les actions de développement et de partenariat industriel. - Développer avec les industriels les actions de partenariat et de valorisation des connaissances et des savoir-faire acquis par la DRT dans ses domaines de compétences.


________________________________________________________________________



12/39

- Proposer et mettre en œuvre la politique de valorisation du CEA dans le cadre des orientations fixées par la direction générale, animer la politique du CEA en faveur de la promotion et de la protection de la propriété industrielle, de l'essaimage et de la création d'entreprise, assurer la relation avec les entreprises créées dans le cadre de l'essaimage, et avec les PME/PMI la diffusion des technologies développées par l'ensemble du CEA. Ce pôle est constitué de trois unités de recherche que sont le Laboratoire d'Électronique et des Technologies de l'Information (LETI) dont les activités principales sont la microélectronique, les micro-technologies, l'optronique, les techniques informatiques, et l'instrumentation et qui est l'un des plus gros laboratoires européens de recherche appliquée en électronique, le Laboratoire d'Innovations pour les Technologies des Energies nouvelles et les Nanomatériaux (LITEN) et le Laboratoire d'Intégration des Systèmes et des Technologies (LIST).

1.3. Le laboratoire LIST

Il développe des systèmes numériques destinés à être intégrés dans des produits et des procédés innovants. Il regroupe des compétences dans les domaines des systèmes embarqués (autonomes), des systèmes interactifs (interaction homme-machine, réalité virtuelle, robotique), de l'instrumentation et de la métrologie, ainsi que dans celui des matériaux (assemblage et contrôle non destructif de systèmes mécaniques, élaboration et mise en forme de matériaux). Ce laboratoire est structuré autour de deux départements : - le DÉpartement des TEchnologies du Capteur et du Signal (DETECS) - le Département des Technologies des Systèmes Intelligents (DTSI) Le DTSI est chargé des travaux de recherche et développement sur les technologies associant le logiciel au matériel pour constituer des systèmes à fort niveau d'intégration. Le DTSI est constitué de quatre services : - le Service Outils Logiciels (SOL) - le Service Robotique Interactive (SRI) - le Service Cognitique Robotique et Interaction (SCRI) - le Service Architectures et Conception (SARC) Ce dernier est constitué de quatre laboratoires qui étudient et développent des systèmes embarqués destinés à des applications de traitements d'images et de données, disposant d'une très forte puissance de calcul, sous contraintes opérationnelles (volume et consommation) et environnementales (robustesse) : - le Laboratoire de Fiabilité des Systèmes Embarqués (LFSE) - le Laboratoire des Systèmes de Vision Embarqués (LSVE) - le Laboratoire Calculs Embarqués (LCE) - le Laboratoire fondements des Systèmes Temps Réel Embarqués (LaSTRE)

1.4. Le laboratoire LSVE

Le Laboratoire des Systèmes de Vision Embarqués (LSVE) est composé de 12 permanents, 9 doctorants et 6 post-doctorants et ingénieurs. Le principal axe de recherche et développement


________________________________________________________________________



13/39

du LSVE, menés depuis plus de 10 ans, est l’étude et le développement d'algorithmes très avancés assurant l'exploitation de l'image pour les domaines allant du contrôle industriel à la vidéosurveillance et la vidéo-assistance en passant par la reconstruction 3D et la localisation temps-réel de caméra. Fortement lié au monde industriel à travers de nombreux projets européens et nationaux ainsi que des contrats directs, le LSVE s’attache aussi à maintenir des liens forts avec des laboratoires universitaires renommés de son domaine d’activité.


________________________________________________________________________



14/39

2. Cadre de travail et problématique du stage

2.1. La vidéosurveillance

La vidéosurveillance consiste à placer des caméras de surveillance dans un lieu public ou privé pour visualiser et/ou enregistrer en un endroit centralisé tous les flux de personnes au sein d'un espace ouvert au public pour surveiller les allers et venus, prévenir les vols, agressions, fraudes et gérer les incidents et mouvements de foule [7]. La vidéosurveillance s'est développée d'abord au Royaume-Uni, en réponse aux attaques de l'IRA. Les premières expériences en Grande Bretagne dans les années 70 et 80 ont conduit à des programmes de grande ampleur au début des années 1990. Ces succès conduisirent le gouvernement à faire une campagne de promotion auprès de la population, et lança une série d'installations de caméras. D'autres pays comme la France ont installé des systèmes de vidéosurveillance. En 1998, le nombre de caméras en France était estimé à un million dont 150 000 dans le domaine public. Ces caméras sont présentes dans divers lieux tels que les aéroports, les gares, les routes, les transports publics. Ces installations vidéo commencent aussi à fleurir dans les villes.

Figure 3 : Caméra de vidéosurveillance

Les causes de l'installation de systèmes de vidéosurveillance sont diverses, toutefois la sécurité publique ainsi que la protection des biens mobiliers ou immobiliers font office d'éléments phares dans la justification de la vidéosurveillance. Les attentats du 11 septembre 2001 à New York ou plus récemment ceux de juillet 2005 à Londres, ont renforcé ce sentiment d'insécurité. Toutefois la mise en place de la vidéosurveillance ne peut s'expliquer uniquement par l'insécurité grandissante ou la protection des biens. Certaines autres raisons moins connues du grand public existent également. La mise en place de la vidéosurveillance permet une amélioration de la gestion des incidents ainsi qu'une augmentation de l'efficacité et de la rapidité d'intervention. Par exemple, dans la prévention du suicide ou encore lors d'accidents qui pourraient survenir sur la voie publique. La surveillance des axes routiers sert à informer en temps réel les automobilistes sur les conditions du trafic.


________________________________________________________________________



15/39

Législation : La vidéosurveillance obéit à un cadre réglementaire très précis. Tous les lieux ouverts au public (restaurants, magasins, pharmacies…) souhaitant s'équiper d'un dispositif de vidéo surveillance doivent au préalable faire une demande en préfecture. Le public doit être avertit par un panonceau répondant à des critères bien précis de l'existence d'un système de vidéosurveillance. Le personnel doit également être informé de l'installation et le dispositif doit être présenté au comité d'entreprise s'il y en a un. Dans les lieux qui ne sont pas ouverts au public on sort alors du domaine de compétence des préfectures pour rentrer dans celui de la Commission Nationale de l’Information et des Libertés (CNIL).

2.1. Exemples d’applications du domaine de la visio n

Dans de nombreuses applications, les données acquises sont stockées et ne seront utilisées que si l’on désire en tirer des informations a posteriori (par exemple pour retrouver le suspect d’un crime). Cependant dans des secteurs sensibles, il peut être nécessaire d’avoir un contrôle immédiat des données, c’est ce qu’on appelle un contrôle en "temps réel". Un exemple de contrôle en temps réel est la surveillance des routes. La vidéosurveillance permet d’agir de manière préventive en détectant, par exemple, si un automobiliste ne roule pas sur la bonne voie. Dans ce cas, l’approche classique est de filmer la scène à surveiller, puis de la projeter sur un moniteur où un responsable peut contrôler de manière directe les données (Figure 4), la personne se fiant à sa faculté de discernement pour détecter les anomalies éventuelles.

Figure 4 : Salle des moniteurs

Ce travail, qui peut paraitre fastidieux, a longtemps été effectué par des hommes faute d’autres solutions. Cependant, les récents développements dans la puissance des calculateurs informatiques combinés aux développements de nouvelles techniques algorithmiques permettent à présent d’envisager de remplacer l’homme par la machine.


________________________________________________________________________



16/39

2.2. Problématique

Tout au long de sa vie, l’être humain reçoit un flot continu d’informations visuelles, dues à l’interaction de la lumière et de la matière. L’analyse des phénomènes résultant de cette interaction nous apporte des informations essentielles sur notre environnement. Ainsi, l’ombre, résultat le plus immédiatement perceptible de cette interaction, nous permet d’appréhender la nature tridimensionnelle des objets. Bien qu’essentiel, ce type d’information n’est que rarement pris en compte de façon consciente. En effet, la plupart des méthodes d’extraction d’objets en mouvement dans une séquence vidéo prennent rarement en compte les effets liés à l’illumination, tels que les reflets ou les ombres. Pour les systèmes de vision par ordinateur, traiter l’information visuelle d’une façon similaire au system visuel humain, c’est à dire en prenant en compte également les effets liées à l’illumination est assez complexe. Ces phénomènes sont en effet plutôt gênants dans le cadre de tâches courantes en analyse d’images, telles que la segmentation ou la description d’objets. Très souvent les ombres sont détectées comme étant des objets ou une partie des objets ce qui peut être très nuisible pour des applications de vidéosurveillance. En effet, pour une machine, il se peut que des changements anodins (mouvement des branches d’arbres, changement de lumière, ombres …) soient détectés par le calculateur comme des objets étrangers. Ceci est en partie dû au faite que le programme traite les données par zones et n’a en faite aucune vu d’ensemble et donc aucune compréhension de la scène dans sa globalité (domaine de l’intelligence artificielle). L’ombre est un phénomène difficile à modéliser car son apparence varie en fonction des surfaces sur lesquelles elle est projetée. Il est donc important d’exploiter les multiples propriétés dérivant des analyses spectrale, géométrique et temporelle des ombres afin de développer des techniques efficaces conduisant à leur extraction. Un exposé des solutions existantes reposant sur l’utilisation de l’information couleur est tracé, précisant les fondamentaux, les modèles de couleur adoptés, ainsi que les liens avec certains problèmes de recherches tels que la constance ou l’invariance de couleur. Il existe des méthodes, appelées soustraction de fond, qui permettent de tenir compte de certains de ces éléments. L’une d’elle est implémentée au laboratoire et sert de socle pour beaucoup d’applications (tracking, reconnaissance, …). Le but de mon stage est donc d’étudier ses faiblesses pour ensuite trouver un moyen de les combattre. Dans un premier temps, nous allons donc présenter le modèle actuel, ses atouts comme ses faiblesses. Dans toute la suite, on s’intéresse à une caméra fixe et on cherche à détecter les objets étrangers ou en mouvement passant dans le champ de la caméra.


________________________________________________________________________



17/39

3. Modèle actuel

3.1. Rappels

Une image 2D est une matrice de pixel : c’est l’image matricielle. Le pixel est l'unité de base d'une image numérique, il représente un « point » de l’image. Un pixel peut être de nature variée, cette nature peut être décrite en donnant le nombre de composante du pixel ainsi que l’ensemble des valeurs qu’une composante peut prendre. Le nombre de composante détermine le nombre de couleur :

- image nuance de gris : pixel à une composante Y (luminance). - image couleur : pixel à trois composante R, G et B.

L’ensemble de valeur permet de définir les nuances pour chaque composante. En général on utilise des valeurs fixées correspondant à un type informatique : par exemple le type uchar (unsigned char) correspond aux valeurs entières de 0 à 255.

Figure 5 : Représentation matricielle d'une image

Si on noteM la représentation matricielle d’une image, ),( jiM indique le pixel situé ligne i , colonne j . Par exemple, dans la Figure 5, sur la première image, 130)363,124( =M . Pour une image couleur, on rajoute un indice indiquant le numéro de la couche (R=1, G=2, B=3). Sur la seconde image, 136]2)[363,124( =M . Une vidéo n’est rien d’autre qu’une succession d’image. On peut aussi la voir comme une matrice 3D de pixel : les deux premières dimensions correspondant à celle de l’image, la troisième représentant le temps.


________________________________________________________________________



18/39

3.2. Soustraction de fond

3.2.1. Principe Une vidéo est une succession d’images qui montrent l’évolution d’un ou plusieurs objets dans un environnement donné (fond). Dans le cas d’objets mobiles et d’un fond stable au cours du temps, ou qui évolue relativement lentement, on peut extraire les objets mobiles par une technique de soustraction de fond. Cette méthode permet, en faisant la différence entre une image du modèle de fond et une image où un objet se déplace, de déterminer une carte des objets mobiles.

Image courante (fond +objet) – Image modèle (fond) = Image résultante (objet)

Objet + fond - fond = objet

Figure 6 : Soustraction de fond

Il est donc possible de connaître les zones de l’image où un changement a eu lieu. Ainsi, le critère déterminant pour une segmentation performante est d’avoir un fond suffisamment robuste pour assurer une bonne détection. Le modèle mis en place dans notre projet est une approche de modélisation dynamique du fond, c’est-à-dire qui se met à jour au fil du temps. Ceci va permettre de compenser la plupart des changements d’illumination. En effet, nous évaluons le mouvement grâce à un critère de distance entre le modèle du fond et le pixel considéré. Dans les scènes d’extérieur, entre le jour et la nuit, la luminosité des pixels du fond va varier. En faisant la différence d’une scène nocturne avec un fond réalisé en plein jour, du mouvement sera alors détecté sur toute l’image. En utilisant un modèle qui évolue au cours du temps, la luminosité décroissante sera reportée progressivement dans le modèle. Cette évolution peut également s’adapter aux changements de temps (passage de nuages, temps pluvieux, temps ensoleillé, etc.) Le principe est de comparer un pixel de l’image avec son équivalent en coordonnées dans le modèle de fond. S’il est vraiment "différent", le pixel appartient à un objet en mouvement et sa valeur n’est pas utilisée pour modifier le modèle de fond. Si sa valeur est proche de celle du modèle de fond dans une plage particulière (la proximité peut être définie par un modèle gaussien), alors le pixel est rattaché au fond. A ce moment là, la valeur du pixel de fond de mêmes coordonnées voit sa valeur pondérée par celle du pixel de l’image courante. La vitesse d’évolution du modèle de fond dépend du coefficient de pondération. Quel critère permet de définir si un pixel est semblable ou non au modèle de fond ?


________________________________________________________________________



19/39

Un pixel d’une image peut coder l’information couleur de plusieurs façons. La représentation la plus courante est la représentation RVB (rouge, vert, bleu, ou RGB en anglais). Dans la réalité, la valeur d’un pixel reste rarement constante, à cause du bruit électronique du capteur, de changements légers d’illumination, et de mouvements imperceptibles (mouvement d’une feuille qui oscille sous le vent par exemple). Par rapport au type de bruit ainsi qu’aux variations de couleur on peut associer à un pixel du fond une probabilité suivant une loi gaussienne définie par sa moyenne et sa variance [1] [2]. Ce type de modèle permet de tolérer les variations de luminosité et de teinte pour un pixel. La mesure de distance utilisée est celle de Mahalanobis. Elle est basée sur la corrélation entre des variables par lesquelles différents modèles peuvent être identifiés et analysés. C'est une manière utile de déterminer la similarité entre une série de données. Elle diffère de la distance euclidienne par le fait qu'elle prend en compte la corrélation de la série de données. Ainsi, à la différence de la distance euclidienne où toutes les composantes des vecteurs sont traitées de la même façon, la distance de Mahalanobis accorde un poids moins important aux composantes les plus bruitées (nous rappelons que chaque composante est une variable aléatoire de type gaussien). Soient x

ret

yrdeux vecteurs aléatoires de même distribution à comparer, la distance entre elles se définie

comme suit :

,)()(),( 1 yxyxyxdrrrrrr −∑−= −Τ où ∑ est la matrice de covariance.

La valeur moyenne et la variance associée évolueront en fonction du temps pour s’adapter, par exemple à la baisse de luminosité avec la tombée du jour. L’intérêt est de gérer parfaitement les variations lentes.

3.2.1. Modèle multicouches Il est possible qu’une partie des éléments du fond soit soumise à un mouvement périodique de plus ou moins faible amplitude. Par exemple le balancé des branches lorsqu’il y a du vent constitue un bruit. Autre exemple, un pixel du fond aura des variations autour d’une teinte de vert due à des feuilles, et d’une teinte bleue du ciel, lorsque les feuilles bougent. Un modèle gaussien simple ne peut représenter correctement les deux modes simultanément. Les modèles multicouches [3] ou multimodaux permettent de pallier ce problème. Chaque couche est constituée d’un modèle simple gaussien. Une probabilité est alors associée à la couleur et à sa variance. Ainsi à chaque image courante le pixel est comparé aux différentes couches du modèle de fond dans l’ordre de probabilité décroissante. Cette probabilité est définie par un indice de confiance. Plus le nombre de couches est important, plus le modèle décrira les variations de couleur d’un pixel, mais il perdra en robustesse et en vitesse car il sera trop tolérant. Pour améliorer l’efficacité de l’algorithme de soustraction de fond le modèle multicouche a été combiné à une segmentation hiérarchique de l’image. Ce qui a pour conséquence une diminution du temps d’exécution et aussi des résultats de meilleurs qualité. Les images n’étant pas parfaites, on obtient malheureusement du bruit dans nos nouvelles images binaires ce qui rend notre tâche un peu plus difficile. Pour diminuer les erreurs dues au bruit, on utilise la technique des filtres morphologiques. On commence par une dilatation suivie d’une érosion, ce qui permet de diminuer le bruit à l’intérieur des blobs, c'est-à-dire d’éliminer les trous dans les cibles et de renforcer la cohérence des zones en avant-plan. Cette méthode modélise chaque pixel indépendamment ce qui a pour principale avantage une


________________________________________________________________________



20/39

extraction des objets avec un contour assez raffiné, cependant elle est très sensible aux bruits. Pour palier à ce problème une méthode fondé sur une approche par bloc combiné à ce modèle fourni de meilleurs résultats.

3.2.2. Méthode par bloc Cette méthode hiérarchique [4] consiste à combiner le modèle multicouches et une approche par bloc de pixels. En effet pour chaque bloc de 88× pixels on calcul un descripteur appelé "histogramme des contrastes", donnant une idée globale du bloc à évaluer. Pour ce faire on effectue tout d’abord un lissage de l’image en lui appliquant le filtre gaussien. Soit I l’image à lisser et L le résultat du filtrage gaussien il vient :

)(*),(),( pIpGpL σσ = ,

où p est un pixel donné, * la convolution et ),( σpG la distribution gaussienne de varianceσ . Une fois l’image divisée en bloc on calcul les valeurs de l’histogramme contraste pour les images en noir et blanc par la formule défini ci-dessous :

)()(),( cc pLpLppC −= , où p est un pixel du bloc cB .

Nous rappelons que nous travaillons avec des blocs de taille 88× et donc dans ce cas il n’existe pas de pixel central cp . Sa valeur est approchée par la moyenne des quatre pixels

centraux comme l’illustre l’exemple de la Figure 7 ci-dessous. Après avoir divisé le bloc en quatre quadrants on soustrait cette valeur moyenne aux autres pixels du bloc et on regroupe les valeurs positives et les valeurs négatives de chaque quadrant comme suit :

}{+

+ ∑ >∈=

qi

cic

cqicard

ppCetqpppCpCH

0),(),()( ,

}{−

− ∑ <∈=

qi

cic

cqicard

ppCetqpppCpCH

0),(),()( ,

Pour i= 0,…,3 ; +

qicard et −qicard sont respectivement le nombre total de pixels à valeurs

contrastes positives et négatives dans le quadrant qi . En résumé, le descripteur d’un bloc

cB d’une image en mode niveau de gris est un vecteur huit-dimensionnel définit comme suit :

8

33221100 )(),,,,,,,,()( RpCHoùCHCHCHCHCHCHCHCHpCH cGqqqqqqqqcG ∈= −+−+−+−+


________________________________________________________________________



21/39

93 185 102 67 -27 65 -18 -53

174 136 87 178 54 16 -33 58

112 133 127 142 -8 13 7 22

80 135 114 138 98 15

-6 18 -22

117 148

(a) (b)

Figure 7 : Un exemple de l’histogramme contraste d’un bloc d’une image à niveau de gris

La figure 7 illustre un exemple de calcul du descripteur d’un bloc de taille 88× d’une image nuance de gris (a). Comme nous l’avons vu plus haut la valeur du pixel central cp se trouve

en faisant la moyenne des quatre pixels du centre du bloc : 40/)14811713580(120 +++= . Par simple soustraction, on calcule les valeurs de l’histogramme des quatre quadrants. En (b) les valeurs positives et négatives du deuxième quadrant 1q sont respectivement représenter dans des cases blanches et grises. Pour ce quadrant on obtient :

79.299/)18152271358165465(1 =++++++++=+qCH , et

86.237/)226833531827(1 −=−−−−−−−=−qCH .

Ce descripteur est efficace pour l’extraction des objets cibles dans plusieurs situations de plus il est assez rapide à implémenter. Cependant il n’est pas toujours suffisant pour la description de certaines scènes, par exemple des couleurs différentes peuvent avoir un niveau de gris similaire et il est impossible de les distinguer. Pour résoudre ce problème on rajoute au descripteur des combinaisons entre les trois composantes couleurs (R, G et B) des pixels du bloc. Soient { }BGRj ,,∈ et { }BGRk ,,∈ les composantes couleurs des pixels p et cp

respectivement, les valeurs positives et négatives de l’histogramme contraste des couleurs se définissent comme suit :

=+ )(;,c

kj

q pCHi

}{+

∑ >∈

iq

c

kj

ic

kj

card

ppCetqpppC 0),(),( ,,

, et

=− )(;,c

kj

q pCHi

}{−

∑ <∈

iq

c

kj

ic

kj

card

ppCetqpppC 0),(),( ,,

120 120


________________________________________________________________________



22/39

respectivement, où ),(, c

kj ppC est la valeur contraste entre la composante j de p et la

composante k de cp . Il ya 9 combinaisons possibles du couple ),( kj ce qui induit un

descripteur )249(72 ××= -dimensionnel pour chaque bloc. Cependant il n’est pas nécessaire d’utiliser toutes les pairs, nous n’en choisirons que six d’entre elles,

{ }),(),,(),,(),,(),,(),,(),( BBbGGGBRGRRRkj ∈ et au final on se retrouve avec un

descripteur de couleur )246(48 ××= -dimensionnel, 48)( RpCH cC ∈ plus efficace pour

l’algorithme de soustraction de fond. Dans le système en place au CEA LIST, le descripteur de couleur des blocs implémenté est 51-dimensionnel. En effet trois valeurs correspondant aux composants couleurs (R, G et B) moyennes du bloc ont été rajoutées au descripteur car ils peuvent être utiles dans certains traitements (ombres…). Une fois le descripteur construit on applique l’approche du modèle multicouche pour comparer les blocs et soustraire les objets en avant plan. Les résultats expérimentaux (Figure 8) montrent que cette méthode est beaucoup plus stable que l’approche pixellique qui en plus d’être plus sensible au bruit demande un temps d’exécution plus long. C’est pour cette raison qu’elle a été retenue au LSVE pour l’algorithme de soustraction de fond. Modèle de fond bloc+MOG MOG

Figure 8 : Exemple de soustraction de fond méthode par bloc et l’approche pixellique

3.3. Exemples

Voici quelques exemples où la soustraction de fond fonctionne correctement, chaque exemple est constitué de deux images, la première montre l’image modèle, et la seconde le résultat de la soustraction de fond. Pour illustrer le résultat de la segmentation fond/objet, on applique un masque gris-rouge, le gris correspond aux zones fixes et le rouge aux zones détectées par la soustraction de fond comme intéressantes.


________________________________________________________________________



23/39

Figure 9 : Exemple de soustraction de fond méthode par bloc

3.4. Faiblesses

Le modèle ci-dessus est déjà implémenté au laboratoire, cependant il existe encore quelques problèmes liés à l’illumination et l’apparition des ombres. Dans ces cas, l’image est souvent détectée comme ayant changé. En effet la ressemblance au niveau des couleurs ne fonctionne pas toujours très bien malgré l’utilisation d’un descripteur assez robuste, en partie à cause des


________________________________________________________________________



24/39

ombres. Par exemple, si un objet a beaucoup d’ombre sur une image et moins sur l’image suivante, la ressemblance entre les couleurs devient une mesure moins efficace. Il arrive que les ombres soient dans des blobs séparés, elles sont alors suivies comme des objets, ce qui cause parfois des problèmes avec le suivi des autres objets. On obtient donc de très mauvais résultats si on utilise une séquence d’une durée assez longue avec des images où il y a beaucoup de soleil ou une forte luminosité. Il arrive que l'orientation de l’ombre se déplace légèrement ce qui cause beaucoup trop de bruit lorsqu'on la compare avec les images.

Figure 10 : Problème d’ombre lors de la soustraction de fond

Le but de ce stage est donc d’implémenter une méthode permettant résoudre les problèmes liés à l’apparition des ombres lors la soustraction de fond. Pour ce faire nous allons essayer de détecter et supprimer les ombres afin d’améliorer les résultats de l’algorithme de détection d’objets en avant plan. Avant de se lancer dans la recherche des méthodes efficaces pour l’extraction des ombres dans une image ou une séquence d’images il est important de comprendre comment naissent les ombres et de connaitre ses caractéristiques.


________________________________________________________________________



25/39

4. Modélisation des ombres dans une image Une ombre est une zone sombre crée par l’interposition d’un objet opaque(ou seulement partiellement transparent) entre une source de lumière et la surface sur laquelle se réfléchit cette lumière. Elle se matérialise par une silhouette sans épaisseur. La taille de l’ombre portée dépend de la taille de l’objet intercalé et de sa distance relative à la source lumineuse. Plus l’objet est près de la source de lumière, plus la zone d’ombre sera grande. Lorsque l’illumination n’est que partiellement couverte par l’objet, il apparait une zone appelé pénombre (penumbra en anglais) dont l’étude peur s’avérer être utile lors de la détection d’ombre pour la soustraction de fond. Dans la suite nous nous intéresserons aux propriétés spectrales et géométriques d’une ombre.

(a) (b)

Figure 11 : Illustration de la formation de l’ombre portée d’un objet

4.1. Propriétés spectrales d’une ombre

L’ombre est un phénomène difficile à modéliser car son apparence varie en fonction des surfaces sur lesquelles elle est projetée. Le model le plus rencontrer dans la littérature sur le traitement et qui prend en compte des éléments mentionnés plus haut est le suivant. Soit

),( pLrrλ le rayonnement lumineux réfléchit à un point p

rsur une surface dans l’espace 3D

définit comme suit : ),,(),()(),( pLpLLpL sbar

rrr λλλλ ++=

où ),(),,(),( pLpLL sba

rr λλλ sont respectivement la réflexion ambiante, du corps de l’objet et

de la surface, et λ est la longueur d’onde. Lorsque l’objet obstrue complètement la lumière l’intensité d’un point dans une zone d’ombre est :

),(),( pLpL arshadow

rr λλ = .


________________________________________________________________________



26/39

Comme nous l’avons vu plus haut l’ombre assombrit la zone où elle apparait ainsi soient

lityxC ),(r

et shadowyxC ),(r

respectivement les vecteurs de couleur d’un point sur une zone

illuminée et de ce même point en zone d’ombre on a :

L’invariance photométrique est une autre propriété spectrale de l’ombre souvent matérialiser par la constance des valeurs R, G et B normalisées, de la teinte H (hue en anglais), de la saturation S, des valeurs 1c , 2c , 3c définies ci-dessous. Le model de la teinte est le suivant :

,)),(),,(max(

),(arctan),(

,)),(),,(max(

),(arctan),(

,)),(),,(max(

),(arctan),(

3

2

1

yxGyxR

yxByxc

yxByxR

yxGyxc

yxByxG

yxRyxc

=

=

=

où ),(),(),,( yxBetyxGyxR les composants rouge vert et bleu d’un pixel de l’image. Ce model sera utilisé dans l’algorithme de soustraction de fond pour la détection d’ombre. Nous allons maintenant nous intéresser aux propriétés géométriques d’une ombre.

4.2. Propriétés géométriques d’une ombre

Figure 12 : Illustration des contours de l’ombre

.

,

,

litshadow

litshadow

litshadow

BB

GG

RR

<<<

),,(),( shadowshadowshadowshadow BGRyxC =r

),,(),( litlitlitlit BGRyxC =r

La forme d’une ombre dépend des objets et de l’état de la scène (ensoleillé, obscurité,…). Cependant il est possible d’identifier certaines caractéristiques géométriques de l’ombre, notamment ses contours sans aucune connaissance de la scène et de la structure de l’objet. La figure ci-dessous illustre les quatre types de contours engendrés par l’ombre. La ligne AB sépare la surface illuminée et la surface non-illuminée d’un objet. La projection de l’ombre portée d’un objet suivant la direction de la source lumineuse crée la ligne DE. La ligne CD sépare l’objet de son ombre portée, et CE correspond à sa partie invisible.


________________________________________________________________________



27/39

5. Les principales étapes de l’algorithme Nous présenterons dans cette partie les deux méthodes déjà implémentées au laboratoire pour la détection et la suppression des ombres lors de la soustraction de fond pour l’approche pixellique. La première méthode consiste à évaluer les différences de gradient afin de redimensionner les blobs, et la deuxième méthode utilise un filtre pour la détection d’ombres. Après l’adaptation de ces méthodes à l’approche par blob et à l’analyse des résultats pas très satisfaisant nous avons établi des propositions d’amélioration.

5.1. Critère du Gradient

Cette méthode consiste à évaluer le gradient des blobs (objets mobiles) en utilisant l’algorithme de détection de contours avec l’opérateur Canny. Tout d'abord, on élimine le bruit de l'image par convolution par un noyau gaussien. Ensuite, on calcul le gradient des blobs de l'image dans les deux directions X et Y. Enfin, on supprime les points du gradient qui ne correspondent pas à des maxima locaux. Une fois les gradients calculés, on procède au redimensionnement des blobs. La suppression d’ombre par critère du gradient que nous allons utiliser peut être schématisé par la chaîne de traitement suivante :

Figure 13 : Traitement d’ombres sur le critère du gradient

Résultat soustraction de fond (différence intensité/couleur)

Création des blobs

Elimination des blobs trop petits

Elimination des blobs ne faisant pas apparaitre de différence de

gradient

Concentration des blobs autour de la différence de gradient


________________________________________________________________________



28/39

Après la création des blobs on commence par éliminer ceux qui comportent un faible taux de pixels. Après la suppression des blobs à faible taux de gradient, on effectue une concentration des blobs restants autour des différences du gradient.

La figure ci-dessous illustre un exemple complet d’utilisation de cette méthode pour l’élimination de bruit.

Figure 14 : Illustration d’élimination de bruit par le critère du gradient


________________________________________________________________________



29/39

5.2. Filtre des ombres

On peut représenter dans l’espace colorimétrique 3-D RGB les variations possibles de la couleur d’un pixel d’une zone d’ombre par un cône qui exprime les variations d’intensité et de teintes.

Figure 15 : Les variations admises de couleurs sont définies par un cône autour de la valeur originale

Ce filtre n’est évidement utilisé que pour évaluer les pixels détecter par l’algorithme de soustraction de fond comme étant des objets. Soit un pixel p à évaluer, on calcule le produit scalaire entre le vecteur à évaluer )(pI et le vecteur du modèle de fond correspondant )( pB , et le produit scalaire entre le vecteur )(pI et le vecteur unitaire de la couleur blanche

( )1,1,1=w . Soit le ratio r définit comme suit

⋅

>=⋅=

−

nonsipBPI

pB

pBpIsi

r

)()(

)(

10)()(12

9

l’algorithme de classification du pixel en ombre est le suivant :

( ) ( )ombredpixelunestpalors

retsi thresh

'

0100*)1()cos()cos( <−> φφ

où φ est l’angle formé entre les vecteurs )(pI et )(pB , et ))cos(),max(cos()cos( filBthresh φφφ =

avec Bφ l’angle entre )(pB etw , filφ l’angle seuil du filtre d’ombres.

Les résultats peu satisfaisants de la combinaison de ces deux algorithmes seront présentés dans la section 6.2 et seront comparés aux résultats obtenus avec notre contribution.


________________________________________________________________________



30/39

5.3. Notre contribution

Nous avons effectué plusieurs tests et avons remarqué que le filtre des ombres et la méthode de soustraction d’ombres avec le critère de gradient ne fonctionne pas toujours. En effet lorsque plusieurs objets et leurs ombres portées se trouvent dans le même blob, la concentration de ce dernier autour de la différence de gradient ne permet pas toujours d’éliminer les ombres ceci en partie à cause du mauvais fonctionnement du filtre actuel.

Figure 16 : Faiblesse de la méthode existante

Les techniques de détection des ombres rencontrées dans la littérature peuvent être regroupées en deux principales catégories : la technique basée sur un modèle de fond (model-based en anglais), et l’autre basée sur les propriétés d’une ombre (property-based en anglais). La première méthode repose sur un modèle de fond représentant la géométrie de la scène, des objets et de l’illumination. La deuxième méthode quant à elle, exploite les propriétés spectrales et géométriques de l’ombre et s’avère être plus robuste que la précédente qui ne fonctionne qu’avec des applications particulières. Nous allons présenter deux algorithmes de segmentation des ombres portées qui utilisent le critère d’invariance colorimétrique et une nouvelle méthode qui utilise les propriétés géométriques et spectrales des ombres.


________________________________________________________________________



31/39

5.3.1. Utilisation des valeurs 1c , 2c , 3c

Cette méthode [5] que nous avons implémentée se déroule en plusieurs étapes. Tout d’abord une hypothèse est émise sur la présence des ombres suivant la propriété qui stipule que l’ombre assombrit la zone où il apparait. Ensuite un critère d’invariance colorimétrique dans l’espace 1c 2c 3c permet de localiser d’éventuelles zones d’ombres. Enfin la dernière étape

confirme ou infirme les hypothèses émises. Soient =),( yxI )),(),,(),,(( yxByxGyxR le pixel à évaluer et

=),( rr yxI )),(),,(),,(( rrrrrr yxByxGyxR le pixel de référence, où R, G, B représente les trois composantes couleurs, la figure ci-dessous présente le schéma de traitement employé par cette méthode.

Figure 17 : Traitement d’ombres

5.3.2. Utilisation du model YUV

Afin d’utiliser la propriété d’invariance colorimétrique d’une ombre, cette méthode utilise le modèle YUV. Le paramètre Y représente la luminance (c'est-à-dire l’information d’intensité lumineuse « noir et blanc »), tandis que U et V permettent de représenter la chrominance (l’information couleur). Soient ∗U et ∗V les composantes couleurs normalisées dans cette espace avec YUU =∗ et YVV =∗ . L’algorithme de détection d’ombres est le suivant [6] :

Prédiction

{ }condidatspixelsdesensemblelestSetbruitlereprésentebbbboù

byxByxBbyxGyxGbyxRyxRyxS

c

rrrrrrc

'),,(

),(),(,),(),(,),(),(:),(

321

321

=>−>−>−=

Correction

{ }possiblessdistorsionlesreprésenteffffoù

fyxcyxcfyxcyxcfyxcyxcyxS rrrrrrinv

),,(

),(),(,),(),(,),(),(:),(

321

333222111

=>−>−>−=

Décision

ombrespixelsdesensemblelestS

SSS

o

invco

'

I=


________________________________________________________________________



32/39

Figure 18 : Utilisation du model YUV pour le traitement d’ombres

5.3.3. Méthode proposée Il s’agit d’une synthèse des méthodes exposées précédemment avec quelques améliorations sur le filtre des ombres et l’utilisation du gradient pour détecter les contours des ombres afin de faciliter leur élimination. En effet le filtre implémenté jusqu’à présent ne renvoyait que deux valeurs : fond(B) ou de l’objet(C). Le nouveau filtre émet une hypothèse sur les pixels candidats d’ombre ensuite après une étude du voisinage le pixel est classé soit en ombre (S), soit en fond(B), soit de type inconnue (U). Au final on se retrouve avec une cartographie du résultat à valeur dans B, S, U et C (objet), et pour ne garder que deux valeurs (B et C) nous analysons de nouveau le voisinage en comptabilisant les valeurs autour du pixel à évaluer. La différence de gradient entre l’image courante et l’image du modèle de fond montre que les

Calcul de la différence de texture

( ) ( )∑=

−−−=4

1i

YiYYiY

t BBTHPPTHdiff

où YP est la composante Y du pixel P , pour i=1..4 YiP sont les composantes

lumineuses des 4-voisins(direction verticale et horizontale) du pixel P .

La fonction TH est définie comme suit :

>

=nonsi

seuilvalsivalTH

0

1)(

Décision Si BPetcouleurseuildiffetdiff ct <<= _0 alors P est une ombre.

Pour le test BP < il suffit de comparer les composants R, G et B des deux pixels

Calcul de la différence de couleur

**rerec VVUUdiff −+−= ∗∗

où ∗eU et ∗

eV sont les valeurs normalisées du pixel à évaluer P ,

∗rU et ∗

rV sont les valeurs normalisées du pixel de référence (modèle de fond)

correspondant B


________________________________________________________________________



33/39

zones d’ombres présentent un très faible taux de gradient contrairement aux objets (Figure 20).

Figure 19 : Résultat de la différence de gradient

Cette propriété qui n’est pas toujours vérifiée à cause du bruit, combinée au résultat du nouveau filtre des ombres permet de détecter et de supprimer les ombres dans des séquences vidéo. La méthode de suppression d’ombre que nous avons adopté peut être schématisée par la chaîne de traitement suivante :

Figure 20 : Méthode proposée de traitement d’ombres

Résultat soustraction de fond (différence intensité/couleur)

Résultat du nouveau filtre d’ombres

IC : Image courante sous le format

1c 2c 3c IM : Image modèle sous le

format 1c 2c 3c

Calcul du gradient d’IC

Calcul du gradient d’IM

Résultat de la différence de gradient

Combinaison des deux résultats

Résultat final

-


________________________________________________________________________



34/39

6. Résultats et discussion

6.1. Résultats

La première partie du travail d’implémentation a été l’adaptation des deux outils d’élimination d’ombres des sections 5.1 et 5.2 à la méthode de soustraction de fond basé sur des blocs. Par la suite, plusieurs tests ont été effectué pour étudier les faiblesses et de trouver des améliorations. Les méthodes d’élimination d’ombres exposées dans les sections 5.3.1 et 5.3.2 ont été implémentées. Les résultats obtenus améliorent nettement les performances des algorithmes existants même si la méthode présente des limitations. Ceci pourrait s’expliquer par le fait que ces méthodes de raisonnement se font à l’échelle pixellique tandis que celles implémentées reposent sur des blocs de 88× pixels. Dans cette partie nous présenterons uniquement les résultats de la méthode retenue (5.3.3), sur quelques exemples de vidéos. L’analyse des résultats permettra ensuite d’évaluer les performances et les limitations de la méthode proposée.


________________________________________________________________________



35/39

Image normale Sans traitement d’ombres Méthode finale

Figure 21 : Résultats sur une scène à extérieure


________________________________________________________________________



36/39

Image normale Sans traitement d’ombres Méthode finale

Figure 22 : Résultats sur une scène à l’intérieure


________________________________________________________________________



37/39

6.1. Performances et limitations des algorithmes

Plusieurs tests ont été effectués sur un large panel de vidéos représentant plus de 2000 images. L’algorithme proposé permet l’élimination des ombres. Cependant il arrive que des trous apparaissent dans la cible lorsque celle-ci possède très peu de gradients, ou en cas de forte ressemblance avec le modèle de fond. L’une des pistes d’amélioration consisterait à affiner la méthode de recherche de zone d’ombre. C'est-à-dire au lieu de raisonner sur des blocs de

88× pixels, on pourrait se ramener à une échelle pixellique ou alors utiliser des blocs de taille réduite pour le traitement des ombres tout en conservant la méthode actuelle de soustraction de fond.

Figure 23 : Limite de la méthode proposée

Nous avons également observé quelques cas critiques (vidéos difficiles à analyser, ombres très prononcées …) où il reste quelques bruits dans le résultat après le traitement des ombres (Figure 24). Ceci peut s’expliquer par le fait que les images de la vidéo qui sont plutôt en nuance gris ce qui rend plus difficile la segmentation des ombres avec le critère couleur. La succession d’érosion et de dilatation effectuée lors de la soustraction de fond peut aussi être à l’origine de ces débordements sur la zone d’ombre. Il serait donc intéressant d’utiliser un critère de texture en plus ou combiner différemment les critères que nous avons vu pour la détection des ombres.

Sans traitement d’ombre Méthode proposée

Figure 24 : Exemple de cas critiques


________________________________________________________________________



38/39

Conclusion Ce stage de seconde année d’école d’ingénieur au CEA LIST aborde un sujet de vidéosurveillance, et s'intéresse plus particulièrement la détection et la suppression des ombres pour l’optimisation d’un algorithme de soustraction de fond. L’analyse des algorithmes existants et l’étude des propriétés spectrales et géométriques des ombres ont permis la mise en place d’une méthode assez robuste. Les résultats plutôt concluants ont permis l’intégration de cet algorithme dans un système de suivi d'objets modulaire basé sur un algorithme de soustraction de fond existant au CEA LIST. La méthode que nous avons développée présente toutefois des limitations qui ont été identifiées. Des pistes d’amélioration ont été proposées pour pallier aux problèmes rencontrés. De plus la plupart des méthodes de détection et/ou de suppression des ombres rencontrées dans la littérature se font à l’échelle pixellique. Une question fondamentale se pose donc : Le descripteur des blocs de 88× pixels utilisé pour la soustraction de fond est-il adapté au problème de suppression d’ombres ? L’une des pistes d’amélioration consisterait à affiner la méthode de traitement d’ombres en utilisant des blocs de tailles réduites ( ,...22,44 ×× ) ou se ramener à une échelle pixellique tout en conservant la méthode actuelle de soustraction de fond. Cependant l’avantage de l’approche par bloc étant de réduire les bruits lors de la détection des objets en mouvement, il serait peut être intéressant de combiner les critères différemment. Ce stage m’a permis à la fois d’acquérir de nouvelles connaissances techniques mais également de développer mon sens relationnel dans le cadre de cette insertion dans le milieu professionnel. D’un point de vue professionnel, le stage m’a permis de découvrir le domaine de la recherche en vision par ordinateur, d’y appréhender les méthodes de travail et de prendre conscience des difficultés inhérentes. Grâce à ce riche apprentissage, j’éprouve désormais un réel intérêt pour le traitement d’images et la vision par ordinateur, branches qui m’étaient alors peu connues lors de mon arrivée au laboratoire. De plus cela m’a permis de compléter et d’approfondir mes connaissances acquises en programmation orientée objet et d’appréhender de nouvelles notions telles que la programmation générique et collaborative. Pour conclure, je qualifierais cette expérience de constructive et enrichissante tant au point de vue technique que relationnel et j’espère que ma présence aura apporté au sein de cette équipe autant de satisfaction qu’à moi-même.


________________________________________________________________________



39/39

Bibliographie [1] Fatih Porikli, Oncel Tuzel. Bayesian Background Modeling for Foreground Detection. Mitsubishi Electric research Labs. [2] Fatih Porikli, Oncel Tuzel, Peter Meer. A Bayesian approach to background modeling. Computer Vision and Pattern Recognition, 2005 IEEE Computer Society Conference on Volume 3, 20-26 June 2005 Page(s):58 – 58. [3] C. Stauffer, and W. E. L. Grimson. Adaptive background mixture models for real-time tracking. Computer Vision and Pattern Recognition, 2: 246-252, 1999. [4] Yu-Ting Chen, Chu-Song. Chen, Chun-Rong Huang and Yi-Ping Hung: Efficient hierarchical method for background subtraction. Pattern Recognition, November 2006. [5] E. Salvador, A. Cavallaro, and T. Ebrahimi. Cast shadow segmentation using invariant color features. Computer Vision and Image Understanding 95, pages 238–259, 2004. [6] Jianpeng Zhou and Jack Hoang. Real time robust human detection and tracking system. Computer Vision and Pattern Recognition, 2005 IEEE Computer Society Conference. [7] http://fr.wikipedia.org/wiki/Vidéosurveillance

Rapport Extraction Fonds

Documents

Transcript of Rapport Extraction Fonds