Compte-rendu de fin de projet Rfrence du formulaire : ANR-FORM-090601-01-01 Projet ANR-05-PDIP-O22-01 LOVe Programme PREDIT 2005 A IDENTIFICATION ...............................................................2B RESUME CONSOLIDE PUBLIC ..................................................2B.1 Rsum consolid public en franais ........................................ 2B.2 Rsum consolid public en anglais ......................................... 4C MEMOIRE SCIENTIFIQUE ......................................................6C.1 Rsum du mmoire ............................................................. 6C.2 Enjeux et problmatique, tat de lart ..................................... 7C.3 Approche scientifique et technique .......................................... 8C.4 Rsultats obtenus ................................................................ 11C.5 Discussions et conclusions .................................................... 13D LISTE DES LIVRABLES ....................................................... 15E IMPACT DU PROJET .......................................................... 19E.1 Indicateurs dimpact ............................................................ 19E.2 Liste des publications et communications ................................ 20E.3 Liste des lments de valorisation .......................................... 25E.4 Bilan et suivi des personnels recruts en CDD (hors stagiaires) .......................................................................... 27Rfrence du formulaire : ANR-FORM-090601-01-012/32 AIDENTIFICATION Acronyme du projetLOVe Titre du projetLogiciels dObservation des Vulnrables Coordinateur du projet (socit/organisme) Laurent Trassoudaine (Universit de Clermont-Ferrand 2) Priode du projet(date de dbut date de fin) 1 septembre 2006 30 dcembre 2009 Site web du projet, le cas chanthttp://love.univ-bpclermont.fr/ Rdacteur de ce rapport Civilit, prnom, nomPr Laurent Trassoudaine Tlphone06 78 55 31 03 Adresse lectroniquelatrasso@lasmea.univ-bpclermont.fr Date de rdaction30 mars 2010 Liste des partenaires prsents la fin du projet (socit/organisme et responsable scientifique) Armines/CAOR (Fawzi Nashashibi) Armines/CMM (Serge Beucher) INRIA/Emotion (Anne Spalanzani) INRIA/ICARE (Ezio Malis) INRIA/IMARA (Michel Parent) CNRS/UTC/Heudiasyc (Vronique Cherfaoui) CNRS/UBP/LASMEA (Frdric Chausse) CNRS/UPS/IEF (Roger Reynaud) CEA/LIST (Patrick Sayd) LCPC/INRETS/LIVIC (Didier Aubert) Renault (Sbastien Cornou) Valeo (Julien Rebut) BRESUME CONSOLIDE PUBLIC .B.1RESUME CONSOLIDE PUBLIC EN FRANAIS LOVe,desLogicielsdObservationdesVulnrablespourlaassurerlascuritdespitonsLascuritdespitons:unproblmecrucialetcomplexeLa protection des pitons et plus gnralement des vulnrables est une proccupation fortecar ils correspondent environ 900 tus par an en France. La lgislation a commenc voluer. Les rgles EuroNcap intgre aujourdhui des tests de compatibilit physique desvhicules. La prochaine tape est en 2010: les conditions de test ne sont pas encorecompltementdfinies.Ilestimportantpourlesconstructeursetquipementiersfranais,enparticulier RenaultetValeo,danticiperetdeprparercequepourraittreunsystmeactifpour lequel une brique essentielle est la dtection, la localisation et la classification desvulnrables. Lobjectif est donc de produire des logiciels de perception artificiellesuffisamment fiables et compatibles avec une implmentation sur des quipementsinformatiquesautomobiles.Rfrence du formulaire : ANR-FORM-090601-01-013/32 Cependant,la dtection, la localisation, la reconnaissance et le suivi de pitons demeure unproblme scientifique ouvert qui plus est dans un environnement complexe tel que lescentresvilles. Afin dassurer une bonne comprhension de la scne jusqu 40 m, uneimportante panoplie de solution algorithmique est dploye afin de traiter des donnesissuesdecamras,destrovisionoudelaserbalayage. VerslaproductiondelogicielsdeperceptionartificiellefiablesetsrsLOVe propose donc de contribuer la scurit routire en mettant principalement laccentsur la scurit des pitons. Lobjectif est daboutir des logiciels embarqus dobservationdes vulnrables fiables et srs rapidement implantables sur la gamme. A dessein, unedmarchedeconceptionindustrielledeceslogicielsatadopteafindespcifierclairementles contraintes techniques (capteurs, informatique), contextuels (scenarii envisags) etmthodes de validation des algorithmes. LOVe est riche dune multitude dapprochesexploitant des donnes laser, mono et strovision tant au niveau de la dtection, de lalocalisation,delareconnaissanceoudusuividespitons.Cessolutionspeuventensuitetrecombines diffrents niveaux de la chaine de traitement par des algorithmes de fusion dedonnes afin daccrotre prcision de localisation et certitude de la situation. Lensemble delaproductionatcaractriseafinquelesindustrielsmatrisentlapertinencedechacundesalgorithmesproposs.ProductionscientifiqueetrsultatsmajeursduprojetLes recherches menes dans LOVe ont conduit la rdaction de prs de 50 articlesscientifiques preuves dune importante dynamique scientifique. Dimportantes avancessont noter, en particulier, en dtection par strovision, en suivi monovision ou encoredans les mthodes de combinaisons dinformation. De manire gnrale, les industrielsRenault et Valeo disposent de logiciels aux formats et caractristiques maitriss ce qui rendpossible leur implmentation rapide dans une application scuritaire de prcrash enparticulier.Ces recherches menes dans le cadre des ples de comptitivits System@tic, Moveo etViamcaontdenombreusesretombes.Silaplusremarquableestsansdoutelacrationdetroisstartup,onpeutgalementnoterledptdedeuxbrevetsetlapoursuitedeplusieurspartenariatstantdansdesprojetsderecherchequauseindecollaborationsindustriels.Lesconnaissancesscientifiquesettechniquesacquisespermettentdenvisagerlextensiondesrecherchesauxautresvulnrables.Rfrence du formulaire : ANR-FORM-090601-01-014/32 LOVe:lespitonsdtectssontcaractrissparuntauxdereconnaissance.Le projet LOVe est un projet de recherche fondamentale coordonn par le LASMEA(CNRS/Universit de ClermontFerrand). Il associe aussi les socits Renault et Valeo, ainsique des laboratoires du CNRS (IEF/Universit Paris Sud, Heudiasyc/Universit deTechnologie de Compigne), de lINRIA (IMARA, Emotion, ICARE), dARMINES (CMM,CAOR), du CEA (LIST) et du LCPC (LIVIC/INRETS). Le projet a commenc en septembre2010 et a dur 40 mois. Il a bnfici dune aide ANR de 1,6 M pour un cot global delordrede8,5M.B.2RESUME CONSOLIDE PUBLIC EN ANGLAIS LOVe,vulnerablesobservationsoftwaretoinsurepedestrianssafety.Pedestriansafety:acrucialandcomplexproblem.The protection of pedestrians and more generally, those of vulnerables is a major concernbecausetheycorrespondtoabout900deathsperyearinFrance.Thelegislationhasbeguntochange.TheEuroNcaprulesnowincludecompatibilitytestingvehiclephysics.Thenextstepisin2010:Thetestconditionsarenotyetfullydefined.Itisimportantformanufacturersandfrench OEMs, particularly Renault and Valeo, anticipate and prepare for what could be anactive system for which an essential building block is the detection, localization andclassificationofrisk.Theaimistoproduceartificialperceptionsoftwarereliableenoughandcompatiblewithanimplementationoncomputerequipmentvehicles.Rfrence du formulaire : ANR-FORM-090601-01-015/32 However, the detection, localization, recognition and tracking of pedestrians remains anopenscientificproblemwhichismuchmorecomplexinenvironmentsuchascitycenters.Toensureagoodunderstandingofthesceneupto40m,alargearrayofalgorithmicsolutionisdeployedtoprocessdatafromcameras,stereovisionorlaserscanning. TowardstheproductionofreliableandsafesoftwareforartificialperceptionLOVe proposes to contribute to road safety by focusing primarily on the safety ofpedestrians. The objective is to achieve reliable and safe embedded software for vulnerableobservation quickly implantable on the range. So, an industrial design process of softwarehasbeenadoptedtoclearlyspecifythetechnicalconstraints(sensors,computers),contextual(scenariosconsidered)andmethodsforvalidationofalgorithms.LOVeisrichinavarietyofapproaches using laser data, mono and stereovision both in the detection, localization,recognition and tracking of pedestrians. These solutions can then be combined at differentlevelsoftheprocessingchainfromdatafusionalgorithmstoimprovelocationaccuracyandcertainty of the situation. The entire production has been characterized so that industrialsknowtherelevanceofeachoftheproposedalgorithms.ScientificproductionandmajorresultsoftheprojectIn LOVe, research led to the drafting of nearly 50 scientific papers witch shows a strongscientific activity. Significant progresses were achieved, in particular, concerning thedetection by stereovision, the tracking by vision and the methods of combination ofinformation.Ingeneral,themanufacturersRenaultandValeohavesoftwareinformatsandfeatures mastered which makes possible their rapid implementation in an application forprecrashforexample.The research conducted in the context of competitiveness clusters System@tic, Moveo andViameca have many benefits. If the mostnotable is probably the creation of three startups,wecanalsonotethefilingoftwopatentsandpursuingseveralpartnershipsbothinresearchprojectsandwithinindustrialcollaborations.The scientific and technical knowledge acquired allow to consider expanding research toothersvulnerables.Rfrence du formulaire : ANR-FORM-090601-01-016/32 LOVe:thedetectedpedestriansarecharacterizedbyarecognitionrate.TheprojectLOVeisabasicresearchprojectcoordinatedbytheLASMEA(CNRS/UniversityofClermontFerrand).ItalsocombinescompaniesRenaultandValeo,andlaboratoriesoftheCNRS (IEF / Universit Paris Sud, Heudiasyc / University of Technology of Compigne),INRIA(Imara,Emotion,ICARE),ARMINES(CMM,CAOR),CEA(LIST)andLCPC(LIVIC/INRETS).TheprojectbeganinSeptember2010andlasted40months.IthasbeenassistedbyANRfor1.6mforatotalcostofaround8.5million.CMEMOIRE SCIENTIFIQUE Mmoire scientifique confidentiel:nonC.1RESUME DU MEMOIRE LOVe,desLogicielsdObservationdesVulnrablespourlaassurerlascuritdespitonsLascuritdespitons:unproblmecrucialetcomplexeLa protection des pitons et plus gnralement des vulnrables est une proccupation fortecar ils correspondent environ 900 tus par an en France. La lgislation a commenc voluer. Les rgles EuroNcap intgre aujourdhui des tests de compatibilit physique desvhicules. La prochaine tape est en 2010: les conditions de test ne sont pas encoreRfrence du formulaire : ANR-FORM-090601-01-017/32 compltementdfinies.Ilestimportantpourlesconstructeursetquipementiersfranais,enparticulier RenaultetValeo,danticiperetdeprparercequepourraittreunsystmeactifpour lequel une brique essentielle est la dtection, la localisation et la classification desvulnrables. Lobjectif est donc de produire des logiciels de perception artificiellesuffisamment fiables et compatibles avec une implmentation sur des quipementsinformatiquesautomobiles.Cependant,la dtection, la localisation, la reconnaissance et le suivi de pitons demeure unproblme scientifique ouvert qui plus est dans un environnement complexe tel que lescentresvilles. Afin dassurer une bonne comprhension de la scne jusqu 40 m, uneimportante panoplie de solution algorithmique est dploye afin de traiter des donnesissuesdecamras,destrovisionoudelaserbalayage. VerslaproductiondelogicielsdeperceptionartificiellefiablesetsrsLOVe propose donc de contribuer la scurit routire en mettant principalement laccentsur la scurit des pitons. Lobjectif est daboutir des logiciels embarqus dobservationdes vulnrables fiables et srs rapidement implantables sur la gamme. A dessein, unedmarchedeconceptionindustrielledeceslogicielsatadopteafindespcifierclairementles contraintes techniques (capteurs, informatique), contextuels (scenarii envisags) etmthodes de validation des algorithmes. LOVe est riche dune multitude dapprochesexploitant des donnes laser, mono et strovision tant au niveau de la dtection, de lalocalisation,delareconnaissanceoudusuividespitons.Cessolutionspeuventensuitetrecombines diffrents niveaux de la chaine de traitement par des algorithmes de fusion dedonnes afin daccrotre prcision de localisation et certitude de la situation. Lensemble delaproductionatcaractriseafinquelesindustrielsmatrisentlapertinencedechacundesalgorithmesproposs.C.2ENJEUX ET PROBLEMATIQUE, ETAT DE LART Le but du projet LOVe est dexplorer les diffrentes voies technologiques permettant derpondre la problmatique de dtection des vulnrables. Lintrt de la dtection devulnrables est concrtis par les donnes accidentologiques disponibles tant en Francequauniveaueuropen.Cesdonnesdmontrentqueleschocspitonsconstituent1520%des accidents de la route. Dans le cadre de LOVe, les tudes ont t cibles sur laproblmatiquedeschocspitonsenenvironnementurbains(50%delamortalittotale)toutenrespectantlescontraintesautomobilesnotammententermedecotdescapteursutiliss.Par consquent, le but est de dtecter les pitons une distance de 40 mtres. Les deuxtechnologies explores dans ce projet sont les camras (monovision ou strovision) et leslidars. Les travaux effectus sur la camra sont en phase avec les attentes industrielles quivoitsedployerdsormaissurdesvhiculesrelativementhautdegammedessolutionsquisapproche des pistes explors au cours de ce projet. Par contre, depuis le lancement deLOVe la production de capteur lidar industriel ddi lautomobile na pas cru commelhypothse en avait t faite et la technologie radar semble avoir pris le dessus pour lesannes venir. Par consquent, les rsultats obtenues sur ce capteurs ne sont quepartiellementtransposabledessolutionsindustrielslalumiredeslmentsdumarch.Rfrence du formulaire : ANR-FORM-090601-01-018/32 Parcontre,silonseplaceplusdupointdevuelogiciel,lesalgorithmestudisentermedereconnaissance,dereconstruction3D,detrackingetdefusionsontdanslaveinedeseffortsR&D men actuellement par lensemble du tissu industriel automobile tant chez lesconstructeurs que chez les fournisseurs. Ces solutions logiciels constituent en effet unrservoir dinnovation permettant de traiter des problmatiques bien plus large que ladtectiondesvulnrables.C.3APPROCHE SCIENTIFIQUE ET TECHNIQUE LorganisationscientifiqueettechniquedeLOVesarticuleautourdedeuxsousprogrammesquitraitentrespectivementdesdveloppementsmonocapteursetmulticapteurs.Le sousprogramme 2 (algorithmique perception et suivi) sintresse la dtection despitons via une approche monocapteur (la strovision tant considre comme un monocapteur). SP2 regroupait 9 partenaires qui sont le LIST (CEA), CAOR (ENSMP), CMM(ENSMP), ICARE (INRIA), IMARA (INRIA), LIVIC (LCPC INRETS), LASMEA (Univers.Blaise Pascal), Heudiasyc (UTC). SP2 a t dcompos en 4 sous tches qui sont prsentescidessous.Localisationdezonesdintrts(T2.1):lebutestdedterminerla(oules)zone(s)delimage o les algorithmes de dtection, localisation et pistage vont intervenir. Unepremire approche consiste prdire la future trajectoire du vhicule pour focaliserlattention uniquement autour de cette dernire (CAOR, LIVIC). La trajectoire estprdite via langle de braquage du vhicule. La taille de la zone sajuste en fonctiondelavitesseduvhicule.Unesecondeapprocheconsisteprdirelafuturepositiondesvulnrables(LASMEA).Elleexploitelafoisledplacementduvhiculeetuneprdictionsurledplacementdespitons.Unetroisimeapprocheconsistedtecterles zones de la scne qui bougent indpendamment du vhicule instrument(ICARE). Ce principe nest valable que pour les pitons en mouvement. Finalement,la dernire approche consiste raliser une segmentation de la scne (CMM,IMARA,LIST) soit pour retrouver la route et les trottoirs via une technique de lignedepartagedeseauxsoitpourprlocaliserlespitonsviaunalgorithmedesmouchesouenexploitantunclassificateurfondsurlapparence.Dtection, Localisation, pistage monovision (T2.2): pour dtecter les pitons, unepremire approche consiste dtecter les objets qui bougent indpendamment duvhiculeinstrument(IEF)linstardecequeproposeICAREenT2.1.Leprincipeestsimilaire. Il consiste estimer le mouvement du vhicule pour le compenser etensuite dterminer les zones qui se sont dplaces malgr cette compensation.Cependant lapproche la plus explore pour dtecter et localiser les pitons est lareconnaissance de formes (LIST, CAOR, LASMEA). Ici le principe est trs similaireentre les partenaires. Il consiste construire par apprentissage une combinaison desclassificateurs faibles les plus adapts la reconnaissance de pitons (mthodeAdaBoost) et raliser la classification par une mthode noyau. Les diffrencesrsidentsurtoutdanslesbasesdedonnes,danslechoixdesclassificateursutilissetdanslesoptimisations.Finalement,certainspartenairessesontintresssausuividescibles dtectes. Pour le LASMEA lapproche est un filtrage temporel utilisant unemthode stochastique (Filtres Particulaires Monte Carlo par Chaine de MarkovRfrence du formulaire : ANR-FORM-090601-01-019/32 (MCMCPF).PourIEFetICARElesuiviestralisparestimationdesparamtresdumouvementquiminimiseunefonctiondecotsurlasimilaritentrelesintensitsdelobjetdtectlinstantprcdentetcellesdelobjetdformlinstantcourant.Dtection, Localisation, pistage strovision (T2.3): pour dtecter les objets de lascne les approches IEF et LIVIC sont trs proches. Elles consistent construire unecartededisparitsemidense,trouverlespointsappartenantlasurfacedelaroutegrcelavdisparitpourlessupprimeretainsineconserverquelesobjetsdintrtqui sont finalement segmenter. Lapproche du LIST est similaire pour mettre envidencelesformessituesaudessusdelasurfacedelaroute.Enrevanche,leLISTsappuie sur cette information pour fiabiliser la reconnaissance de pitons enexploitant la mthode cite en T2.2. Pour diminuer les temps de calcul, IMARApropose de ne raliser lassociation entre les images de la paire stro que sur despoints particuliers, les mouches. Le rsultat est une carte tridimensionnelle parse.Lapproche du CMM est trs diffrente et est pour linstant un stade exploratoirecommecelataitinitialementprvu.Elleconsisteassocierdesrgions,etnonplusdes pixels ou des points particuliers, pralablement extraites via une technique deligne de partage des eaux. Pour la LASMEA la strovision est gre de manireminimaliste.Enfaitpourchaquefentrecandidate,unrectangleenglobantestgnrdans les deux images de la base stro. Le classifier est appel pour chacune des 2imagettescandidatesextraitesetlescorefinalrsultedelafusionduscoredelimagedroite avec le score de limage gauche. Pour le suivi des pitons, ICARE exploite lamthode cite prcdemment (T2.2) en y introduisant la contrainte quadri focalepropreslapairestro.PourleLIVIC,lesuividesobjetsestralisgrceunfiltrede Kalman pour prdire la future position, une mthode dassociation entre lesdtectionsetlesmodlesetunemisejourdesmodles.Ladtection,localisation,pistageRADAR/LASER(T2.4):seulunLASER4nappesat exploit dans cette soustche. Le principe retenu par les partenaires (LASMEA,LIVIC et CAOR, Heudiasyc) est assez similaire. A partir des donnes brutes issuesdesquatre nappesLASER,unesegmentationfondesurdescritresdeproximit etde distance permet de dtecter les objets de la scne. Pour le LASMEA, le CAOR etHeudiasyc une reconnaissance de forme simple permet de faire la distinction entreun objet qui a une signature piton de celui qui ne la pas. Pour le LASMEA, lespitons sont ensuite suivis grce un filtre particule et pour le CAOR etHeudiasycgrceunfiltredeKalman.PourleLIVIClesuividesobjetsestralisvialathoriedescroyancespourassociertemporellementlescibles.Lesousprogramme3adoncpourobjectifdetraiterlesaspectsfusionsdedonnesduprojetLOVe; il sintresse particulirement aux approches multicapteurs savoir aux algorithmesquiutilisentlessortiesdeplusieursmodalitsduSP2pourraliserouamliorerladtectionde pitons. Ce sous programme est organis en 3 taches, la plus grande contribution tantdansla3.2:La tache 3.1 est intitule couplage zones dintrts/dtection des vulnrables ettraite principalement de prtraitements utiles la fusion. Ces traitements sont trsdiffrentsdunlaboratoirelautre.LeCAORraliseuneslectiondespistes(objetssuivisdansletemps)enfonctiondelazonedetravail.LIEFadveloppunmodulequi prdit les pistes ou les objets donns dans le repre Love une date ultrieureRfrence du formulaire : ANR-FORM-090601-01-0110/32 dans lobjectif de fusionner des donnes asynchrones. Le LASMEA effectue unetransformationdeszonesdintrtsdurepreLOVe(Lidar)verslerepreimage.Uneprdiction par une extrapolation est dabord ralise avant dappliquer latransformation gomtrique permettant de passer dun repre. Enfin le CEA/LIST apropos un algorithme en srie qui dtecte dans un premier temps des zonesdintrts avant dappliquer un classifieur. Cette mthode a t teste sur des zonesdintrtsvenantdestroismodalitsduSP2.La tache 3.2 est intitule Mthodes combines de fusion et contient le cur desmthodesdefusionpropossparleslaboratoires.LespartenairesdecettetchesontHeudiasyc, LASMEA, CAOR, Emotion, ICARE, LIVIC et lIEF. La plupart desmthodesdefusionsontbasessurlesmodalitsLIDAR+Vision(monooustro)etellespeuventtreclassesen2approches:fusionsrie(uncapteurdonneunrsultatqui est analys par une autre modalit) ou fusion parallle les capteurs donnent desrsultatsquisontfusionnsensuite.Danscettetcheuntravailspcifiqueateffectusurlapriseencompteetlamisejourdesnotes.LeLIVIC,leCEA/List,CAORetICAREontproposdesmthodesdefusionsrieole lidar donne des zones dintrts la vision qui applique un algorithme deconfirmation (dobjets et/ou de piton). Lalgorithme propos par ICARE est un peudiffrent dans le sens o il ne confirme pas forcment la prsence dun piton maisappliquesystmatiquementunalgorithmetrsefficacedesuividanslimage.Heudiasyc,leLASMEA,EmotionetlIEFontdfinidesmthodesdefusionayantenentre soit des listes provenant de modalits diffrentes, soit des listesdobjets/pitons dans le repre LOVe. La principale diffrence concerne la prise necompte ou non de lasynchronisme des donnes. Heudiasyc, ne suppose pas desynchronisme entre les capteurs mais nglige la latence, les autres laboratoiressupposent que les modalits dentres (souvent 2) sont synchrones. Lutilisation dumodule3.1delIEFparexemplepeutrendrevraiecettehypothse.Les algorithmes de cette tche proposent tous du suivi temporel. Globalement, lepistageestralispardesfiltresdeKalmanavecdesmthodesdassociationduplusproche voisin. On soulignera lutilisation dun filtre particules par le LASMEA etune association par fonctions de croyance au LIVIC. On remarque quil y a trs peude contributions sur la gestion explicite des occultations. On notera aussi laparticularit de la mthode de fusion propose par Emotion qui est la seule quipeayantutilisdesgrillesdoccupation(appelesBOF).Enfin, la prise en compte des notes (terminologie employe pour quantifier lapertinencedesdiffrentesdonnes)etleurmisejourestassezdiversifie.LeCAORutilise une mthode baysienne, Heudiasyc se place dans le cadre des fonctions decroyance. Dautres laboratoires effectuent des moyennes pondres selon plusieursheuristiques. Malheureusement nous navons pas pu dans le cadre du projetuniformiserladfinitiondesnotesdedtectionetdereconnaissancecequinefacilitepasleschangesdedonnesentrelesmodulessurcepoint.La tche 3.3 intitule Fusion de pistes propose des mthodes trs similaires auxalgorithmes de fusion parallle de la tche 3.2 la diffrence que les entres desmodulesnesontpasdeslistesdobjetsmaisdeslistesdepistes.LeCAORaproposune fusion en srie pistes LIDAR puis mono camra sur le mme principe que leRfrence du formulaire : ANR-FORM-090601-01-0111/32 module dvelopp dans le 3.2. La LASMEA a dvelopp un module de fusion depistes indpendantes dans le repre LOVe. La mise jour des notes est calcule demanireidentiqueauxmodules3.2Paralllement ces recherches mthodologiques, les travaux hardware ont pour butdvaluer la capacit embarquer les logiciels dvelopps dans le cadre de LOVe. Laquestion de ladquation hard/soft est toujours difficile traiter en parallle dudveloppement. Dans le cadre de LOVe deux dmarches ont t men de front. Toutdabord,unquestionnaireatconuettransmischacundespartenairesdveloppantdesalgorithmesafindedcrirelescodesendocumentantdeslmentsconnuscommetanttrsdimensionnant pour les portages. Dautre part, certains algorithmes reprsentatif ontport par lIEF sur diffrentes cibles afin dvaluer et de comparer les performances(vitessedexcution,mmoire,).C.4RESULTATS OBTENUS LeslivrablesattenduspourleSP2sontdesrapports(x:1..4reprsentantlessoustches): R2.x.1:Analysedesconsquencesdesspcificationssurlalgorithmique; R2.x.2 : Rapport davancement sur le dveloppement de la mthode et rsultatsprliminaires; R2.x.3:Rapportdesynthsedelamthodedobservation.Des logiciels sont galement disponibles pour chaque mthode dcline ainsi que dessquencesdetestensimulationousurdonnesrelles.Audeldeceslivrables,lesrsultatsdu projet ont donns lieu de nombreuses publications comme on peut le constater en E1.Cest un signe des avancs significatives des approches proposes par rapport ltat delart.Les avances sont de plusieurs ordres et pas forcment toujours l o on les attendait.Lavancelaplussignificativeconcernelesuividecible.LalgorithmedveloppparICARE,actuellement en test chez un industriel de lautomobile, est un des produits dune nouvellestartup (voir cidessous). En parallle le suivi de cibles LASER devient aussi trsperformant.CequiestplussurprenantestlaqualitdelareconnaissancedepitonsparuneapprocheLASER.Bienquelinformationsoittrsparcellairesurunpiton,cesdernierssontgnralement bien reconnus au prix, naturellement, de quelques fausses dtections comptetenu du faible pouvoir discriminant des donnes LASER. Notons galement lapproche duCAOR capable de distinguer le cas de groupe de pitons. La strovision a aussiprogress en termes de rapidit, de qualit de la carte de disparit, de segmentation de lasurfacedelarouteetdesegmentationenobjets.Cependant,surcedernierpoint,desprogrsrestent encore accomplir. Finalement, la reconnaissance a aussi progress sans toutefoisatteindreunequalitencoresuffisanteentermesdetauxdereconnaissanceetdenombredefausses dtections. Les progrs raliss concernent la rapidit des mthodes et un meilleurchoixdesclassifieurs.Les rsultats du sousprogramme 3 sont galement trs encourageants et montrent que lafusionentreplusieursmodalitsaugmentesignificativementletauxdebonnedtectiontoutendiminuantletauxdefaussesalarmes.LecouplagelidarmonovisionafournidetrsbonsRfrence du formulaire : ANR-FORM-090601-01-0112/32 rsultatspuisqueleLidaresttrspertinentpourdtecteretlesalgorithmesdeclassificationbasedimageassurentlareconnaissance.Desdveloppementssupplmentairesauraienttncessairesiletempslavaitpermispourrsoudrequelquesproblmesquinavaientpastanticips par les partenaires: asynchronisme des donnes,zones dintrt dans limage malajustes sur le piton (contrairement aux imagettes utilises pour lapprentissage),reprsentationnonhomognedesnotesdedtectionetdereconnaissance.Malheureusement,lesousprogrammeFusiondedonnesasouffertduretardprisdansleSP2(rsultatsdisponiblessurlesiteenseptembre2009).Quelquespartenairesattendaientdes rsultats quantitatifs pour choisir les entres de leur module. Cependant, on souligneraquetouslespartenairesontfournilesmodulespropossavecquelquesvariationsdansleurdfinition. On peut regretter ce jour que peu de contributions ont t apportes sur lagestionexplicitedesoccultationsA ce jour, les laboratoires utilisent encore les donnes et continuent dvelopper etamliorerleursmthodes.Lespublicationsissuesdeceprojetsontdjnombreusesetvontaugmenterencoredanslesmoisquisuivent.Le projet aborde donc la problmatique de la dtection de pitons par une approchemodulaire.Lelogicielestdcomposenmodulestelsqueladtection,lesuivioubienencorela fusion dvelopps par diffrents laboratoires. Une valuation quantitative a t mise enuvre. Le but de lvaluation est de dterminer les performances individuelles de chaquealgorithme afin de slectionner les meilleurs qui constitueront la chane finale de dtection.Nousavonsconsidrplusieurschanesdemaniremettredesrecommandationssurlescombinaisonscapteurs/algorithmeslesplusperformantes.Les objets extraits par les algorithmes sont compars ceux de la vrit terrain (extraitmanuellement). Ainsi, nous en dduisons quatre critres reprsentant les performances: letaux de bonnes dtections et de slectivit pour les algorithmes de dtection et le taux debonnes reconnaissance et fausses alarmes pour les algorithmes de reconnaissance. Ceuxcipermettent de tracer les courbes defficacit de dtection de zones et defficacit dereconnaissanceafindecomparerlesalgorithmesentreeuxpourunpointdefonctionnementdfini.Lvaluation des algorithmes du SP2 (localisation de zones dintrts, dtection de zones,reconnaissanceetpistage)amisenavantdesmodulesdesuivants:Monovision:lemoduledulaboratoireCAORralise80%debonnesdtectionspour5%seslectivitet80%debonnesreconnaissancespour13%defaussesalarmes.Stro vision: le module du laboratoire IEF ralise 50% de bonnes dtections pour20%deslectivit.Laser/radar:lemodule dulaboratoireCAORralise90%debonnesdtectionspour10%deslectivitet80%debonnesreconnaissancespour50%defaussesalarmes.A partir de ces rsultats, nous avons slectionn une partie des modules pour valuer lesperformances des algorithmes de fusion (SP3). Ainsi, nous avons montr que la fusion deplusieurs algorithmes de dtection permet damliorer les performances globales dedtectiondesvulnrables.Parexemplesurlescnario4,lesmodulesdestrovisionetlidarslectionns prcdemment ralisaient chacun 40% de bonnes dtection alors que lacombinaisondesdeuxpermetdatteindrejusqu75%debonnesdtection.Rfrence du formulaire : ANR-FORM-090601-01-0113/32 C.5DISCUSSIONS ET CONCLUSIONS La dtection des pitons (vulnrables) est une problmatique dactualit dans le secteurautomobile et qui plus est lune des plus difficiles rsoudre. En effet, contrairement dautres acteurs de lenvironnement automobile tels les vhicules par exemple, les pitonspeuvent avoir une multitude dapparences: de lenfant ladulte (problmatique de taille),debout ou accroupie (problmatique de ratio), marchant ou courant (amplitude desmouvements), de face ou de profil (problmatique de forme) ou bien encore la grandediversit des vtements ports en fonction des saisons par exemple Tous ces facteursrendent la dtection et la reconnaissance du piton trs difficile. Pour rpondre cettecomplexit,lechoixjudicieuxdelapprochemodulairepermisdemettreencomptitionleslaboratoires afin dobtenir les meilleurs performances chaque tape de la chane dedtection. Au cours du projet, les contributeurs ont explor une multitude de techniquesscientifiquesquiontt,pourcertaines,retenuesdanslachanefinalededtection.Dansledtaildesmthodes,onpeutnotammentreleverladtection,lareconnaissanceetlesuivi LASER: les rsultats obtenus sont de trs bonne qualit et il semble difficile de fairebeaucoup mieux, malgr les fausses dtections, compte tenu de la quantit dinformationdlivre par un LASER 4 nappes. Comme expliqu en C.4, le suivi par vision a t unimmensesuccsetestundesrsultatsmajeursduprojet.Ilaunimpactindustrielcertaincarunindustrielaprisunelicencepourcelogicieletcestunproduitpharedunestartup.Lesrsultats sont plus mitigs concernant la reconnaissance des pitons que ce soit en visionmonocamra ou en strovision. Il subsiste encore trop de non dtections et de faussesdtections. Concernant la strovision il y a un problme de segmentation quil faudraamliorer. Pour lapproche monovision il manque, peuttre, une prise en compte dumouvement du piton pour le diffrentier du fond de la scne mais aussi le diffrentierdautres objets. Actuellement, la reconnaissance nexploite que la similarit de formes enniveaudegris.Cependant,lapprochecollaborativepermetbeletbiendamliorerlesperformances,cestdireuneaugmentationdutauxdebonnesdtectiontoutenrduisantlesfaussesdtections.En effet, la fusion dun algorithme de strovision avec un lidar, ralisant chacun 40% debonnes dtections, permet datteindre jusqu 75% de bonnes dtections. Cependant, ilauraittintressantdtudierlesurcotdepuissancedecalculncessaireencomparantlestaux de charges des algorithmes seuls avec celui de la fusion. Dautres part, nous pouvonsgalementregretterquelachanedefusionlaplusefficacesoitbasesurdeuxcamrasetunlidar qui, compte tenu des contraintes automobiles actuelles, paraissent difficilementenvisageable.Lvaluation quantitative des rsultats par comparaison une vrit de terrain tait un dfiet probablement une premire pour ce type de projets. Nous devons reconnatre que lesperformances atteintes sont en dessous des objectifs initialement fixs mais nestil pasncessairedtreambitieuxlorsdunlancement?Ilnendemeurepasmoinsquelesdlivrablesduprojetconstituentuntravaildequalitquiaura, sans aucun doute, des retombes ultrieures. Par ailleurs, le projet a permis de tisserRfrence du formulaire : ANR-FORM-090601-01-0114/32 des liens entre universitaires et industriels favorisant ainsi llaboration de nouveauxcontrats de dveloppements. Le wrapper LOVe mis en place pour harmoniser lacommunication entre les modules est un plus qui va permettre de faire perdurer lescollaborations.Enfinleniveaudeproductionscientifique,ledptdedeuxbrevetsetlacrationde3spinoffsconstituentdevritablessatisfactions.Compte-rendu de fin de projet Rfrence du formulaire : ANR-FORM-090601-01-01 DLISTE DES LIVRABLES Date de livraison TitreNature (rapport, logiciel, prototype, donnes, ) Partenaires (souligner le responsable) Commentaires Mars 07Dfinition des cas traitsR1.1.1Valeo, Renault Octobre 06Site webR0.3.1lasmea Mars 07Spcification des capteurs et/ou fourniture des donnesR1.2.1Valeo, Renault Fvrier 07Spcification de la plate-forme matrielleR1.3.1Valeo, RenaultAvril 07Spcification de la plate-forme logicielleR1.4.1 Valeo,Renault, LasmeaMars 07Spcification du cadre de lvaluation des algorithmesR1.5.1Valeo, Renault Fvrier 07Rapport davancement semestrielR0.1.1 CAOR, CEA-LIST, CMM,ICARE,IMARA, LASMEA,LIVIC, Renault,Valeo, e-motion,IEF, HeudiasycJ uin 07Analyse des consquences des spcifications sur lalgorithmiqueR2.1.1 CAOR,CEA-LIST,CMM, ICARE,IEF, IMARA, LASMEA, LIVICMars 07Analyse des consquences des spcifications sur lalgorithmiqueR2.2.1Lasmea Mai 07Analyse des consquences des spcifications sur lalgorithmiqueR2.3.1 CEA, CMM,Icare, IEF,IMARA, LIVIC, LASMEAMars 07Analyse des consquences des spcifications sur lalgorithmiqueR2.4.1 CMM,LASMEA, LIVIC, HeudiasycMars 07Analyse des consquences des spcifications sur lalgorithmiqueR3.2.1 Caor,Heudiasyc, Lasmea, emotion,lasmea, ief, ceaRfrence du formulaire : ANR-FORM-090601-01-0116/32 Date de livraison TitreNature (rapport, logiciel, prototype, donnes, ) Partenaires (souligner le responsable) Commentaires Septembre 07Rapport davancement semestrielR0.1.2 CAOR, CEA-LIST, CMM,ICARE,IMARA, LASMEA,LIVIC, Renault,Valeo, e-motion,IEF, HeudiasycFvrier 08Rapport davancement semestrielR0.1.3 CAOR, CEA-LIST, CMM,ICARE,IMARA, LASMEA,LIVIC, Renault,Valeo, e-motion,IEF, HeudiasycAvril 08Rapport davancement sur le dveloppement de la mthode et rsultats prliminairesR2.1.2 CAOR, CEA-LIST, CMM,ICARE, IMARA, LASMEA, LIVICJ uin 07Dmonstration des rsultats prliminairesD2.1.1 CAOR, CEA-LIST, CMM, ICARE, IEF, IMARA, LASMEA, LIVICJ uin 08Rapport davancement sur le dveloppement de la mthode et rsultats prliminairesR2.2.2 CAOR, CEA-LIST,ICARE, IEF, LASMEA J uillet 08Rapport davancement sur le dveloppement de la mthode et rsultats prliminairesR2.3.2 CEA, CMM,Icare, IEF,IMARA, LIVIC, LASMEAMai 07Dmonstration des rsultats prliminairesD2.3.1 CEA, CMM,Icare, IEF,IMARA, LIVIC, LASMEAAvril 08Rapport davancement sur le dveloppement de la mthode et rsultats prliminairesR2.4.2 CMM,LASMEA, LIVIC, HeudiasycAvril 08Rapport davancement sur le dveloppement de la mthode et rsultats prliminairesR3.2.2 Caor,Heudiasyc, Lasmea, emotion,lasmea, ief, ceaSept 09Spcification des besoins en fusionR1.5.2valeo Avril 09Rapport davancement semestrielR0.1.4CAOR, CEA-Rfrence du formulaire : ANR-FORM-090601-01-0117/32 Date de livraison TitreNature (rapport, logiciel, prototype, donnes, ) Partenaires (souligner le responsable) Commentaires LIST, CMM,ICARE,IMARA, LASMEA,LIVIC, Renault,Valeo, e-motion,IEF, Heudiasyc Fourniture de la plate-forme matrielleM1.3.1 Annul suite rorientation du projet J anvier 09Rapport de synthse de la mthode dobservationR2.1.3 CAOR, CEA-LIST, CMM, ICARE, IMARA, LASMEA, LIVICSeptembre 07Logiciel dobservation des vulnrablesL2.1.1 CAOR,CEA-LIST,CMM, ICARE,IEF, IMARA, LASMEA, LIVICFvrier 2009Rapport de synthse de la mthode dobservationR2.2.3 CAOR,CEA-LIST,ICARE, IEF, LASMEAJ uin 2007Logiciel dobservation des vulnrablesL2.2.1lasmea Fvrier 2009Rapport de synthse de la mthode dobservationR2.3.3 CEA, CMM,Icare, IEF,IMARA, LIVIC, LASMEALogiciel dobservation des vulnrablesL2.3.1 Mars 2009Rapport de synthse de la mthode dobservationR2.4.3 CMM,LASMEA, LIVIC, HeudiasycMars 2007Logiciel dobservation des vulnrablesL2.4.1 CMM,LASMEA, LIVICMars 2010Rapport de synthse sur la mthode de combinaisonR3.1.2 Ief,livic,cea, lasmea, caorMars 2010Logiciel dobservation des vulnrablesL3.1.2 Ief,livic,cea, lasmea, caorSeptembre 09Rapport de synthse de la mthode dobservationR3.2.3 Caor,Heudiasyc, Lasmea, emotion,lasmea, ief, ceaSeptembre 09Logiciel dobservation des vulnrablesL3.2.1 Caor,Heudiasyc, Lasmea,Rfrence du formulaire : ANR-FORM-090601-01-0118/32 Date de livraison TitreNature (rapport, logiciel, prototype, donnes, ) Partenaires (souligner le responsable) Commentaires emotion,lasmea, ief, cea Septembre 09Rapport de synthse sur la mthode de combinaisonR3.3.1 Lasmea,caor, heudiasycSeptembre 09Logiciel de combinaison des pistagesL3.3.1 Lasmea,caor, heudiasycNovembre 09Validation des algorithmes de perception intgrerR1.5.3valeo, Renault Mars 10Validation des algorithmes de fusion intgrerR1.5.4valeo, Renault Novembre 09Rapport davancement semestrielR0.1.5 CAOR, CEA-LIST, CMM,ICARE,IMARA, LASMEA,LIVIC, Renault,Valeo, e-motion,IEF, HeudiasycRapport intermdiaire dimplantationR4.1.1 Annul suite rorientation du projetAvril 10Rapport finalR0.1.6 CAOR, CEA-LIST, CMM,ICARE,IMARA, LASMEA,LIVIC, Renault,Valeo, e-motion,IEF, HeudiasycRapport dimplantationR4.1.2 Annul suite rorientation du projetJ anvier 2010Logiciel dobservation des vulnrablesL4.1.1 CAOR, CEA-LIST, CMM,ICARE,IMARA, LASMEA,LIVIC, Renault,Valeo, e-motion,IEF, HeudiasycCompte-rendu de fin de projet Rfrence du formulaire : ANR-FORM-090601-01-01 EIMPACT DU PROJET E.1INDICATEURS DIMPACT Nombre de publications et de communications ( dtailler en E.2)Publications multipartenaires Publications monopartenaires International Revues comit de lecture 4 Ouvrages ou chapitres douvrage 1 Communications (confrence) 132 France Revues comit de lecture 1 Ouvrages ou chapitres douvrage 1 Communications (confrence) 4 Actions de diffusion Articles vulgarisation Confrences vulgarisation Autres 1 4 +2articlesdecongrssoumis+1articlederevueinternationalesoumisAutres valorisations scientifiques ( dtailler en E.3) Nombre, annes et commentaires(valorisations avres ou probables) Brevets internationaux obtenus Brevet internationaux en cours dobtention 2 brevets sont en cours de dpt par le CEA LIST Brevets nationaux obtenus Brevet nationaux en cours dobtention Licences dexploitation (obtention / cession) Achat dune licence dexploitation (1 an) de lalgorithme de suivi ESM des fins de R&D, puis renouvellement pour une nouvelle anne, VALEO Crations dentreprises ou essaimage -La socit Arcure vient de voir le jour pour exploiter les techniques de dtection de pitons issues des travaux du CEA LIST dans le projet Love. -Valorisation avre dans la startup Robocortex. Cration prevue en Juillet 2010. -Civitech Nouveaux projets collaboratifsLIVIC : Projet en cours de montage (FUI) pour valoriser la strovision au niveau industriel (automobile et vido-surveillance) CAOR : Travaux servi alimenter un projet conjoint avec un industriel (Valeo) Rfrence du formulaire : ANR-FORM-090601-01-0120/32 Des discussions sont en cours pour intgrer la thmatique de la dtection de pitons dans laccord global de collaboration sign entre Renault et le CEA. CITYVIP ROBOTEO (RTRA DIGITEO) Colloques scientifiques Autres (prciser) CAOR : Montage dun projet exploitant les rsultats obtenus dans le projet E.2LISTE DES PUBLICATIONS ET COMMUNICATIONS RevuesinternationalesFayadF.andCherfaouiV.ObjectlevelfusionandconfidencemanagementinamultisensorpedestriantrackingsystemLecture Notes in Electrical Engineering Multisensor Fusion and Integration for IntelligentSystems,vol.35,pp.1531,2009KallelA.,andLeHgaratMascleS.Combinationofpartiallynondistinctconsonantbeliefs:thecautiousadaptiveruleInternationalJournalofApproximateReasoning50(7):10001021,July2009.S.GIDEL,P.CHECCHIN,C.BLANC,T.CHATEAU,L.TRASSOUDAINE.PedestrianDetectionandTrackinginUrbanEnvironmentusingaMultilayerLaserscannerIEEETransactionsonIntelligentTransportationSystems:toappearin2010.MathiasPerrollaz,RaphaelLabayrade,DominiqueGruyer,andDidierAubertUsingstereovisiontoimprovethereliabilityofobstacledetectionsystemssoumisIEEETransactionsonIntelligentTransportationSystems.ChapitresdouvrageinternationauxL.LEYRIT,T.CHATEAU,andJ.LAPRESTEClassifiersAssociationforHighDimensionalProblemMachineLearningChapterINTECH,Toappear.ConfrencesinternationalesM.Perrollaz,A.Spalanzani,D.AubertA probabilistic representation of the uncertainty of stereovision and its application to obstacledetectionSoumisIV2010.T.VeitRfrence du formulaire : ANR-FORM-090601-01-0121/32 ProbabilisticGroundSurfaceSegmentationforStereovisionsoumisIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS2010),Taipei,Tawan,1822octobre2010.A.Ganoun,T.Veit,D.AubertTrackingMultipleTargetsBasedonStereoVisionVISAPP,Lisboa,Portugal,58feb.2009.T.VeitConnexitybasedfrontoparallelplanedetectionforstereovisionobstaclesegmentationProceedings of Workshop on Safe navigation in open and dynamic environmentsApplication to autonomous vehicles, IEEE International Conference on Robotics andAutomation(ICRA),Kobe,Japan,May1217,2009.G.Gt,F.NashashibiAnapproachforrobustmapping,detection,trackingandclassificationindynamicenvironmentsProceedings of the 2009 IEEE International Conference on Advanced Robotics, 2226 June,2009,Munich,Germany.G.Gt,F.NashashibiFastalgorithmforpedestrianandgroupofpedestriansdetectionusingalaserscannerProceedingsofthe2009IEEEIntelligentVehiclesSymposium,35June,2009,Xian,Shaanxi,China.G.Gt,A.Breheret,F.NashashibiCentralizedfusionbasedalgorithmforfastpeopledetectionindenseenvironmentProc. of the IEEE International Conference on Robotics and Automation, 1217 May 2009,Kobe,Japan.G.Gt,A.Breheret,F.NashashibiCentralizedfusionbasedsystemforfastpeopledetectionindenseenvironmentIn the Proc. of the 69th IEEE Vehicular Technology Conference, 2629 April 2009, Barcelona,Spain.G.Gt,F.NashashibiUsingTargetsAppearancetoImprovePedestrianClassificationwithaLaserScannerIEEEIntelligentVehiclesSymposium,46June,Eindhoven,Netherlands.S.GIDEL,C.BLANC,T.CHATEAU,P.CHECCHIN,L.TRASSOUDAINEAMethodbasedonMultilayerLaserscannertoDetectandTrackPeopleinUrbanEnvironmentIEEEIntelligentVehicleSymposium.Xian,Shaanxi,China2009.S.GIDEL,C.BLANC,T.CHATEAU,P.CHECCHIN,L.TRASSOUDAINENonParametric Laser and Video Data Fusion : Application to Pedestrian Detection in UrbanEnvironment12thIEEEInternationalConferenceonInformationFusion.Seattle,Washington,USA2009.Rfrence du formulaire : ANR-FORM-090601-01-0122/32 S.GIDEL,P.CHECCHIN,C.BLANC,T.CHATEAU,L.TRASSOUDAINEDecentralized Fusion of a 4layer laser sensor based on Parzen Method: Application to PedestrianDetectionICRA 2008 Workshop: Human Detection from Mobile Robot Platforms: Differentperspetive,DifferentModalities,Pasadena,USA,2008.S.GIDEL,P.CHECCHIN,C.BLANC,T.CHATEAU,L.TRASSOUDAINEParzenMethodforFusionofLaserscannerData:ApplicationtoPedestrianDetectionIEEEIntelligentVehiclesSymposium(IV),eindhoven,Netherlands,2008.S.GIDEL,C.BLANC,T.CHATEAU,P.CHECCHIN,L.TRASSOUDAINENonparametric data association for particle filter based multiobject tracking: application to multipedestriantrackingIEEEIntelligentVehiclesSymposium(IV),eindhoven,Netherlands,2008.S.GIDEL,P.CHECCHIN,C.BLANC,T.CHATEAU,L.TRASSOUDAINEPedestrianDetectionMethodusingaMultilayerLaserscanner:ApplicationinUrbanEnvironmentIEEE/RSJInt.Conf.onIntelligentRobotsandSystems(IROS),2008.L.LEYRIT,T.CHATEAU,andJ.LAPRESTEVisualpedestrianrecognitioninweakclassifierspaceusingnonlinearparametricmodelsICIPIEEEInternationalConferenceonImageProcessing,SanDiego,USA,october2008.L.LEYRIT,T.CHATEAU,C.TOURNAYRE,andJ.LAPRESTEAssociationofadaboostandkernelbasedmachinelearningmethodsforvisualpedestrianrecognitionIEEEIntelligentVehiclesSymposium,Eindhoven,TheNetherlands,June2008.S.Cornou,B.Fleury,F.Solanet,L.TrassoudainePedestrianAccidentContextandTechnologicDevelopmentinLOVeInternational Conference : V.I.S.I.O.N Versailles Satory Versailles Satory October 7 & 8,2008L.NGAKOPANGOP,F.CHAUSSE,S.CORNOU,R.CHAPUISFeatureBased Multisensor Fusion UsingBayes Formula for Pedestrian Classification in OutdoorEnvironmentsIEEEIV2007,Istanbul,Turquie,1315Juin2007.L.NGAKOPANGOP,S.CORNOU,F.CHAUSSE,R.CHAPUIS,S.BONNETABayesianClassificationofPedestriansinUrbanAreas:TheImportanceoftheDataPreprocessingIEEEInternationalConferenceonMultisensorFusionandIntegrationforIntelligentSystems,Seoul,CoreduSud,2022Aot,2008,pp.195201.Fayad,F.andCherfaoui,V.andDerbhomez,G.UpdatingconfidenceindicatorsinamultisensorpedestriantrackingsystemIEEEIntelligentVehiclesSymposium(IV2008),Eindhoven,2008Fayad,F.andCherfaoui,V.DetectionandRecognitionconfidencesupdateinamultisensorpedestriantrackingsystemRfrence du formulaire : ANR-FORM-090601-01-0123/32 Int. Conf on Information Processing and Management of Uncertainty in knowledgeBasedSystems,(IPMU2008),Malaga,2008Fayad,F.andCherfaoui,V.ObjectlevelfusionandconfidencemanagementinamultisensorpedestriantrackingsystemIEEEInternationalConferenceonMultisensorFusionandIntegrationforIntelligentSystems(MFI2008),Seoul,Korea,August2022,2008LeHgaratMascleS.,AndrC.,andReynaudR.OntheinterestofhavingdifferentcombinationrulesintheevidencetheoryframeworkWorkshoponTheoryofBeliefFunctionsTBF10,inBrest,France,onApril122010,CDROM,6p.LeHgaratMascleS.,andReynaudR.CombinationofdetectionandrecognitionalgorithmsusingtheevidencetheoryframeworkCOGIS09,inParis,France,onNovember16182009,CDROM,6p.KallelA.,andLeHgaratMascleS.Combinationofpartiallynondistinctconsonantbeliefs:thecautiousadaptiveruleInternational Conference on Sciences of Electronics, Technologies of Information andTelecommunications(SETIT09),inHammamet,Tunisia,onMarch22262009,9p.AmmarM.,LeHgaratMascleS.,ReynaudR.,andRobinA.,VideosceneobjectdetectionusinganAContrarioapproachInternational Workshop on Image Processing Theory, Tools and Applications (IPTA08), inSousse,Tunisia,onNovember23262008,CDROM(ISBN9781424433216),8p.LeHgaratMascleS.,ReynaudR.,AndrC.,andKallelA.UseoftheadaptivecautiousruleforcombinationofseparableevidencesCOGIS07, in Stanford, California, USA, on November 2627 2007, CDROM (ISBN2912328470),8p.M.GouiffsColorConnectednessDegreeforMeanShiftTracking20thInternationalConferenceonPatternRecognition.ICPRAugust2010.M.Gouiffs,A.Patri,M.VasiliuRobustobstaclesdetectionandtrackingusingdisparityforcardrivingassistanceIS&TSPIEElectronicImaging2010.SanJose,USA,January2010M.Gouiffs,S.Bouchafa,B.ZavidoviqueSegmentsofcolorlinesAComparisonthroughaTrackingProcedureInternational Conference on Informatics in Control, Automation and Robotics (ICINCO),Milan,Italy,25july2009.Y.Almehio,S.BouchafaAvotingdecisionstrategyforimageregistrationunderaffinetransformationRfrence du formulaire : ANR-FORM-090601-01-0124/32 Image Processing: Algorithms and Systems VIII conference, IS&T SPIE Electronic Imaging2010,SanJose,California,USA,1721January2010.S.Bouchafa,B.ZavidoviqueCvelocity:aCumulativeFrametoSegmentObjectsfromEgomotionPattern recognition and Image Analysis journal, 2009, Vol. 19, n4, pp. 583590. PleiadesPublishing,Ltd.,distributedbySpringer.ISSN:10546618.S.Bouchafa,A.Patri,B.ZavidoviqueEfficientplanedetectionfromasinglemovingcameraIEEEInternationalConferenceonImageProcessingICIP,Cairo,Egypt,November711,2009.ChapitredouvragefrancophoneReynaudR.,etLeHgaratMascleS.LarchitecturedesystmesmulticapteursractifsChapitre dans louvrage Gestion de la complexit et de linformation dans les grandssystmes critiques, sous la direction dA. Appriou, CNRS Editions, 2009, ISBN : 9782271068286.RevuefrancophoneLeHgaratMascleS.,ReynaudR.,AndrC.,andKallelA.UtilisationcontextuelledunergleprudenteadaptativepourlacombinaisondvidencessparablesRevuedelElectricitetdelElectronique,souspresse.ConfrencesfrancophonesS.GIDEL,P.CHECCHIN,C.BLANC,T.CHATEAU,L.TRASSOUDAINEDtectiondepitonslaideduncapteurlaserquatrenappesembarqu16me Congrs Francophone AFRIFAFIA de Reconnaissance des Formes et IntelligenceArtificielle,RFIA08,Amiens,France,Janvier2008.L.LEYRIT,C.TOURNAYRE,andT.CHATEAU.Associationdeclassifieurspourlareconnaissancedepitonsdanslesimages.13me colloque national Compression et Reprsentation des Signaux Audiovisuels(CORESA2009),Toulouse,mars2009.L.LEYRIT,T.CHATEAU,andJ.LAPRESTEDescripteurspourlareconnaissancedepitonsInORASISCongrsfrancophonedesjeuneschercheursenvisionparordinateur,Tregastel,June2009.Fayad,F.andCherfaoui,V.andDherbomez,G.Rfrence du formulaire : ANR-FORM-090601-01-0125/32 Dtection,reconnaissanceetsuividespitonspartlmtrielasermulticouchesConfrenceInternationaleFrancophonedAutomatique(CIFA2008)Bucarest,2008Autres(dmonstrationssurvhicule)DmonstrationsduprojetLOVelaconventionSystem@ticParis(juin2009)DmonstrationslaftedelasciencesurlesitedelUTC(2007)DmonstrationsauCarrefourduPreditParis(2008)DmonstrationssurlecampusdEindhovenlorsdelaconfrenceIV2008(juin2008)NombreusesdmonstrationsauxvisiteursdelUTC(A.Fert,E.Woerth,membresdelIET)E.3LISTE DES ELEMENTS DE VALORISATION CrationdeplatesformesmisesladispositiondunecommunautLintervention du CMM au sein de LOVe a permis de contribuer au dveloppement de lalibrairie logicielle MAMBA, librairie de morphologie mathmatique open source souslicenceX11(http://www.mambaimage.org),certainesfonctionsdelalibrairie(oprateursdesegmentation)ayanttutilissettestsdanslecadreduprojet.Denouveauxpartenariatsontvulejourdanslaligneduprojet:Le LIVIC prpare un projet FUI pour valoriser la strovision au niveau industriel(automobile et vidosurveillance). Ce montage est ralis avec la socit DxO. Il pourrainclurelasocitADVANSEEpourleportagedulogicielsurduhardware.Du ct du CAOR, les logiciels dvelopps dans le cadre de LOVe et surtout leurperformance a encourag un industriel (partenaire du projet) signer un partenariatcontractuel autour de cette thmatique. Dans ce projet de recherche commun, noustravaillerons sur lamlioration de la dtection des pitons par vision monoculaire. Parailleurs, un projet est en cours de montage autour de la thmatique de la protection despitons par dclenchement de protections actives. Ce projet intgre nos travaux pour ladtectiondespitons;dautrespartenairessepencherontsurlesmcanismesdeprotectiondployerborddesvhicules(mousseviscolastique,rseaudemicroairbags,etc.).Dans le contexte automobile, toujours, des discussions sont en cours pour intgrer lathmatiquedeladtectiondepitonsdanslaccordcadredecollaborationscientifiquesignentre Renault et le CEA. La socit Valeo pourrait tre associe cette thmatique duprogramme de recherche. Cette action permettra le dveloppement de recherche communedansledomainedeladtectiondepitonetpoursuivreainsilestravauxduprojetLove.Rfrence du formulaire : ANR-FORM-090601-01-0126/32 Heudiasyc et le LASMEA ont propos de valoriser leurs recherches effectues dans LOVedans le projet ANRPredit CityVIP Dplacement sr de vhicules individuels adapts lenvironnement urbain. La contribution dHeudiasyc est damliorer les mthodes dedtectiondobstacleenintroduisantdelaprioricartographique.LespartenairesdeceprojetsontINRIA(Arobas,Lagadic),leLCPC,lIGNetlasocitBenomad.Dans le cadre de ses projets en recherche et dveloppement, Valeo a achet une licencedexploitation de lalgorithme de suivi visuel ESM. Aprs une anne dvaluation positive,Valeo a prolong la licence pour un an. Au terme ce contrat, nous valuerons le portage delalgorithmesurunedenosciblesautomobiles.Pour les industriels (Renault / Valeo) plusieurs projets bilatraux sont en cours de montagesurlabasedesalgorithmesetdessavoirsfairedmontrdanslecadreduprojetLOVe.CesprojetspermettrontdappliquercertainsrsultatsdeLOVesurdessujetsconnexes.Desbrevetssontgalementencoursdedpt:Deux brevets sont en cours de dpt au CEA LIST. Ils concernent les technologies dedtectiondepitons.Lobjectifestdtendretermecesdptsauniveauinternational.Troiscrationsdentreprises:LasocitArcurevientdevoirlejourpourexploiterlestechniquesdedtectiondepitonsissues des travaux du CEA LIST dans le projet Love. Le domaine dapplication vis est lasurveillanceprimtriqueautourdesenginsdechantier,afindamliorerlascurisationdespersonnels. Mme si ce contexte ncessitera de fortes adaptations des techniques, le savoirfaire acquis dans le projet Love a permis de valider la faisabilit du systme et servira debaseceprojet.Unlaboratoirecommunde9personnesatcrparArcureetleCEAListpouramliorer,adapterettransfrercestechnologiesduCEAverslasocit.Le projet LOVe a permis dapporter un certain nombre damliorations au logiciel de suivivisuelESMvisualtrackingdveloppparlINRIA.Nousavonstraitlecasdifficiledusuivide pitons et nous avons atteint un certain degr de robustesse de lalgorithme. Afin demieux exploiter commercialement le logiciel nous tudions le couplage avec un algorithmededtectionappropri.CesrsultatsontcontribuaulancementdelasocitRobocortex.Enfin, les nouveaux dveloppements raliss dans le cadre de LOVe sur la problmatiqueparticulire du piton ont suffisamment enrichi le simulateur dvelopp au LIVIC pourquunestartuppuissetrelance.IlsagitdeCivitech.