Face Mining in Wikipedia Biographies

download Face Mining in Wikipedia Biographies

of 148

  • date post

    22-Jan-2017
  • Category

    Documents

  • view

    229
  • download

    2

Embed Size (px)

Transcript of Face Mining in Wikipedia Biographies

  • UNIVERSIT DE MONTRAL

    FACE MINING IN WIKIPEDIA BIOGRAPHIES

    MD KAMRUL HASANDPARTEMENT DE GNIE INFORMATIQUE ET GNIE LOGICIEL

    COLE POLYTECHNIQUE DE MONTRAL

    THSE PRSENTE EN VUE DE LOBTENTIONDU DIPLME DE PHILOSOPHI DOCTOR

    (GNIE INFORMATIQUE)JUIN 2014

    cMD Kamrul Hasan, 2014.

  • UNIVERSIT DE MONTRAL

    COLE POLYTECHNIQUE DE MONTRAL

    Cette thse intitule :

    FACE MINING IN WIKIPEDIA BIOGRAPHIES

    prsente par : HASAN MD Kamrulen vue de lobtention du diplme de : Philosophi Doctora t dment accepte par le jury dexamen constitu de :

    M. DESMARAIS Michel C., Ph.D., prsidentM. PAL Christopher J., Ph.D., membre et directeur de rechercheM. KADOURY Samuel, Ph.D., membreMme ARBEL Tal, Ph.D., membre

  • iii

    Dedicated to the souls in the heaven of

    All my relatives and neighbors, I couldnt say good-bye" ; specially, to my beloved nephew,

    Jammi, and to The victims of the Rana Plaza Tragedy, Savar, Bangladesh, 2013.

  • iv

    ACKNOWLEDGEMENTS

    I would like to take this as an opportunity to express my gratitude to my supervisor, Prof. Chris-topher J. Pal for his continuous support throughout my study in cole Polytechnique de Montral.It was simply impossible producing this thesis without his guidance.

    My sincere thank to Prof. Guillaume-Alexandre Bilodeau, Prof. Yoshua Bengio, Prof. MichelC. Desmarais, Prof. Samuel Kadoury, Prof. Tal Arbel, and Dr. Sharon Moalem for their invaluabletime and helpful suggestions.

    I also thank cole Polytechnique de Montral, Recognyz System Technology, Government ofQubec, and Government of Canada for providing support throughout my study. Many thanks toall my colleagues and friends as well.

    Finally, I would like to thank my mom Ferdaus Ara, my wife, Mousumi Zahan, and my daughterKamrul Musfirat who are my energies for any endeavor.

  • v

    ABSTRACT

    This thesis presents a number of research contributions related to the theme of creating an au-tomated system for extracting faces from Wikipedia biography pages. The first major contributionof this work is the formulation of a solution to the problem based on a novel probabilistic graphicalmodeling technique. We use probabilistic inference to make structured predictions in dynamicallyconstructed models so as to identify true examples of faces corresponding to the subject of a biogra-phy among all detected faces. Our probabilistic model takes into account information from multiplesources, including: visual comparisons between detected faces, meta-data about facial images andtheir detections, parent images, image locations, image file names, and caption texts. We believethis research is also unique in that we are the first to present a complete system and an experimentalevaluation for the task of mining wild human faces on the scale of over 50,000 identities.

    The second major contribution of this work is the development of a new class of discrimina-tive probabilistic models based on a novel generalized Beta-Bernoulli logistic function. Throughour generalized Beta-Bernoulli formulation, we provide both a new smooth 0-1 loss approxima-tion method and new class of probabilistic classifiers. We present experiments using this techniquefor: 1) a new form of Logistic Regression which we call generalized Beta-Bernoulli Logistic Re-gression, 2) a kernelized version of the aforementioned technique, and 3) our probabilistic facemining model, which can be regarded as a structured prediction technique that combines infor-mation from multimedia sources. Through experiments, we show that the different forms of thisnovel Beta-Bernoulli formulation improve upon the performance of both widely-used Logistic Re-gression methods and state-of-the-art linear and non-linear Support Vector Machine techniques forbinary classification. To evaluate our technique, we have performed tests using a number of widelyused benchmarks with different properties ranging from those that are comparatively small to thosethat are comparatively large in size, as well as problems with both sparse and dense features. Ouranalysis shows that the generalized Beta-Bernoulli model improves upon the analogous forms ofclassical Logistic Regression and Support Vector Machine models and that when our evaluationsare performed on larger scale datasets, the results are statistically significant. Another finding isthat the approach is also robust when dealing with outliers. Furthermore, our face mining modelachieves its best performance when its sub-component consisting of a discriminative MaximumEntropy Model is replaced with our generalized Beta-Bernoulli Logistic Regression model. Thisshows the general applicability of our proposed approach for a structured prediction task. To thebest of our knowledge, this represents the first time that a smooth approximation to the 0-1 loss hasbeen used for structured predictions.

    Finally, we have explored an important problem related to our face extraction task in more

  • vi

    depth - the localization of dense keypoints on human faces. Therein, we have developed a com-plete pipeline that solves the keypoint localization problem using an adaptively estimated, locallylinear subspace technique. Our keypoint localization model performs on par with state-of-the-artmethods.

  • vii

    RSUM

    Cette thse prsente quelques contributions la recherche lies au thme de la cration dunsystme automatis pour lextraction de visages dans les pages de biographie sur Wikipdia. La pre-mire contribution majeure de ce travail est llaboration dune solution au problme bas sur unenouvelle technique de modlisation graphique probabiliste. Nous utilisons linfrence probabilistepour faire des prdictions structures dans les modles construits dynamiquement afin didentifierles vritables exemples de visages correspondant lobjet dune biographie parmi tous les visagesdtects. Notre modle probabiliste prend en considration linformation provenant de diffrentessources, dont : des rsultats de comparaisons entre visages dtects, des mtadonnes provenantdes images de visage et de leurs dtections, des images parentes, des donnes gospatiales, desnoms de fichiers et des sous-titres. Nous croyons que cette recherche est galement unique parceque nous sommes les premiers prsenter un systme complet et une valuation exprimentale dela tche de lextraction des visages humains dans la nature une chelle de plus de 50 000 identits.

    Une autre contribution majeure de nos travaux est le dveloppement dune nouvelle catgorie demodles probabilistes discriminatifs base sur une fonction logistique Beta-Bernoulli gnralise. travers notre formulation novatrice, nous fournissons une nouvelle mthode dapproximationlisse de la perte 0-1, ainsi quune nouvelle catgorie de classificateurs probabilistes. Nous pr-sentons certaines expriences ralises laide de cette technique pour : 1) une nouvelle formede rgression logistique que nous nommons la rgression logistique Beta-Bernoulli gnralise ; 2)une version kernelise de cette mme technique ; et enfin pour 3) notre modle pour lextractiondes visages que lon pourrait considrer comme une technique de prdiction structure en combi-nant plusieurs sources multimdias. travers ces expriences, nous dmontrons que les diffrentesformes de cette nouvelle formulation Beta-Bernoulli amliorent la performance des mthodes dela rgression logistique couramment utilises ainsi que la performance des machines vecteurs desupport (SVM) linaires et non linaires dans le but dune classification binaire. Pour valuer notretechnique, nous avons procd des tests de performance reconnus en utilisant diffrentes pro-prits allant de celles qui sont de relativement petite taille celles qui sont de relativement grandetaille, en plus de se baser sur des problmes ayant des caractristiques clairsemes ou denses. Notreanalyse montre que le modle Beta-Bernoulli gnralis amliore les formes analogues de modlesclassiques de la rgression logistique et les machines vecteurs de support et que lorsque nosvaluations sont effectues sur les ensembles de donnes plus grande chelle, les rsultats sontstatistiquement significatifs. Une autre constatation est que lapproche est aussi robuste lorsquilsagit de valeurs aberrantes. De plus, notre modle dextraction de visages atteint sa meilleure per-formance lorsque le sous-composant consistant dun modle discriminant dentropie maximale est

  • viii

    remplac par notre modle de Beta-Bernoulli gnralise de la rgression logistique. Cela montrelapplicabilit gnrale de notre approche propose pour une tche de prdiction structure. Autantque nous sachions, cest la premire fois quune approximation lisse de la perte 0-1 a t utilisepour la classification structure.

    Enfin, nous avons explor plus en profondeur un problme important li notre tche dex-traction des visages la localisation des points-cls denses sur les visages humains. Nous avonsdvelopp un pipeline complet qui rsout le problme de localisation des points-cls en utilisantune approche par sous-espace localement linaire. Notre modle de localisation des points-cls estdune efficacit comparable ltat de lart.

  • ix

    TABLE OF CONTENTS

    DEDICATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii

    ACKNOWLEDGEMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv

    ABSTRACT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v

    RSUM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii

    TABLE OF CONTENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix

    LIST OT TABLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xii

    LIST OF FIGURES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .