MAI 2008 - Statistical methods for dealing with complex...

41
COMPTE-RENDU DES ACTIVITÉES DEVELOPPEÉS DANS LA PERIODE OCT 2007 – MAI 2008 Davide Ceresetti 22.05.2008

Transcript of MAI 2008 - Statistical methods for dealing with complex...

  • COMPTE-RENDU DES ACTIVITÉES DEVELOPPEÉS DANS LA PERIODE OCT 2007 – MAI 2008

    Davide Ceresetti22.05.2008

  • IntroductionExemples de CDF de la pluie pour différentes stations: on considère pour chaque station au moins 10% des valeurs les plus fortes.

    FRACTALITÉ DES PLUIES FORTES?

    Stat 301

    Stat 162Stat 19

    Stat 198

  • Analogie: Mandelbrot et la côte de la Bretagne

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    Mandelbrot avait noté, pour la côte de la Bretagne, que si on changeait la dimension du support de la mesure, on obtenait une longueur différente

    N = nombre d'éléments nécessaires pour recouvrir la côte L = longueur du support

    On cherche à faire la même chose avec la pluie, le support étant cette fois l`intensité de pluie (mm/h).

    log

    log

    Histogramme de L

    Mandelbrot donne des limites pour L ou la linéarité est valide: ces limites ont un sens physique.

  • Sommaire

    ● 1. Caractérisation des pluies fortes ponctuelles

    ● 2. Vers une régionalisation des pluies a l'aide de l'auto-similarité

    1.1 Fractalité de la pluie

    1.2 Invariance d'échelle des propriétés de la pluie

    2.1 Cartes de la variabilité de pluie fortes

    2.2 Cartes du paramètre d'invariance d'échelle

  • Propriétés fractale des séries temporelles de pluies.

    1.1

  • Fractalité et probabilité de survie

    Log (X)

    Log (P(X>x)) xmin

    xmax

    Dans certaines limites, la probabilité de survie montre une linéarité en axes bilogarithmiques

    Station 112

    Indépendamment du nombre de données, une large gamme de probabilités semble être caractérisée par une loi de puissance.

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    QUELLE EST LA GAMME DE VALIDITÉ ?

  • Détermination des fréquences empiriques

    Weibull, 1939 Kottegoda et Rosso, 1997

    ÉchantillonGaussien

    ÉchantillonGEV, GPD,..

    Outliers ou alors mauvaise détermination des fréquences??

    3. A

    pplic

    atio

    ns

    ÉVALUER LA CDF DE LA POPULATION GRÂCE À L'ESTIMATION DES FRÉQUENCES EMPIRIQUES DE L'ÉCHANTILLON

    Formules empiriques généralement utilisées

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s

  • Problème: utiliser ou non les fenêtres glissantes?

    Fenêtre glissante => valeurs les plus fortes Interdépendantes

    On mesure plusieurs fois le même événement --> virage vers les basses fréquences

    Exemple: Tacc

    =18h

    Tacc

    =18h, station 112

    3. A

    pplic

    atio

    ns

    Taccumulation = 18 h peu de donnèes Fenêtre glissante

    Mais

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s

  • Fiabilité de la détermination des fréquences empiriques

    Comment comparer les fréquences de la population avec celles de l'échantillon?

    ●Les fréquences « théoriques » ont été déterminées en supposant la validité de la loi de puissance.

    ●Les fréquences empiriques, en utilisant la formule de (Kottegoda et Rosso, 1997).Fr

    éque

    nces

    em

    piriq

    ues

    Fréq

    uenc

    es th

    éoriq

    ues

    3. A

    pplic

    atio

    ns

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s

  • 3. A

    pplic

    atio

    ns

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s

    Histogramme théorique de la loi de puissance

    α=3α=2

    Log10 (I)

    Log10 (1-P(X>x))

    -6

    -5

    -4

    -3

    -2

    Log10 (1-P(X>x)) CDF PDF-1 10000 9000-2 1000 900-3 100 90-4 10 9-5 1 1

    Νοµ βρε δ ε ϖαλευρσ (Ν=100 000)

  • Fiabilité de la détermination des fréquences empiriques

    Comparaison entre histogrammes des fréquences empiriques et théoriques, avec un seuil de probabilité fixe à 1/500.

    1 h

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    Fréquences théoriquesFréquences empiriques

    Rainfall rate frequency (log)

  • Fiabilité de la détermination des fréquences empiriques

    18 h

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    Fréquences théoriquesFréquences empiriques

    L'évaluation des probabilités grâce à les fréquences empiriques ne semble pas être une méthode fiable.

    Rainfall rate frequency (log)

  • Fiabilité de la détermination des fréquences empiriques

    Comparaison des fréquences empiriques et théoriques, avec un seuil de probabilité fixé à 1/500.

    On peut observer, pour un cumul de 1 heure, une générale correspondance. On note une sur-estimation des fréquences empiriques élevées par rapport aux fréquences théoriques.

    1 h1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

  • Fiabilité de la détermination des fréquences empiriques

    Comparaison des fréquences empiriques et théoriques, avec un seuil de probabilité fixe à 1/500.

    On peut observer, pour un cumul de 18 heures, une générale sous-estimation des fréquences empiriques par rapport a les fréquences théoriques: Inter-dépendance élevée des pluies fortes

    18 h1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

  • donc

    3. A

    pplic

    atio

    ns

    Il est préférable de s'affranchir de la détermination empirique des fréquences1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s

  • Estimation de la loi de puissance

    Estimation fréquences empiriques + régression linéaire

    Estimation en utilisant l`estimateur du maximum de vraisemblance (Newman, 2005, Goldstein et al., 2004, Clauset et al, 2007)

    Estimation de la probabilité empirique

    1

    2

    Régression linéaire de log(P(X>x)) vs. log(x)

    a.

    b.

    L'estimation de la fréquence empirique n'est plus nécessaire.

    3. A

    pplic

    atio

    ns

    α

    Xmax

    Xmin

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s

  • Détermination de Xmax

    Détermination fréquences empiriques: il y a la nécessité d`établir un Xmax, car la variabilité des dernières valeurs affecte la fiabilité de la régression

    Xmin

    Xmax

    Estimateur du maximum de vraisemblance: pas besoin de définir Xmax car on a pas l'estimation empirique de la fréquence.

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

  • Détermination de Xmin (Clauset et al., 07)

    D'après Clauset et al. (2007), une façon efficace de déterminer Xmin est l'application dutest Kolmogorov-Smirnov:

    1. Choisir une distribution pour la partie inférieure à Xmin

    2. Supposer que la partie supérieure a Xmin réponde à une loi de puissance

    3. Faire varier Xmin jusqu'à obtenir le maximum du test (minimum de D)

    Log (X)

    Log (P(X>x))

    xmin

    Log X

    Log P(X

  • Conclusions 1.1

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    1. CDF LINEAIRE EN AXES LOG-LOG --> Fractalité de la pluie

    2. SIGNIFICAT PHYSIQUE --> Un evt. 10 fois plus fort a 1/10 des possibilités d'apparaitre

    3. GAMME DE VALIDITÉ --> Processus physique: limites sup, inf

    4. ESTIMATION EXPOSANT DE LA LOI PUISSANCE --> Max de vraisemblance

    5. DISTRIBUTION SPATIALE DU COEFFICIENT α?

  • Auto-similarité des pluies avec la durée d'intégration

    1.2

  • Introduction Une propriété fondamentale des objets fractales est

    l'AUTO-SIMILARITÉ

    La PDF de la distribution est semblable en changeant la durée d'accumulation.

    1 h 2 h

    3 h 4 h Station 312

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s

  • Autosimilarité des pluies

    Log (λ)

    Log (μ),Log (σ),....

    Les statistiques de certaines variables changent avec l'échelle de temps considéré, suivant une relation log-log linéaire.

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    Objectif: évaluer les propriétés d'auto-similarité des pluies observées pour comprendre l'effet des changements d'échelle.

    t(h)

    I (mm/h)

    t(h)

    I (mm/h)

    H = Hölder exponent = pente de la droite

  • Invariance d'échelle: définitions

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s

    Proportionnalité des distributions statistiques

    Proportionnalité des moments non centrés

    Proportionnalité des quantiles

    STRICT SENSE SCALING (Gupta et Waymire, 1990)

    WIDE SENSE SCALING (Gupta et Waymire, 1990)

    3. A

    pplic

    atio

    ns

  • Invariance d'échelle dans les pluies ponctuelles

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    Les quantiles sur la droite montrent une invariance d'échelle(Rosso et Burlando, 1996)

    Q90,1h

    Q90,2h

    Q90,4h

    1 h

    2 h

    4 h

    H est une constante pour chaque quantile.

    Si H est constante, latransition d'échelle se fait avec une simple

    translation: DROITES DE PENTE CONSTANTE.

    Log x

    Log x

    Log x

    Log p(x)

    Log p(x)

    Log p(x)

  • Invariance d'échelle des données observées

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    00.010.11

    10

    100

    P(X>x)

    Inte

    nsité

    plu

    ie (m

    m/h

    )

    Distribution moyenne des quantiles sur la région.

    Q90 Q95 Q99 Q99.5

    H constante --> droites parallèles en log-log.

    ----- 1h------ 2h------ 4hLes droites ne sont pas parfaitement parallèles:

    Mélange des données trop différentes?

    H varie avec la probabilité?

  • 0.010.11

    10

    100

    1h2h4h

    Pluviomètres avec invariance d'échelle

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    P(X>x)

    Inte

    nsité

    plu

    ie (m

    m/h

    )Q90 Q95 Q99

    H constante --> droites parallèles en log-log.

    Seulement 4 pluviomètres sur la région montrent une parfaite log-log linéarité des quantiles.

    Taille de l'échantillon est trop petite?

    Station 2

    Station # Nom

    2 Chassera121 Divajeu172 Bedarieux197 Saugues

  • Conclusions 1.b

    1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s2.

    Rég

    iona

    lisat

    ion

    des

    fort

    es p

    luie

    s3.

    App

    licat

    ions

    1. CDF de la pluie semble être FRACTALE pour différentes résolutions temporelles.

    2. L'exposant H caractérise l'invariance d'échelle. Si le coefficient α ne dépend pas de Tacc

    , H doit être constante.

    3. Relation d'auto-similarité pas trop adaptée pour les quantiles. Sous-échantillonnage?

    4. Existe-t-il une distribution spatiale du coefficient H?

  • Vers une régionalisation des pluies à l'aide des hypothèses d'auto-similarité.

    2

  • 2.1 Fortes pluies

    Objectif: régionalisation des propriétés d'auto-similarité des pluies fortes.

    Base de données: pluies horaires automnales OHMCV

    ● Nécessité d'avoir un nombre d'échantillons assez grand.● Limiter l'analyse aux pluviomètres qui ont enregistré plus de 2000 données horaires.

    2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    110 pluviomètres

    3. A

    pplic

    atio

    ns

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Spatialisation de la variabilité des fortes pluies

    La variabilité des fortes pluies est liée à la pente de la loi de puissance.

    Log X

    Log p(X)

    Queues lourdes: variance (et parfois moyenne),divergent.

    Log p(x)

    Log X

    α=3,∃ μ,σ

    α=1 limite supérieureQUEUESLEGERES

    QUEUESLOURDES:∃ σ

    3. A

    pplic

    atio

    ns

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Variogrammes de l'exposant de la loi de puissance 3.

    App

    licat

    ions

    0 20 40 60 80 100 1200

    0.2

    0.4

    0.6

    0.8

    1

    1.2

    1h2h3h4h

    Le variogramme semble être défini pour durées d'accumulation inférieurs a 3 h. Pour 4h il montre une dérive --> no portée.

    Distance (km)

    vario

    gram

    me

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Variogrammes de l'exposant de la loi de puissance

    Le paramètre α peut être considéré comme appartenant a une distribution gaussienne,on peut donc kriger les données si on trouve un variogramme cohérent.

    3. A

    pplic

    atio

    ns

    T cumul pépite portée palier1h 0.5 90 km 12h 0.45 82 km 0.953h 0.4 90 km 1?4h 0.5? 100 km? -

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Carte de la variabilité des fortes pluies à 1h

    1 h

    La plus grande variabilité à été rencontrée dans la zone de Nîmes.

    Ça peut être du à l'énergie élevée des cellules orageuses dans la zone de déclenchement.

    3. A

    pplic

    atio

    ns

    Pour les temps de cumul de 1h et 2h le variogramme est bien défini, on peut donc cartographier l'exposant de la loi de puissance.

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Carte de la variabilité des fortes pluies à 2h

    2 h

    Le comportement a 2h est similaire a celui pour le cumul de 1h. Dans la zone de déclenchement des phénomènes orageuses on observe la plus grande variabilité de la pluie.

    Une zone a queues lourdes est présente entre le Mt Lozère et la Serre de la Croix de Bauzon, probablement masquée a 1h par l'échantillonnage.

    3. A

    pplic

    atio

    ns

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Carte de la variabilité des fortes pluies à 3h3.

    App

    licat

    ions

    3 h

    Selon l'hypothèse d'auto-similarité, la valeur du coefficient alpha doit rester constante avec la durée d'accumulation.

    En effet la localisation du maximum est la même, on a des très petites variations.

    Un autre maximum, plus limité en taille, est localisé proche de la Serre de la Croix de Bauzon.

    EFFET OROGRAPHIQUE SUR LES PLUIES FORTES A 3h?

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Éléments essentiels de l'analyse3.

    App

    licat

    ions

    1. La variabilité de la pluie est plus élevée en plaine (α plus petit)

    2. La variabilité de la pluie ne semble pas changer avec la durée d'accumulation,sauf là où il y a un effet du à l'orographie --> à voir avec l`intermittence.

    3. Tacc

    >3h problèmes d'interpolation --> phénomènes imbriqués?

    3. Conclusions pour des durées d'accumulation > 3 h difficiles à tirer:structure du variogramme complexe, dérive et forte portée

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    2b. Régionalisation de l'ensemble de pluies

    L'auto- similarité est une propriété valable sur l'ensemble de la distribution statistique, on peut donc aller voir si il y a des différences spatiales dans l'exposant H de la relation:

    En pratique, plutôt que examiner l'entière PDF de la pluie tombée au pluviomètre, on peut regarder le « wide sense scaling », c'est-a-dire l'égalité des moments non centrés.

    3. A

    pplic

    atio

    ns

    H caractérise le changement d'échelle temporelle. q: ordre du moment.

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Exemple numérique

    I (1h) = 4 mm/h en moyenne (moment ordre 1)

    À Montpellier H=0.38

    Montpellier Précipitation moyenne (mm/h)1h 42h 3.053h 2.654h 2.35

    Sur la Serre de la Croix de Bauzon H=0.19

    Précipitation moyenne (mm/h)1h 42h 3.553h 3.34h 3.1

    Serre de la Cx1h 2h 3h 4h

    0

    0.5

    1

    1.5

    2

    2.5

    3

    3.5

    4

    4.5

    MontpellierSerre de la Cx

    3. A

    pplic

    atio

    ns

    Pour calculer H on a considéré que le moments statistiques inférieurs a trois, car les moments supérieurs divergent assez rapidement.

    q=1

    Temps d'accumulation (h)In

    tens

    ité d

    e pl

    uie

    (mm

    /h)

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Carte de l'exposant H sur la région

    Effet orographique sur l'ensemble des pluies?

    Peu des différences entre les intensités de pluie horaire et sur 4 h.

    3. A

    pplic

    atio

    ns

    Pour calculer H on a considéré que le moments statistiques inférieurs a trois, car les moments supérieurs divergent assez rapidement.

  • 2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies.

    .. 1.

    Aut

    osim

    ilarit

    é de

    s sé

    ries

    tem

    pore

    lles

    Conclusions 2.2

    ●Les cartes montrent un évidente caractéristique régionale des fortes pluies, ce qui ne permet pas de regrouper des données relatives a des pluviomètres situès en régions différentes --> perte d`ergodicité.

    ●En considérant l'entière PDF, on trouve que les moments pour différentes durées de cumuls sont reliés à travers un coefficient H, exposant de Hölder.

    ●H est plus élevé dans les plaines, et est plus faible sur la crête du massif. ●Deuxième preuve de l'effet OROGRAPHIQUE (sur l'ensemble des pluie et non plus seulement sur les extrêmes)?

    3. A

    pplic

    atio

    ns

  • 1. A

    utos

    imila

    rité

    des

    série

    s te

    mpo

    relle

    s

    Applications

    ●Gain en robustesse des courbes I-D-F basée sur des considérations physiques comme l'auto–similarité des pluies. Les IDF ne sont plus études des maxima, mais dérivées grâce à des statistiques plus robustes.

    ● Possibilité d`extrapolation des propriétés statistiques des pluies (moments, quantiles, poids des queues) à différentes durées de cumul (DOWNSCALING STATISTIQUE)

    ● Aide à l'évaluation de la fréquence d'occurrence de la pluie estimée par radar, amélioration de la détermination de la sévérité des orages.

    ● Évaluation des pluies simulées et de leur comparaison avec les pluies observées (pluviomètres - radar).

    3. A

    pplic

    atio

    ns

    2. R

    égio

    nalis

    atio

    n de

    s fo

    rtes

    plu

    ies

    Slide 1Slide 2Slide 3Slide 4Slide 5Slide 6Slide 7Slide 8Slide 9Slide 10Slide 11Slide 12Slide 13Slide 14Slide 15Slide 16Slide 17Slide 18Slide 19Slide 20Slide 21Slide 22Slide 23Slide 24Slide 25Slide 26Slide 27Slide 28Slide 29Slide 30Slide 31Slide 32Slide 33Slide 34Slide 35Slide 36Slide 37Slide 38Slide 39Slide 40Slide 41