Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à...

25
Vers une caractérisation des erreurs de prévision dans la configuration MENOR Catherine Heyraud**, Philippe Craneguy**, Pierre Garreau*, * IFREMER,** Actimar 20 Octobre 2009 – Dynecouverte Méditerranée

Transcript of Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à...

Page 1: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Vers une caractérisation des erreurs de prévision dans la configuration MENOR

Catherine Heyraud**, Philippe Craneguy**, Pierre Garreau*,

* IFREMER,** Actimar

20 Octobre 2009 – Dynecouverte Méditerranée

Page 2: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Contexte scientifique• Problème primordial en modélisation : la

caractérisation des erreurs responsables des différences entre les variables simulées et observées

� hypothèses/formulations, forçages…• Technique d’ensemble (Monte Carlo) : bien adaptée

aux études côtières (non-linaires) • Caractérisation des erreurs (qualitative et quantitative )� étape déterminante en vue de l’assimilation de données (caractérisation des

covariances d’erreur de prévision)

Page 3: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

MENOR V6.25

Résolution 1.2 km30 niveaux sigma

BC & IC : MFS Débit des fleuves journaliersForçage atmosphérique MM5 (3km)

Diffusion horizontale : SmagorinskyTurbulence verticale : Gaspar et al (1990)

Printemps-été 2005

I- Performances du modèle : SEVIRI(0h,dx=4km) / in situII-Méthodes d’ensemble: objectifs, méthodesIII- Ensembles de prévision

Configuration de référenceCaractérisation des erreurs: SST/hydrologie

Méditérannée Nord Occidentale

Lazure & Dumas 2007André et al. 2006

www.previmer.org

Page 4: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Mai Juillet

BiaisPerformance du modèleSST : SEVIRI

Biais =Y-HXf ,

Y observation,

H operateur observation qui projette les prévisions du modèle sur la grille des obs

trop froid

trop chaud

[ ]∑ =−=

NiiMODHiOBS

NE

,1)()(

1

-3.5

3.5

-3.5

3.5

I- Configuration de référenceCaractérisation des erreurs: SST

Page 5: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Erreur RMS : racine carrée de la différence quadratiqueentre la SST SEVIRI et la SST Mars

Mai Juillet

Biais

Erreur RMS

[ ]21

2

,1)()(

1

−= ∑ = NiiMODHiOBS

NE

0 0

-3.5

3.5

-3.5

3.5

3 3

Performance du modèleSST : SEVIRI

I- Configuration de référenceCaractérisation des erreurs: SST

Page 6: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Erreur RMS centrée : racinecarrée de la différencequadratique entre la SST SEVIRI et la SST Mars àlaquelle le biais moyen a étésoustrait

Biais

Erreur RMS

Erreur RMS centrée( ) ( )[ ]

212

,1)()()()(

1'

−−−= ∑ = NiiMODHiMODHiOBSiOBS

NE

0

3

0

3

0 0

-3.5

3.5

-3.5

3.5

3 3

Performance du modèleSST : SEVIRI

I- Configuration de référenceCaractérisation des erreurs: SST

Mai Juillet

Page 7: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

période: 01/06 au 05/06

modèle

modèle

I- Configuration de référenceCaractérisation des erreurs: Mesures insitu ECOLO (ADCP)

T1 T2

T1

T2

mesures

mesures

Page 8: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

II- Objectifs et méthodologie

ObjectifsAméliorer la configuration de référence

Ajustement des paramètres, du code...Assimilation de données

(SST dans un premier temps)Au préalable: caractériser les erreurs de prévisions

MéthodologieMéthodes de Monte Carlo (Evensen, 2003) adaptées à l’hydrodynamique côtière

(NL, dynamique multi-échelle, non stationnarité (UPW)Auclair et al (2003)

Étude d’erreur de prévision (covariance des erreurs de prévisions)Ici: préparer l’assimilation

Évaluer la qualité de l’incertitude de prévision� Comparaison avec les observations

Page 9: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

NL integration

Erreurs modèle

N membres

t0

Etat de référence

N membresActivation des sources d’erreur

Forçage: vent, rivièresparamètres du modèles

Analyse statistique : moyenne d’ensemblestd d’ensembledispersion des membres Consistence statistique

II- Objectifs et méthodologieMéthodes d’ensemble

Page 10: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

II- Objectifs et méthodologieAnalyse statistique

Consistence statistique:oRo H εψψ +=

mm R εψψ +=

( ) ommommo HHH εεψεεψψ +−=+−=momo HH εεψψ −=− ( ) ( )22

mmo HH o εεψψ −=−

0( )( ) ( )( )Tmm

Tmomo HHHH oo εεεεψψψψ −−=−−

( )( ) ( )Tm

Tm

Tmm

TTmomo HHHHHH T

ooT

oo εεεεεεεεψψψψ +−+=−−Corrélation erreur de prévision et erreur de mesure sont négligées

ψo: observation εo : erreur observationsψm : model εm: erreur modèleψR : état vrai

Distribution de l ’ensemble:

diagonales…Variance d’ensembleVariance du biais = Variance de la

mesure +

Page 11: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

NL integration

Erreurs modèle

10 membres

t0

Etat de référence

MENOR V6.19

Simulation d’ensemble: 09-Jul-2005: 30-Jul-2005

Activation des sources d’erreur1- Paramètres modèles2- Vent

~ 60 Giga stockage, 30h de run (mini)par ensemble (Caparmor Phase 1)

II- Objectifs et méthodologieActivation des sources d’erreur

Page 12: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Activation des sources d’erreur1- Paramètres modèles: perturbation gaussienne centrée sur la valeur de la configuration de référence

Etat de référence

NL integration

Erreurs modèle

10 membres

t0

• Turbulence (Gaspar et al., 90) : δck, δPrt, δemin• Rugosité de fond : δz0

ψψψψ = ψψψψREF + δδδδ ψψψψ avec pdf [ δδδδ ψψψψ ] = N (0, σσσσψψψψ)

MENOR0LIGUREGOLABYSUPW

III- Ensembles de prévision:1. Paramètres modèle

Page 13: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

SST Biais

-0,6

-0,4

-0,2

0

0,2

0,4

0,6

0,8

MENOR0 GOL UPW ABYS LIGURE

Experiment

SS

T B

iais

[°C

]

cas_refZ0CkEminPrCk+Emin+Pr

SST

19

19,5

20

20,5

21

21,5

22

22,5

23

23,5

24

24,5

MENOR0 GOL UPW ABYS LIGURE

Experiment

SS

T [°

C]

SSTobs cas3_refZ0CkEminPrCk+Emin+Pr

SST Variance

0

0,01

0,02

0,03

0,04

0,05

0,06

MENOR0 GOL UPW ABYS LIGURE

Experiment

SS

T V

aria

nce

[°C]^

2

Z0CkEminPrCk+Emin+Pr

Centered RMS error

0

0,2

0,4

0,6

0,8

1

1,2

MENOR0 GOL UPW ABYS LIGURE

Experiment

Cen

tere

d R

MS

err

or [°

C]

cas3_refZ0CkEminPrCk+Emin+Pr

Peu de diff en <SST> et < Biais> p/r cas_refSur-estimation de la SST sauf dans la zone UPW

Écart RMS peu réduit p/r cas_refPlus d’impact pour l’ensemble« Emin+Ck+Pr » mais faibles variances

III-1. Ensembles de prévision: Z0, paramètres du schéma de fermeture turbulente (Ck, emin,Pr)

Page 14: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Etat de référence

NL integration

Erreurs modèle

10 membres

t0

MENOR0LIGUREGOLABYSUPW

III- Ensembles de prévision:2. Le vent

Activation des sources d’erreur1- Vent: Champs de vent perturbés:

(U10’,V10’)=(U10,V10)MM5 +(δU10, δV10)champs pseudo-aléatoire de moyenne 0

et de variance prescrite (5 et 10 (m/s)2 )longueur de décorrélation prescrite : 10, 100, 200 km

Page 15: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

(U10’,V10')=(U10,V10)MM5 +(δU10, δV10)

rx=ry=10kmVar (δvent)=10(m/s)2

rx=ry=100kmVar (δvent)=10(m/s)2

III-2. Ensemble de prévision: perturbation du champ de vent

Page 16: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Var(δVent)=10[m/s]2, rx=10km Var(δVent)=10[m/s]2, rx=100km

III-2. Ensemble de prévision: perturbation du champ de ventVariance en SST

Page 17: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

SST

19

19,5

20

20,5

21

21,5

22

22,5

23

23,5

24

24,5

MENOR0 GOL UPW ABYS LIGURE

Selected area

SS

T [°

C]

SSTobs cas3_refcas3_t6cas3_t7cas3_t8cas3_t9cas3_t10cas3_t11

centered RMS error

0

0,2

0,4

0,6

0,8

1

1,2

MENOR0 GOL UPW ABYS LIGURE

Selected area

cent

ered

RM

S e

rror

[°C

] cas3_refcas3_t6cas3_t7cas3_t8cas3_t9cas3_t10cas3_t11

SST variance:

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

MENOR0 GOL UPW ABYS LIGURE

selected area

SS

T v

aria

nce

[°C]^

2 cas3_t6cas3_t7cas3_t8cas3_t9cas3_t10cas3_t11

<SST> cas_ref surestime la <SST>obs ; <SST>ens surestime la <SST>obs<SST>ens + proche SSTobs pour var(δVent) =5(m/s)2 que pour var(δVent) =10(m/s)2 et cas_ref

Decorrelationscale

rx=ry=10km

rx=ry=100km

rx=ry=200km

Var = 5(m/s)2 Cas3_t6 Cas3_t7 Cas3_t8

Var=10(m/s)2 Cas3_t9 Cas3_t10 Cas3_t11

Impact de l’échelle spatiale de l’erreur vent sur la variance d’ensemble en SST (importance des fines échelles) ; moins marqué dans la zone UPW.

III-2. Ensemble de prévision: perturbation du champ de ventStatistiques globales

Page 18: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

r=100km

r=10km

Var(δVent) =5[m/s]2 Var(δVent) =10[m/s]2

variance Biais = variance d’ensemble + variance mesure

GOL

• Fluctuation temporelle de la variance d’ensemble: ok (sf fin Juillet)• Bonne consistence statistique*

*

III-2. Ensemble de prévision: perturbation du champ de ventConsistence statistique

Page 19: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

r=100km

r=10km

Var(δVent) =5[m/s]2 Var(δVent) =10[m/s]2

ABYS

• Fluctuation temporelle de la variance d’ensemble: ok (sf fin Juillet)• Bonne consistence statistique

III-2. Ensemble de prévision: perturbation du champ de ventConsistence statistique

variance Biais = variance d’ensemble + variance mesure

Page 20: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

r=10km

r=100km

Impact des perturbations du champ de vent limité à la couche de mélange en température et courant. Structure des variances d’ensemble en T en courant ~ qq km � ordre de grandeur > pour 10 km que 100km. A 10km� résonance, excitation des tourbillons

23 Juillet 2005 : coupe 1Var(δVent)=10[m/s]2

<SST>ens Std(<SST>) <Ec>ens Std(Ec)<SST>ens

<SST>ens Std(<SST>) <Ec>ens Std(Ec)<SST>ens

III-2. Ensemble de prévision: perturbation du champ de ventImpact sur la verticale

Page 21: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

ConclusionPerturbations hautes fréquences et fines échelles spatiales du champ de vent est une source d’erreur

consistente avec les erreurs observéesPerspectiveDistribution de l’ensembleAnalyse des covariances des erreurs de prévisions

(corrélations)

Autres sources d’erreur?

Validité des résultats sur MENOR V8.0?

Assimilation séquentielle (EnKF) des SST

Page 22: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

SST variance

0

0,05

0,1

0,15

0,2

0,25

0,3

0,35

0,4

0,45

0,5

MENOR0 GOL UPW ABYS LIGURE

Selected area

SS

T v

aria

nce

[°C]^

2

mem=10mem=30

centred RMS error

0

0,2

0,4

0,6

0,8

1

1,2

MENOR0 GOL UPW ABYS LIGURE

selected area

cent

red

RM

S e

rror

[°C

]cas3_refmem=10mem=30

SST

19

19,5

20

20,5

21

21,5

22

22,5

23

23,5

24

24,5

MENOR0 GOL UPW ABYS LIGURE

Selected area

SS

T [°

C] SSTobs cas3_refmem=10mem=30

Annexe1:Impact du nombre de membres sur les résultats

Page 23: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Annexe1:Impact du nombre de membres sur les résultats

10 membres

30 membres

Variance: avec var=10, rx=10km

Page 24: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

27 juillet

Méthode 1

Méthode 2δU10, δV10 ~ EOF de la

variance d’erreur MM5 avec εMM5=U10forecast –U10Nowcast

δU10, δV10 ~ straightforward linked with the drag coefficient CdδU10, δV10 ~% MM5 wind � (U10,V10)=[70% to 130%]MM5 wind

Annexe3 :Ensemble forecast: vent� autre formulation des perturbations

Vent avec erreurs réalistes (V. Mombet) Erreurs schématiques (%MM5)

Page 25: Vers une caractérisation des erreurs de prévision dans la ... · SEVIRI et la SST Mars à laquellele biaismoyena été soustrait Biais Erreur RMS Erreur RMS centrée [( )( )]2 1

Annexe3 :Ensemble forecast: Vent avec erreurs réalistes (V. Mombet)erreurs schématiques (%MM5)SST

19

19,5

20

20,5

21

21,5

22

22,5

23

23,5

24

24,5

MENOR0 GOL UPW ABYS LIGURE

Selected area

SS

T [°

C] SSTobs

cas3_refvent schvent real

SST Variance

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

MENOR0 GOL UPW ABYS LIGURE

Selected area

SS

T V

aria

nce

[°C]^

2

Vent SchVent Real

Centered RMS error

0

0,2

0,4

0,6

0,8

1

1,2

MENOR0 GOL UPW ABYS LIGURE

Selected areat

Cen

tere

d R

MS

err

or [

°C]

cas3_refvent sch

vent real

Peu de diff en <SST> et < Biais> p/r cas_refSur-estimation de la SST sauf dans la zone UPW

Forte variance d’ensemble en SST introduite par les perturbations de vent schématiques

SST Biais

-0,6

-0,4

-0,2

0

0,2

0,4

0,6

0,8

MENOR0 GOL UPW ABYS LIGURE

Selected Area

SS

T B

iais

[°C

]

cas_refvent schvent real