1 Licence 3 – Outils mathématiques & statistiques.

1

Licence 3 – Outils mathématiques &statistiques

2

Série d’évènementsLe problèmePhénomènes aléatoiresTester les tendancesTester l’uniformitéTester un motif

CyclicitéAutocorrélationMéthodes de Fourier

Plan

3

1229 1376 1583 1780 1927

1239 1377 1584 1804 1928

1240 1387 1587 1806 1929

1265 1388 1598 1814 1931

1269 1434 1611 1815 1932

1270 1438 1612 1826 1933

1272 1473 1613 1827 1934

1273 1485 1620 1828 1935

1274 1505 1631 1829 1938

1281 1506 1637 1830 1949

1286 1522 1649 1854 1950

1305 1533 1668 1872 1951

1324 1542 1675 1874 1953

1331 1558 1683 1884 1954

1335 1562 1691 1894 1955

1340 1563 1708 1897 1956

1346 1564 1709 1906 1957

1369 1576 1765 1916 1958

1375 1582 1772 1920 1962

Années d’éruption du volcan Aso durant la période 1229-1962

Séries d’évènements - Le problème

4

0

10

20

30

40

50

60

70

80

90

100

1200 1400 1600 1800 2000

year

no

mb

re d

'eve

nem

ents

Cum n

Régulier ou pas?


5


6

Le plus simple : traiter une série de dates!

But: rechercher un critère d’extrapolation, de compréhension…

GéologieTremblements de terre, éruptions volcaniques, impacts météoritiques, extinctions de masse.

Les données sont regardées comme des points dans le temps :très courts face à la période considérée.

Données excédant un seuil (threshold).


7

Comment faire?

La fin du temps est souvent le présentChoix d’un seuil suivant des critères précis (i.e. séismes)

Si c’est aléatoire (random) c’est cuit! Sinon : régularité (regularity), tendance (trend), motif (pattern).

Importance de la définition du départ et de la fin de la période ciblée. Les évènements ne doivent pas être les limites sinon biais.


8

Aléatoire (randomness): l’occurrence d’un événement n’affecte pas la probabilité d’occurrence des autres évènements.

Indépendance: Pas très respectée en géologie séismes ou éruptions volcaniques relâchent des contraintes ou causent des instabilités.


9

10 ans = 10 x 1 an

10 évènements aléatoires

Nombre d’intervalles ou l’on attend k évènements donné par le modèle de Poisson :P(k)xT (vu en L1)

!)(

k

ekP

k

n : nombre total d’évènements, T : nombre d’intervalles = n/T

-> Test du 2

Série d’évènements - phénomène aléatoire

10

H0 : Les évènements sont distribués aléatoirement dans le tempsH1 : Les évènements sont groupés ou réguliers

Avec n évènements, dans T intervalles. (Oj) : nombre d’intervalles observés avec j évènements comparés à (Ek) prédits par la distribution de Poisson. Test du chi-2 (vu en L1)

)(kPTEk

k

kk

E

EO 22 )(

Ek > 5d.l = (nombre de classes – 2)

ATTENTION : Ce test ne convient pas aux tendances (augmentation ou diminution de la fréquence dans le temps)


11

Un exemple:

Dans une série de 45 m de carbonates du Dévonien, des horizons de tufs apparaissent :

Position en m:0.5 2.3 3.2 4.2 4.9 7.0 11.4 12.7 14.616.0 21.5 22.5 25.8 30.3 31.9 36.2 42.8

La position est-elle aléatoire?


12

Intervalle k

0-33-66-9

9-1212-1515-1818-2121-2424-2727-3030-3333-3636-3939-4242-45

231121021020101

Observation

k Ok

01234

46410

Distribution de fréquenceobservée:


13

Nombre d’intervalles : T = 15Nombre d’évènements : n = 17

Pour k=0, E0= 15 x e-17/15 = 4.829

k Ek

012345

4.8295.4703.1011.1730.3330.063

!k

eTE

k

k


14

Test du 2.

H0: les données viennent d’une distribution de Poisson (randomness)H1: Les données ne sont pas issues d’une distribution de Poisson

k Ok Ek (Ok-Ek)2/Ek

01

2-infTotal

465

15

4.8295.4704.701

15

0.1420.0510.019

2=0.212

A peu près 5 dans chaque classe : ok= 0.05, dl = 3 (c’est le nbre classes) – 1 = 22 = 5.99H0 n’est pas rejeté. Les données peuvent s’ajuster à la distribution de Poisson

ATTENTION : Ce test ne convient pas aux tendances


15

Trend : fréquences croissantes ou décroissantes.

Changement de fréquences = changement dans la longueur des intervalles entre les évènements.

Graphe ordinal entre le numéro des évènements et l’intervalle entre événement.

Statistiques non-paramétriques :coefficient de Spearman (vu en L2!).

Charles Spearman (1863-1945)

Série d’évènements – Tester les tendances (trends)

16

Echelle de la 1ere variable : ordinaleEchelle de la 2eme variable : intervalle

rs :coefficient de rang (Spearman)

)1(

)(61

21

2

nn

hRir

n

ii

s

longs scourts/plu plus deviennent sintervalle Les.0:

trendde Pas.0:

1

0

s

s

H

H

hi : longueur du i ième intervalle.n = nbre d’intervalles = nbre d’évènements -1.


17

Position en m:0.5 2.3 3.2 4.2 4.9 7.0 11.4 12.7

14.6 16.0 21.5 22.5 25.8 30.3 31.9 36.2 42.8

Intervalles1.8 0.9 1.0 0.7 2.1 4.4 1.3 1.9

5.5 1.0 3.3 4.5 1.6 4.3 6.6

Même jeu de données que tout à l’heure


18


19

Rang de l’obs. Intervalle hi Rang de hi D2 = (Rang obs-Rang de hi)2

123456789

10111213141516

1.80.91.00.72.14.41.31.91.45.51.03.34.51.64.36.6

82

3.51

1013596

153.511147

1216

490

0.259

2549419

2556.25

11

4990

D2=287.5


20

)1(

61

21

2

nn

Dr

n

is

rs = 0.577. = 0.05 et n = 16, rs critique = 0.427

La valeur calculée excède la valeur critique.Il y a une tendance!


21

Les évènements uniformément distribués peuvent se retrouver en géologie quand l’occurrence d’un événement réduit la probabilité d’autres évènements dans un futur proche mais l’augmente après.

Ex: séismes

Test de Kolmogorov (K test) : hypothèse nulle d’uniformité. (vu en L2)

Série d’évènements – Tester l’uniformité

22

Basé sur un diagramme de cumul de fréquence. On recherche la différence verticale maximale entre le modèle et les data.

Tester l’uniformité

23

Test sensible aux tendances et aux clusters (regroupements)

Le calcul du K met en jeu la proportion d’évènements ayant eu lieu (i/n) et la proportion de temps écoulé (ti/T).

n évènements, T temps total.

Calcul de (i/n) – (ti/T) et ((i-1)/n) – (ti/T)

Plus ces différences sont petites, plus c’est uniforme


24

Kolmogorov test

H0 : les évènements sont uniformes ou aléatoiresH1 : les évènements sont regroupés ou avec une tendance

TtniTtninK ii //,//1max

K est comparé avec des valeurs critiques issues de tables

Un exemple avec toujours les mêmes données…


25

i ti/T i/n (i-1)/n ti/T-i/n ti/T-(i-1)/n

123456789

1011121314151617

0.0110.0510.0710.0930.1090.1560.2530.2820.3240.3560.4780.5000.5730.6730.7090.8040.951

0.0590.1180.1760.2350.2940.3530.4120.4710.5290.5880.6470.7060.7650.8230.8820.9411.000

00.0590.1180.1760.2350.2940.3530.4120.4710.5290.5880.6470.7060.7650.8230.8820.941

-0.048-0.067-0.105-0.142-0.185-0.197-0.159-0.189-0.205-0.232-0.169-0.206-0.192-0.150-0.173-0.137-0.049

0.011-0.008-0.047-0.083-0.126-0.138-0.100-0.130-0.147-0.173-0.110-0.147-0.133-0.092-0.114-0.0780.010

1/17

0,5/45


26

K = 4.126 x 0.232 = 0.957

Valeur critique dans la table pour = 0.05 et n = 17 : 0.318

On rejette l’hypothèse nulle. Les évènements ne sont pas uniformes.Ici, plus haute densité en début de série.


27

n Alpha = 0.10 Alpha = 0.05 Alpha = 0.011 0,95 0.9750 0.9950 2 0,7764 0.8419 0.9293 3 0,636 0.7076 0.8290 4 0,5652 0.6239 0.7342 5 0,5095 0.5633 0.6685 6 0,468 0.5193 0.6166 7 0,4361 0.4834 0.5758 8 0,4096 0.4543 0.5418 9 0,3875 0.4300 0.5133

10 0,3697 0.4092 0.4889 11 0,3524 0.3912 0.4677 12 0,3381 0.3754 0.4491 13 0,3255 0.3614 0.4325 14 0,3142 0.3489 0.4176 15 0,304 0.3376 0.4042 16 0,2947 0.3273 0.3920 17 0,2863 0.3180 0.3809 18 0,2785 0.3094 0.3706 19 0,2714 0.3014 0.3612 25 0,2377 0.2640 0.3166 30 0,2176 0.2417 0.2899 35 0,2019 0.2242 0.2690 40 0,1891 0.2101 0.2521 45 0,1786 0.1984 0.2380 50 0,1696 0.1884 0.2260 60 0,1551 0.1723 0.2067 70 0,1438 0.1598 0.1917 80 0,1347 0.1496 0.1795 90 0,1271 0.1412 0.1694

100 0,1207 0.1340 0.1608 n>100 1,223/racine(n) 1,358/racine(n) 1,629/racine(n)

Formulaire - Table de la loi de Kolmogorov-Smirnov


28

Il y a des distributions non aléatoires qui ne vont pas être détectées avec les méthodes précédentes : patterns.

Par exemple phases d’activité (pattern = uniformité + clusters)

On considère une succession d’intervalles. Calcul d’un coefficient de corrélation (de Spearman) entre h et h+1.Si il n’y a pas de pattern, rs = 0.Si rs < 0 : intervalles longs puis courtsSi rs > 0 : les intervalles successifs sont similaires

Tester un motif (pattern)

29

)1(

)()(61

21

21

nn

hRhRr

n

iii

s

H0 : Pas de relation entre les intervalles successifsH1 : corrélation entre la longueur des intervalles successifs

n = (nbre d’évènements) – 2


30

hi R(hi) hi+1 R(hi+1) (R(hi)- R(hi+1))2

1.80.91.00.72.14.41.31.91.45.51.03.34.51.64.3

82

3.51

1013596

153.511147

12

0.91.00.72.14.41.31.91.45.51.03.34.51.64.36.6

23.519

12586

143.510137

1115

362.256.25644

6499

64132.2542.25

449169

=511


31

hi hi+1 R(hi) R(hi+1)

1,8 0,9 8 2

0,9 1 2 3

1 0,7 3 1

0,7 2,1 1 9

2,1 4,4 10 12

4,4 1,3 13 5

1,3 1,9 5 8

1,9 1,4 9 6

1,4 5,5 6 14

5,5 1 15 3

1 3,3 3 10

3,3 4,5 11 13

4,5 1,6 14 7

1,6 4,3 7 11

4,3 6,6 12 15


32

rs = 0.0875rs critique pour = 0.05 et n = 15 : 0.443

Nous ne rejetons pas H0. Il n’y a pas de corrélation évidente entre les intervalles successifs. Les intervalles consécutifs semblent être indépendants.


33

t hi hi+1 r(Hi) r(hi+1

3 1,2 0,91 5 4

4,2 0,91 8,89 4 11

5,11 8,89 2,4 11 9

14 2,4 1,4 9 6

16,4 1,4 7,5 7 10

17,8 7,5 0,7 10 3

25,3 0,7 1,5 3 7

26 1,5 0,5 8 2

27,5 0,5 12 2 13

28 12 1,3 13 5

40 1,3 9,3 6 12

41,3 9,3 0,4 12 1

50,6 0,4 1,56 1 8

51 1,56

52,56 -0, 5

0, 5

0 10 20 30 40 50 60


34

0

2

4

6

8

10

12

14

0 5 10 15

R(hi)

R(h

i+1)


Décalage de 100h, puis 200h etc…

Décalage de 100h, puis 200h etc…

• Comparer les valeurs observées en un point avec les valeurs observées en un ou plusieurs points plus tôt (valeurs retardées - lagged values).

• Notion importante en analyse spatiale

Temp45,042,540,037,535,0

45,0

42,5

40,0

37,5

35,0

45,042,540,037,535,0

TempLag1 TempLag24

Scatterplot of TempLag1; TempLag24 vs Temp

Hour

Tem

p

7002200130040019001000100160070022001400

45,0

42,5

40,0

37,5

35,0

Time Series Plot of Temp

Chaque observation est très semblable à sa valeur adjacente (lag = 1); mais aussi à la même observation 24h plus tôt (lag = 24).

Chaque observation est très semblable à sa valeur adjacente (lag = 1); mais aussi à la même observation 24h plus tôt (lag = 24).

Séries temporelles – cyclicité. Autocorrélation

36


Chronogramme. L’evolution des T° a Nottingham Castle

L’idée: Trouver le pattern et en tirer avantage.

La corrélation entre les données originales et les k-lagged se nomme l’autocorrélation d’ordre k.

L’Autocorrelation Function (ACF) donne les coefficients de corrélation entre pour les lag consécutifs.

Le corrélogramme est la représentation graphique de l’ACF.

Attention si les séries ont une variance instable. Une transformation est nécessaire avant d’utiliser l’AFC.

Lag

Auto

corr

ela

tion

24222018161412108642

1,0

0,8

0,6

0,4

0,2

0,0

-0,2

-0,4

-0,6

-0,8

-1,0

Autocorrelation Function for Temp(with 5% significance limits for the autocorrelations)


Attention pour la préparation des données:

• Les observations doivent être régulièrement espacées dans le temps

• Toute tendance linéaire doit être éliminée avant l’analyse

• Règle empirique: au moins 50 valeurs dans la série, le lag ne doit pas excéder n/4.


39


Test de significativité du coefficient d’autocorrélation.

)3( nrzr

Avec le lag, rs le coefficient d’autocorrelation pour ce lag et n le nombre d’observations.Zr suit une loi normale centrée réduite. Les bornes sont -1.96 et 1.96 à 95% de confiance.

H0 : rs = 0H1 : rs ≠ 0

Années

1955 1960 1965 1970 1975 1980 1985 1990 1995

CO

2 (p

pm

)

310

320

330

340

350

360

370

Superposition de plusieurs signauxQuels sont leurs origines?

Variation séculaireVariation annuelle?

ICI C’EST TRES SIMPLE… MAIS CE N’EST PAS TOUJOURS LE CAS

Augmentation du CO2 dans l’atmosphère en fonction du temps.

Séries temporelles – cyclicité. Méthodes de Fourier

Prenons un autre exemple:

-37

-36,5

-36

-35,5

-35

-34,5

-34

-33,5

-33

0 2000 4000 6000 8000 10000

Years BP

D18

O

Variation du 18O dans la carotte GISP-2 du Groenland sur les 10000 dernières années


Décomposition de la lumière par un prisme

Décomposition d’un signal temporel par transformée de Fourier


Principe de la transformée de Fourier

Elimination du bruit par lissage (Smoothing)

Données brutes = 1 signal + bruit.Le bruit apparaît sur les hautes fréquences. Il a peu d’influence sur les données

adjacentes et peut être réduit en moyennant une courte série.

Utilisation de moyennes arithmétiques pondérées.

Questions :

1. Nombre d’observations prises en compte?2. Valeur des poids?

Séries temporelles – cyclicité. Fourier - traitement préalable

ti-2 ti-1 ti ti+1 ti+2

-3 12 17 12 -3

Quadratic polynomial smoothing : 5 termes

yi’=(-3yi-2 + 12 yi-1 + 17 yi + 12 yi+1 – 3 yi+2) / 35

No termes ti ti+1

ti-1

ti+2

ti-2

ti+3

ti-3

ti+4

ti-4

579

177

59

126

54

-33

39-214 -21

Quadratic polynomial smoothing : 5-9 termes

Séries temporelles – cyclicité. Traitement préalable

Lignes de croissance

0 20 40 60 80 100 120 140

Bru

tes

-10

-8

-6

-4

-2

0

2

4

6

8


0 20 40 60 80 100 120 140

Lis

sée

s (m

oye

nn

e s

ur

5 p

oin

ts)

-8

-6

-4

-2

0

2

4

6

8


0 20 40 60 80 100 120 140

Lis

sée

s (m

oye

nn

e s

ur

9 p

oin

ts)

-8

-6

-4

-2

0

2

4

6


Les tendances doivent être éliminées avant traitement par transformée de Fourier.

Si il y a un trend linéaire

y = a + bt

On doit travailler sur le résidu:

i = yi – bti - a


Décomposition d’une série temporelle en une suite de sinusoïdes (amplitude, phase et fréquence).

cosyVoyons le plus simple

Ajoutons l’amplitude cosAy

Comment changer la fréquence?

Et la phase?

)cos( kAy

)cos( kAy

Séries temporelles – cyclicité. Fourier - Mathématiques

)sin()cos( kky kkk

kkkkkk AA sinet cos

)cos( kkk kAy

Donc pour une fréquence spécifique on a:

Comme on a également :

RSRSSR sinsincoscos)cos(

On tire )sin(sin)cos(cos kAkAy kkkkk

En posant:

On tire


])sin()cos([ kkY kk

Finalement on somme toutes ces sinusoïdes!! Toutes les fonctions, à condition qu’elles soient continues, et qu’il n’y ait qu’une valeur de Y pour chaque valeur de X, peuvent être écrites sous la forme:

Relation de Fourier


Sum of Three Harmonics

-1,5

-1

-0,5

0

0,5

1

1,5

0 3,14 6,28

Time

Wa

ve

Am

plit

ud

e

N=1

N=3

N=5

Sum


L’amplitude pour une fréquence donnée :

)( 22 kA

En général on définit plutôt la puissance ou la variance:

22

2222 kk

As


Calcul très complexe alors tout à l’ordinateur!

Algorithme FFT (Fast Fourier Transform) mais quelques contraintes :

1. Les données doivent être également espacées dans le temps2. Le nombre de données doit être 2n avec n entier.3. Il ne doit pas y avoir de trend4. Les fréquences entières sont calculées5. En conséquence de 4. Les cycles doivent être complets.


Problème en géologie dans la définition du temps

Sédiments : • 1 varve = 1 an

• Croissance sur les coquilles : rythmes lunaires, années, jours…

• Si le taux de sédimentation est constant, alors le temps est assimilable à une distance.

• Quoi qu’il en soit, attention à la corruption du temps!


Les résultats sont exprimés sous forme de puissance (power spectrum)


Simulation:

par exemple:

avec 1 = fréquence de la fondamentale (en Hz) fois 2,

s(t) = sin(1t) + 0.75*sin(3*1t) + 0.5*sin(5*1t) + 0.14*sin(7*1t) + 0.5*sin(9*1t) + 0.12*sin(11*1t) + 0.17*sin(13*1t)


Si T temps total et présence d’un pic à k, la période peut être calculée avec T/k.

Contrainte: La fréquence maximale est déterminée par le nombre d’observations /2. Fréquence de Nyquist.

Problème: l’aliasing! La variance de tous les signaux dont la fréquence est supérieure à la fréquence de Nyquist seront ajoutées aux variances des plus basses fréquences dans le périodigramme!!!

Solution: on filtre les hautes fréquences.


Filtres :

Séries temporelles – cyclicité. Fourier - Filtres

Bruit blanc : La puissance est uniformément distribuée sur le spectre

Séries temporelles – cyclicité. Fourier – Le bruit

Bruit rose: C’est un bruit dit "1/f noise’. Perte de 3dB a chaque octave. C’est le bruit le plus fréquent dans la nature.


Bruit bleu: gain de 3dB a chaque octave.


Séries temporelles – cyclicité. Fourier « glissant »

Les données réelles sont bruitées (noisy) -> pics mineurs (spikes)Question : signal ou bruit? Réponse : g-test, White noise test.

2

2max

2ˆ

s

sg

H0: Puissance à f due à un phénomèneAléatoireH1: Une cyclicité existe à cette fréquence

Valeur critique:

1

lnln

1

m

mp

eg p= niveau de signification (=0.05)m=(nombre d’observations)/2

Variation totale

Séries temporelles – cyclicité. Tests de significativité

0

0,2

0,4

0,6

0,8

1

1,2

1,4

0 6 12 18 24 30 36 42 48 54 60

Série1

Lignes de croissance sur des nautiles du Silurien

Puissance=1,28k=12 (freq max)Variance totale: 9,9n=128m=n/2=64

107,0

07,0ˆ

critg

g

On ne rejette pas H0.Conclusion: Ce pic peut résulter d’un phénomène aléatoire


‘White-noise’ test

Puissance uniformément distribuée le long du spectre?

Basé sur le KS test

Puissance cumulée vs. fréquence.

Hypothèses:H0: bruit blancH1: ce n’est pas un bruit blanc


2/

1

2

1

2

ˆn

ii

k

ii

k

s

s

Proportion de puissance cumulée à la fréquence k.

n

kk

2

Si bruit blanc, ce qui est attendu


Avec a=0.05, les intervalles de confiance sont:

12

36.12

nn

k et

12

36.12

nn

k

Si gk sort de l’intervalle, il y a 95% de chances pour que les données ne résultent pas d’un processus type ‘bruit blanc’


Séries temporelles – cyclicité. Exemples

Excentricité de l’orbite terrestre (100,000 ans)

Précession de l’axe de la Terre (26,000 ans)

Angle d’inclinaison sur l’axe (40,000 ans)


F re q u e n c y (H z )

0 2 4 6 8 1 0

No

ise

in

ten

sity

(d

B)

- 7 0

-6 0

-5 0

-4 0

-3 0W

ith

in-r

un

RS

D%

0 ,0

0 ,2

0 ,41 .5 0 m L .m in -1


Fréquence d'échantillonnage et bande passante: Pour définir numériquement un son de fréquence F, il faut appliquer une fréquence d'échantillonnage Fs telle que: Fs>2F.La valeur du taux d'échantillonnage pour un cd, par exemple n'est pas arbitraire, elle découle en réalité du théorème de Shannon/Nyquist, qui stipule que pour numériser fidèlement une valeur ayant une fréquence donnée, il faut numériser au double de cette fréquence. Or l'oreille humaine n'arrive pas à distinguer des sons dont la fréquence dépasse 22 000 Hz, ainsi il faut numériser à 44 000 Hz soit 44 kHz.

Différent taux d'échantillonnage : - 44 kHz : qualité cd- 22 kHz : qualité radio- 8 kHz : qualité téléphone

http://www3.leradome.com/bdd-heureka/numerisation/numerisation-du-son.htm


R=2n-1 (Où n est le nombre de bits).Ainsi les formats utilisés sont:

8 et 16 bits en micro-informatique et minidisque Sony 16 bits en audio amateur (CD et DAT) 16, 18, 20 et 24 bits en audio professionnelle

Codage sur 8 bits : 256 valeurs possiblescodage sur 16 bits: 65 536 valeurs possibles

Quelle est la signification pratique de la résolution ? Plus on enregistre un son avec une résolution élevée, plus on va pouvoir en enregistrer les infimes détails. La précision maximale obtenue est celle du plus petit échantillon.

Analyse de Fourier – Principe du CD

1 Licence 3 – Outils mathématiques & statistiques.

Documents

Transcript of 1 Licence 3 – Outils mathématiques & statistiques.