Théorie de Shannon...mathématique de la communication, Cassini, 2018 . Shannon s'est aussi...

Claude ShannonStructure de la théorie

Outils d'analyseLe théorème d'échantillonnage

Si on ne respecte pas la condition

Théorie de Shannon

1. L'échantillonnage

Pierre Bouchard

11 septembre 2018

PB Théorie de Shannon

Plan de l'exposé

1 Claude Shannon

2 Structure de la théorie

3 Outils d'analyse

4 Le théorème d'échantillonnage

5 Si on ne respecte pas la condition

Plan de l'exposé

1 Claude Shannon

3 Outils d'analyse

Plan de l'exposé

1 Claude Shannon

3 Outils d'analyse

Plan de l'exposé

1 Claude Shannon

3 Outils d'analyse

Plan de l'exposé

1 Claude Shannon

3 Outils d'analyse

Claude Elwood Shannon est né le 30 avril 1916 dans le Michigan,et mort le 24 février 2001 dans le Massachussets (à 84 ans). Il fut àla fois ingénieur en génie électrique et mathématicien théoricien. Ilest considéré comme le père fondateur de la théorie de la

communication de l'information.

Études supérieures au MIT (Massachussets Institute ofTechnology) ; doctorat de mathématiques en 1940 (24 ans).

Il travaille comme ingénieur en télécommunication auxlaboratoires Bell de 1942 à 1972. Parallèlement, de 1958 à1978, il enseigne au MIT. Sa carrière est réellement àl'interface entre la recherche et l'ingénierie, ce qui transparaitnettement dans sa théorie.

Claude Shannon est connu non seulement pour ses travauxdans les télécommunications, mais aussi pour l'originalité deses hobbies : jonglerie, monocycle, invention de machinesfarfelues.

Pendant la Seconde Guerre mondiale, Shannon travaille pourles services secrets de l'armée américaine, en cryptographie. Ilcherche à localiser de manière automatique les partiessigniantes d'un code, cachées au milieu du brouillage.

Son travail est exposé dans un rapport secret, qui donnenaissance en 1948 à l'article fondateur A Mathematical Theory

of Communication. Sa théorie fut complétée et publiée en1949 sous forme d'un livre de (presque) même titre.

Une version française :Claude E. Shannon et Warren Weaver, La Théorie

mathématique de la communication, Cassini, 2018.

Shannon s'est aussi intéressé au jeu d'échec, et a évalué à10120 le nombre de parties diérentes ayant un réel sens.

La théorie de l'information de Shannon est distincte de la théorie del'information de Kolmogorov.

Objectif initial : comment transmettre l'information le plusrapidement possible et avec le maximum de sécurité.

En fait, ses domaines d'application sont beaucoup plus vastes :

codage ;

compression des données ;

cryptographie ;

phénomènes asymptotiques en probabilités ;

thermodynamique statistique ;

réseaux de communication.

codage ;

cryptographie ;

codage ;

cryptographie ;

La théorie comporte 3 volets :1 Échantillonnage et reconstitution.2 Codage et décodage.3 Transmission et correction des erreurs.

SignalSéries de FourierTransformée de FourierFormule sommatoire de Poisson

Le message entrant est mathématiquement une fonction dénie surR, à valeurs dans R ou C, qu'on supposera continue et intégrablesur R (en pratique il est à support borné : nul hors de [0,T ]). Unetelle fonction sera appelée signal est notée s.

Dans le cas typique d'un son : s(t) est l'élongation à l'instant td'une membrane (tympan, microphone) mise en mouvement par lesondes sonores.

Le message entrant est mathématiquement une fonction dénie surR, à valeurs dans R ou C, qu'on supposera continue et intégrablesur R (en pratique il est à support borné : nul hors de [0,T ]). Unetelle fonction sera appelée signal est notée s.

Dans le cas typique d'un son : s(t) est l'élongation à l'instant td'une membrane (tympan, microphone) mise en mouvement par lesondes sonores.

Si ϕ est T -périodique et intégrable sur une période, sescoecients de Fourier sont les :

cn =1T

∫ T2

ϕ(t) e−inωtdt = 〈en | ϕ〉 , n ∈ Z

où en : t 7→ e−inωt , et ω = 2πT est la pulsation.

Théorème de Dirichlet

Si ϕ est périodique et C1 par morceaux, alors on peut ppreconstituer ϕ à partir de ses coecients de Fourier :

ϕ(t) =∑n∈Z

cn einωt

en chaque t où ϕ est continue.

Si ϕ est T -périodique et intégrable sur une période, sescoecients de Fourier sont les :

cn =1T

∫ T2

ϕ(t) e−inωtdt = 〈en | ϕ〉 , n ∈ Z

où en : t 7→ e−inωt , et ω = 2πT est la pulsation.

Théorème de Dirichlet

Si ϕ est périodique et C1 par morceaux, alors on peut ppreconstituer ϕ à partir de ses coecients de Fourier :

ϕ(t) =∑n∈Z

cn einωt

en chaque t où ϕ est continue.

Si s est une fonction intégrable sur R, sa transformée de Fourier

(en pulsation) est la fonction :

s : x 7→∫Rs(t) e−ixtdt

s(x) est le poids de la pulsation x (fréquence x2π ) dans s.

Si s est un signal acoustique, s permet de quantier les hauteurs deson utilisées par ce signal.

Si s n'est pas intégrable, sa transformée de Fourier existe mais n'estpas une fonction, c'est une distribution.

Exemple

cos(t) =12

(e it + e−it) : cos = π (δ1 + δ−1)

Exemple

cos(t) =12

(e it + e−it) : cos = π (δ1 + δ−1)

Exemple

cos(t) =12

(e it + e−it) : cos = π (δ1 + δ−1)

Théorème d'inversion de Fourier

Si s est continue et s est intégrable sur R, alors on peutreconstituer s à partir de s par transformée de Fourier inverse :

∀t ∈ R , s(t) =12π

ˆs(−t) =12π

∫Rs(x) e itxdx

Autres propriétés utiles :

si sa,b(t) = s(a(t − b)) alors sa,b(x) = 1

a s(xa

)e−ibx ;

si s est réelle et paire alors s l'est aussi ;

si s = gh alors s = g ∗ h ;si s = g ∗ h alors s = g h .

Théorème d'inversion de Fourier

Si s est continue et s est intégrable sur R, alors on peutreconstituer s à partir de s par transformée de Fourier inverse :

∀t ∈ R , s(t) =12π

ˆs(−t) =12π

∫Rs(x) e itxdx

Autres propriétés utiles :

si sa,b(t) = s(a(t − b)) alors sa,b(x) = 1

a s(xa

)e−ibx ;

si s est réelle et paire alors s l'est aussi ;

si s = gh alors s = g ∗ h ;si s = g ∗ h alors s = g h .

Théorème d'incertitude de Heisenberg

Si s est à support borné et non nulle, alors s n'est pas à supportborné. Plus généralement :

σ(s)σ(s) ≥ 12

où σ(g) est l'écart-type des variables aléatoires de densité |g |∫R |g |

Conséquence : le théorème d'échantillonnage n'est pas vraimentapplicable ...

Théorème de Poisson

Soient a > 0 , ω = 2πa , et g une fonction continue sur R, à valeurs

dans C. Si :1 ∃α > 1 , ∃c > 0 , ∀t ∈ R , |g(t)| ≤ c(1 + |t|)−α ;2∑

m∈Z |g (mω)| converge ;alors :

a∑n∈Z

g(na) =∑m∈Z

g (mω)

Remarque : si a est petit, ω est grand ; les deux peignes ont desespacements très diérents.

Théorème de Poisson

Soient a > 0 , ω = 2πa , et g une fonction continue sur R, à valeurs

dans C. Si :1 ∃α > 1 , ∃c > 0 , ∀t ∈ R , |g(t)| ≤ c(1 + |t|)−α ;2∑

m∈Z |g (mω)| converge ;alors :

a∑n∈Z

g(na) =∑m∈Z

g (mω)

Remarque : si a est petit, ω est grand ; les deux peignes ont desespacements très diérents.

Soit G : x 7→∑

n∈Z g(x + na) . L'hypothèse 1 implique laconvergence simple sur R, et normale sur [−a, a] . G est doncdénie sur R et continue sur [−a, a] . Comme elle estclairement a-périodique, elle est continue sur R.

Ses coecients de Fourier sont donc bien dénis et valent :

cm =1a

G (x)e−imωxdx =1a

∑n∈Z

g(x + na)e−imωxdx

par convergence normale.

Le changement de variable t = x + na donne :

acm =∑n∈Z

∫ (n+1)a

nag(t)e−imωt e inmωa︸︷︷︸

Soit G : x 7→∑

n∈Z g(x + na) . L'hypothèse 1 implique laconvergence simple sur R, et normale sur [−a, a] . G est doncdénie sur R et continue sur [−a, a] . Comme elle estclairement a-périodique, elle est continue sur R.Ses coecients de Fourier sont donc bien dénis et valent :

cm =1a

∑n∈Z

acm =∑n∈Z

∫ (n+1)a

Soit G : x 7→∑

n∈Z g(x + na) . L'hypothèse 1 implique laconvergence simple sur R, et normale sur [−a, a] . G est doncdénie sur R et continue sur [−a, a] . Comme elle estclairement a-périodique, elle est continue sur R.Ses coecients de Fourier sont donc bien dénis et valent :

cm =1a

∑n∈Z

acm =∑n∈Z

∫ (n+1)a

Par Chasles :

∫Rg(t)e−imωtdt = g(mω)

L'hypothèse 2 donne la sommabilité des coecients deFourier, et donc par Jordan-Dirichlet :

G (t) =∑m∈Z

cm e imωt =1a

∑m∈Z

g(mω) e imωt

Pour t = 0 on obtient la formule de Poisson :

a G (0) = a∑n∈Z

g(na) =∑m∈Z

g(mω)

Par Chasles :

G (t) =∑m∈Z

cm e imωt =1a

∑m∈Z

g(mω) e imωt

a G (0) = a∑n∈Z

g(na) =∑m∈Z

g(mω)

Par Chasles :

G (t) =∑m∈Z

cm e imωt =1a

∑m∈Z

g(mω) e imωt

a G (0) = a∑n∈Z

g(na) =∑m∈Z

g(mω)

ÉnoncéExemple : CD audioPreuve de ShannonReconstitution du signal

Théorème de Nyquist-Shannon (1928-1948)

Si s est un signal de fréquence maximale F , alors la suite des

(bn)n∈Z où bn = s(na) , a > 0

permet de reconstituer exactement s si et seulement si a ≤ 1

L'hypothèse sur s se traduit par :

∀x /∈ [−2πF , 2πF ] , s(x) = 0

qui implique que s ne peut pas être à support borné.La conclusion signie que l'interpolation de valeurs espacées de apar une fonction de fréquences inférieures à 1

2a (fréquence de

Nyquist) est possible et unique, mais qu'il y a une innité desolutions si on ne limite pas la fréquence.

∀x /∈ [−2πF , 2πF ] , s(x) = 0

qui implique que s ne peut pas être à support borné.

La conclusion signie que l'interpolation de valeurs espacées de apar une fonction de fréquences inférieures à 1

2a (fréquence de

∀x /∈ [−2πF , 2πF ] , s(x) = 0

qui implique que s ne peut pas être à support borné.La conclusion signie que l'interpolation de valeurs espacées de apar une fonction de fréquences inférieures à 1

2a (fréquence de

On commence par ltrer les fréquences, de façon à être dansles hypothèses du théorème ; comme les fréquences supérieuresà 20 kH sont inaudibles (ultrasons), on les élimine par unltrage analogique ; ceci modie le signal s en S , qui n'estplus à support borné.

S = sχ[−Ω,Ω] donc S = s ∗ χ[−Ω,Ω]

S(t) = 2Ω

∫Rsinc (Ω(x − t)) s(t)dt , Ω = 4π104

Ainsi F = 2.104 donc on peut prendre a = 25 µs ; une heurede musique représente 144 millions d'échantillons de s, mais ilen faut plus pour S , qui n'est pas à support borné : environ200 millions.La capacité d'un CD étant généralement de 682 Mo, uncodage optimal des données est nécessaire.

S(t) = 2Ω

∫Rsinc (Ω(x − t)) s(t)dt , Ω = 4π104

Ainsi F = 2.104 donc on peut prendre a = 25 µs ; une heurede musique représente 144 millions d'échantillons de s, mais ilen faut plus pour S , qui n'est pas à support borné : environ200 millions.

La capacité d'un CD étant généralement de 682 Mo, uncodage optimal des données est nécessaire.

S(t) = 2Ω

∫Rsinc (Ω(x − t)) s(t)dt , Ω = 4π104

Ainsi F = 2.104 donc on peut prendre a = 25 µs ; une heurede musique représente 144 millions d'échantillons de s, mais ilen faut plus pour S , qui n'est pas à support borné : environ200 millions.La capacité d'un CD étant généralement de 682 Mo, uncodage optimal des données est nécessaire.

Comme s est continue et à support borné, elle est intégrable sur Rdonc on peut reconstituer s par transformée de Fourier inverse :

s(t) =12π

∫Rs(x)e itxdx =

∫2πF

−2πFs(x)e itxdx

Soit φ la fonction 2πa -périodique qui coïncide avec s sur [−π

a ,πa ] .

Sa pulsation est a, ses coecients de Fourier sont :

∫ πa

−πa

s(x)e−inaxdx

Il y a deux cas suivant que πa est plus grand ou plus petit que 2πF .

Si a ≤ 1

2F : [−πa ,

πa ] ⊃ [−2πF , 2πF ] donc :

∫2πF

−2πFs(x)e−inaxdx = as(−na) = ab−n

Si on connait tous les bn, on connait tous les coecients deFourier de φ, donc on peut reconstituer φ, a fortiori s, puis s.

Sinon l'intervalle d'intégration est trop petit pour qu'on puissedéduire les cn de l'échantillonnage. On ne peut plusreconstituer s.

Pour contourner les hypothèses trop restrictives permettantd'utiliser les théorèmes d'inversion requis par la preuve de Shannon,le cadre adéquat est celui des distributions.

Dans le cas favorable, pour x ∈ [−Ω,Ω] :

s(x) = φ(x) =∑n∈Z

cneinax = a

∑n∈Z

b−neinax = a

∑n∈Z

bne−inax

Ailleurs s(x) = 0 ; donc par transformée de Fourier inverse :

s(t) =12π

∫ Ω

(a∑n∈Z

bne−inax

)e ixtdx

∑n∈Z

∫ Ω

−Ωe ix(t−an)dx

= 2aF∑n∈Z

bn sinc(Ω(t − an))

Dans le cas où on prend a = 1

s(t) =∑n∈Z

bn sinc(Ωt − nπ)

où Ω est la pulsation maximale de s.

Interprétation :

en t = ak , Ωt = kπ donc le signal vaut bk car tous les sinc

s'annulent sauf celui du terme d'indice k qui vaut 1 ;

entre deux ak successifs, le signal est interpolé par une série dedécalages temporels de sinc .

Dans le cas où on prend a = 1

s(t) =∑n∈Z

bn sinc(Ωt − nπ)

où Ω est la pulsation maximale de s. Interprétation :

en t = ak , Ωt = kπ donc le signal vaut bk car tous les sinc

s'annulent sauf celui du terme d'indice k qui vaut 1 ;

entre deux ak successifs, le signal est interpolé par une série dedécalages temporels de sinc .

En fréquenceEn temps

Le signal reconstitué à partir de la suite (bn)n∈Z des échantillonsest :

g(t) = 2aF∑n∈Z

bn sinc(Ω(t − an)) = 2aF∑n∈Z

bn sincΩ,an(t)

On va comparer sa transformée de Fourier à celle de s.

On fait l'hypothèse (réaliste) que les bn sont sommables, ce quipermet d'intervertir intégration et sommation :

g(x) = 2aF∑n∈Z

bn sincΩ,an(x) =a

∑n∈Z

bn sinc

)e−ianx

Le signal reconstitué à partir de la suite (bn)n∈Z des échantillonsest :

g(t) = 2aF∑n∈Z

bn sinc(Ω(t − an)) = 2aF∑n∈Z

bn sincΩ,an(t)

On va comparer sa transformée de Fourier à celle de s.

On fait l'hypothèse (réaliste) que les bn sont sommables, ce quipermet d'intervertir intégration et sommation :

g(x) = 2aF∑n∈Z

bn sincΩ,an(x) =a

∑n∈Z

bn sinc

)e−ianx

sinc est la transformée de Fourier de la fonction porte p quivaut 1

2sur [-1,1] et 0 ailleurs ; donc par transformée inverse :

)= 2πp

(− x

)= πχ[−Ω,Ω](x)

Donc :

g(x) = aχ[−Ω,Ω](x)∑n∈Z

bne−ianx = χ[−Ω,Ω](x) a

∑n∈Z

f (na)

où f (t) = s(t)e−itx .

sinc est la transformée de Fourier de la fonction porte p quivaut 1

2sur [-1,1] et 0 ailleurs ; donc par transformée inverse :

)= 2πp

(− x

)= πχ[−Ω,Ω](x)

Donc :

g(x) = aχ[−Ω,Ω](x)∑n∈Z

bne−ianx = χ[−Ω,Ω](x) a

∑n∈Z

f (na)

où f (t) = s(t)e−itx .

À défaut d'être réellement à support borné, s est àdécroissance rapide donc f vérie l'hypothèse 1 du théorèmede Poisson ; et l'hypothèse 2 est aussi vériée car s est àsupport borné donc f aussi ; ainsi :

a∑n∈Z

f (na) =∑m∈Z

f (mω)

f (mω) =∫R s(t)e−itxe−imωtdt = s(mω + x) ;

Finalement :

g(x) = χ[−Ω,Ω](x)∑m∈Z

s(x + mω)

a∑n∈Z

f (na) =∑m∈Z

f (mω)

Finalement :

g(x) = χ[−Ω,Ω](x)∑m∈Z

s(x + mω)

a∑n∈Z

f (na) =∑m∈Z

f (mω)

Finalement :

g(x) = χ[−Ω,Ω](x)∑m∈Z

s(x + mω)

Si a ≤ 1

2F : ω = 2πa ≥ 2Ω donc seul le terme d'indice m = 0

intervient et il reste :

g(x) = s(x) puis g = s

Sinon d'autres m interviennent et g est une somme dedécalages de s. Par exemple pour ω = 1.2 Ω :

g(x) = s(x) + χ(x)s(x − ω) + χ(x)s(x + ω)

Si a ≤ 1

2F : ω = 2πa ≥ 2Ω donc seul le terme d'indice m = 0

intervient et il reste :

g(x) = s(x) puis g = s

Sinon d'autres m interviennent et g est une somme dedécalages de s. Par exemple pour ω = 1.2 Ω :

g(x) = s(x) + χ(x)s(x − ω) + χ(x)s(x + ω)

Toujours pour ω = 1.2 Ω :

g = s + χ. (s1,ω + s1,−ω) ;

ˆg = ˆs + χ ∗(d ˆs + d ˆs

)où d(x) = e−iωx ;

χ(x) = 2Ω sinc(Ωx) , (d + d)(x) = 2 cos(ωx) ;

Par inversion de Fourier :

g(x) = s(x) + 4Ω

∫Rsinc(Ω(x + t)) cos(ωt)s(t)dt

Théorie de Shannon...mathématique de la communication, Cassini, 2018 . Shannon s'est aussi...

Documents

Transcript of Théorie de Shannon...mathématique de la communication, Cassini, 2018 . Shannon s'est aussi...