La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication »...

39
La théorie de La théorie de l’information l’information Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de l’information Jamal Dine ESSARRAJE

Transcript of La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication »...

Page 1: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

La théorie de l’information La théorie de l’information

Claude E. SHANNON1948: « A Mathematical Theoryof Communication »-théorie de l’information

Jamal Dine ESSARRAJE

Page 2: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

« « La connaissance s'acquiert par La connaissance s'acquiert par l'expérience, tout le reste n'est l'expérience, tout le reste n'est que de l'information » que de l'information »

Albert EinsteinAlbert Einstein

Page 3: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• La théorie de l'information est née des La théorie de l'information est née des préoccupations techniques des ingénieurs de préoccupations techniques des ingénieurs de la télécommunication qui voulaient mesurer la télécommunication qui voulaient mesurer l'information et étudier à quelle loi elle est l'information et étudier à quelle loi elle est soumise (bruit, entropie, chaos).soumise (bruit, entropie, chaos).

Page 4: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

La théorie de l’information de La théorie de l’information de Shannon et Weaver (1949)Shannon et Weaver (1949)

• Née au sein du monde des ingénieurs travaillant Née au sein du monde des ingénieurs travaillant dans la téléphonie dans l’immédiat après-guerredans la téléphonie dans l’immédiat après-guerre

• Première réponse mathématique qui permet de Première réponse mathématique qui permet de mesurer les quantités d’informations mesurer les quantités d’informations émises,transmises et reçuesémises,transmises et reçues

• Répond à la préoccupation de reconstituer le Répond à la préoccupation de reconstituer le plus fidèlement un message transmis par un plus fidèlement un message transmis par un émetteurémetteur

Page 5: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• La communication est définie comme la La communication est définie comme la transmission de l’information entre deux transmission de l’information entre deux lieux ou deux personneslieux ou deux personnes

• Condition pour que ce transfert Condition pour que ce transfert d’information puisse avoir lieu : d’information puisse avoir lieu : – Prendre la forme d’un message codéPrendre la forme d’un message codé

• Le codage permet d’accroître le nombre de Le codage permet d’accroître le nombre de messages par lignes et de les protéger messages par lignes et de les protéger contre les dégradationscontre les dégradations

Page 6: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

Modèle de Shannon et Weaver

Sourceinformation

Emetteur Canal Récepteur Destination

Source de bruits

Message Signal Signal Message

Page 7: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• Pour définir l'information Shannon et Weaver s’ Pour définir l'information Shannon et Weaver s’ appuient sur un principe de la thermodynamique appuient sur un principe de la thermodynamique (science des machines à feu) énoncé par Carnot : (science des machines à feu) énoncé par Carnot : “ dans un système physique, l'énergie tend à se “ dans un système physique, l'énergie tend à se dégrader ”. Par exemple lorsque l'on met de l'eau dégrader ”. Par exemple lorsque l'on met de l'eau chaude dans une baignoire qui se trouve dans une chaude dans une baignoire qui se trouve dans une salle de bain froide, au bout d'un moment celle-ci salle de bain froide, au bout d'un moment celle-ci sera tiède mais l'eau du bain aussi. Le tout devient sera tiède mais l'eau du bain aussi. Le tout devient homogène, indifférencié, cela mène à la mort du homogène, indifférencié, cela mène à la mort du système, à l'entropie (en thermodynamique principe système, à l'entropie (en thermodynamique principe qui décrit le degré croissant de désordre dans le qui décrit le degré croissant de désordre dans le fonctionnement d'un système ; en communication, fonctionnement d'un système ; en communication, degré d'incertitude).degré d'incertitude).

Page 8: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

Unité d’informationUnité d’information

selon Shannon (1948) l’unité est le bit un système contient N-bits d’information s’il peut contenir 2N caractères

Page 9: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.
Page 10: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TRANSMETTRE TRANSMETTRE L’INFORMATIONL’INFORMATION

redondanceredondance

Page 11: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettre

La théorie du codage utilise la La théorie du codage utilise la redondanceredondance pour transmettre les pour transmettre les bitsbits d’informationd’information

0 codage

1

Page 12: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettre

• La théorie du codage utilise la La théorie du codage utilise la redondance pour transmettre les bits redondance pour transmettre les bits d’informationd’information

0 000 codage

1 111

Page 13: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettre

• La théorie du codage utilise la La théorie du codage utilise la redondanceredondance pour transmettre les pour transmettre les bitsbits d’informationd’information

0 000 codage Transmission

1 111

Page 14: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettre

• La théorie du codage utilise la La théorie du codage utilise la redondanceredondance pour transmettre les pour transmettre les bitsbits d’informationd’information

0 000 codage

1 111

Transmission erreurs(2ème principe)

010

110

Page 15: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettre

• La théorie du codage utilise la La théorie du codage utilise la redondanceredondance pour transmettre les pour transmettre les bitsbits d’informationd’information

0 000 codage

1 111

Transmission erreurs(2ème principe)

010

110Reconstruction

Page 16: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettre

• La théorie du codage utilise la La théorie du codage utilise la redondanceredondance pour transmettre les pour transmettre les bitsbits d’informationd’information

0 000 codage

1 111

Transmission erreurs(2ème principe)

010

110

Reconstruction

à réception (correction)

000

111

Page 17: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• L’accès du grand public au Web en L’accès du grand public au Web en 1989, n’est qu’une étape vers une « 1989, n’est qu’une étape vers une « société de l’information », dont société de l’information », dont l’émergence se situe au lendemain l’émergence se situe au lendemain de la seconde guerre mondiale. Une de la seconde guerre mondiale. Une révolution technologique aux révolution technologique aux profondes implications culturelles et profondes implications culturelles et politiques.politiques.

Page 18: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

La question décisive :La question décisive :

Qui contrôle le réseau Qui contrôle le réseau mondial d’information ? mondial d’information ?

Page 19: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

Autoroutes de l’information/ Autoroutes de l’information/ information superhigways information superhigways Cette appellation est utilisée pour la Cette appellation est utilisée pour la

première fois en 1993 par Al Gore, première fois en 1993 par Al Gore, alors vice président des USA. Cette alors vice président des USA. Cette formule veut frapper la nation formule veut frapper la nation américaine pour la préparer à entrer américaine pour la préparer à entrer dans l’ère de l’information dans l’ère de l’information

Page 20: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

Internet et le web : deux Internet et le web : deux choses différentes choses différentes

• Une génération les sépare et surtout leur Une génération les sépare et surtout leur nature et leur fonction les distinguent.nature et leur fonction les distinguent.

Internet Internet est le résultat de la mise e est le résultat de la mise e réseau de milliers de réseaux réseau de milliers de réseaux informatiques ( le réseau arpanet crée en informatiques ( le réseau arpanet crée en 1969 par le gouvernement américain, 1969 par le gouvernement américain, adopte le protocole adopte le protocole TCP/IP TCP/IP au début des au début des années 1980 et devient internet)années 1980 et devient internet) « une « une ville non habité » ville non habité »

Page 21: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

Et le WEB C’est quoi ?Et le WEB C’est quoi ?

En 1989 le World Wide Web est En 1989 le World Wide Web est proposé au grand public : c’est une proposé au grand public : c’est une application, tel un application, tel un super logicielsuper logiciel riche riche de nombreuses fonctionnalités:de nombreuses fonctionnalités:

--La recherche avancée par l’hyper La recherche avancée par l’hyper textetexte

-L’adressage-L’adressage -La navigation d’une page à -La navigation d’une page à

l’autre l’autre

Page 22: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

Conséquence Conséquence

La ville est habitée, on y trouve le La ville est habitée, on y trouve le téléphone la télé les medias, téléphone la télé les medias, ouverture des commerces, on y ouverture des commerces, on y circule, on y vit… circule, on y vit…

Page 23: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.
Page 24: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettre

• Les Hommes utilisent aussi la Les Hommes utilisent aussi la redondanceredondance pour confirmer pour confirmer l’information reçuel’information reçue

Page 25: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettre

• Les Hommes utilisent aussi la Les Hommes utilisent aussi la redondanceredondance pour confirmer pour confirmer l’information reçuel’information reçue

Page 26: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

TransmettreTransmettreLes Hommes utilisent aussi la Les Hommes utilisent aussi la

redondanceredondance pour confirmer pour confirmer l’information reçuel’information reçue

redis le !

Page 27: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• Certains disciples de C.Shannon ont poursuivi cette Certains disciples de C.Shannon ont poursuivi cette approche, comme W.Weaver. Celui-ci définit la notion approche, comme W.Weaver. Celui-ci définit la notion de redondance. Pour lui, la répétition des élément du de redondance. Pour lui, la répétition des élément du message en évite la perte : c’est un surcroît de message en évite la perte : c’est un surcroît de signaux sémantiques. Cela facilite le décryptage ou signaux sémantiques. Cela facilite le décryptage ou l’interprétation du message. Sans être vraiment l’interprétation du message. Sans être vraiment indispensable à la transmission du message, elle indispensable à la transmission du message, elle permet de surmonter les bruits. permet de surmonter les bruits.

• Les applications de ce principe ont favorisé l’évolution Les applications de ce principe ont favorisé l’évolution du téléphone, de la télécopie, de la télévision. En du téléphone, de la télécopie, de la télévision. En communication, la reformulation à pour but : communication, la reformulation à pour but :

• de réduire l’incertitude dans la compréhension des de réduire l’incertitude dans la compréhension des messages ;messages ;

• de maintenir la relation avec l’interlocuteur.de maintenir la relation avec l’interlocuteur.

Page 28: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• C’est à Norbert WEINER que l’on doit la C’est à Norbert WEINER que l’on doit la notion de notion de feed backfeed back (la rétroaction). (la rétroaction). Un retour de l’information par la Un retour de l’information par la réponse, ce qui donne le sens et la réponse, ce qui donne le sens et la qualité au message émis qualité au message émis précédemment. A partir de ce moment précédemment. A partir de ce moment la communication se distingue de la communication se distingue de l’information. l’information.

Page 29: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• L’objectif de SHANNON est de dessiner L’objectif de SHANNON est de dessiner le cadre mathématique à l’intérieur le cadre mathématique à l’intérieur duquel il est possible de quantifier le duquel il est possible de quantifier le coût d’un message, d’une coût d’un message, d’une communication entre les deux pôles de communication entre les deux pôles de ce système, en présence de ce système, en présence de perturbations aléatoires, dites, perturbations aléatoires, dites, bruitbruit, , indésirables parce qu’empêchant indésirables parce qu’empêchant l’ "l’ "isomorphismeisomorphisme "  "

Page 30: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.
Page 31: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• Par ailleurs, la théorie de Shannon, est bel est bien Par ailleurs, la théorie de Shannon, est bel est bien l’aboutissement de travaux qui ont commencé, l’aboutissement de travaux qui ont commencé, dans les années dix, avec les recherches du dans les années dix, avec les recherches du mathématicien russe Andrei MARKOV sur la théorie mathématicien russe Andrei MARKOV sur la théorie des chaînes de symboles en littérature. Et puis des chaînes de symboles en littérature. Et puis aussi par les suggestions de l’américain Ralf aussi par les suggestions de l’américain Ralf Hartley qui a proposé en 1927 la 1ère mesure Hartley qui a proposé en 1927 la 1ère mesure précise de l’information associée à l’émission de précise de l’information associée à l’émission de symboles qui donnée naissance au (bit) symboles qui donnée naissance au (bit) binary binary digitdigit. Et puis la fameuse prophétie du . Et puis la fameuse prophétie du mathématicien britannique Alan TURING, qui mathématicien britannique Alan TURING, qui consiste a concevoir une machine capable de consiste a concevoir une machine capable de traiter l’information et communiquer. traiter l’information et communiquer.

Page 32: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• Mise en évidence de la notion de codeMise en évidence de la notion de code

• Modèle largement utilisé mais critiquéModèle largement utilisé mais critiqué

• Modèle linéaireModèle linéaire– Ne prend pas en compte la rétro informationNe prend pas en compte la rétro information

• Ignore la signification du messageIgnore la signification du message– Difficile de considérer la signification du message Difficile de considérer la signification du message

indépendamment des partenaires de la indépendamment des partenaires de la communicationcommunication

Page 33: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• Pour LASSWELL (sociologue), le processus Pour LASSWELL (sociologue), le processus de transmission de l’information peut se de transmission de l’information peut se décrire par 5 questionnements :décrire par 5 questionnements :

• qui ?qui ?

• dit quoi ?dit quoi ?

• par quel canal ?par quel canal ?

• à qui ?à qui ?

• avec quel effet?avec quel effet?

Page 34: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

Qui ?Qui ?– Analyse des agents qui sont à la source Analyse des agents qui sont à la source

de la de la communication et les mécanismes de communication et les mécanismes de production de production de l’information collectivel’information collective

Dit quoi ?Dit quoi ?– Analyse du messageAnalyse du message

Par quel moyen ?Par quel moyen ?– Analyse du canalAnalyse du canal

Page 35: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

À Qui ?À Qui ?– Définition des récepteursDéfinition des récepteurs– Analyse de l’audienceAnalyse de l’audience– Ces études cherchent à déterminer les Ces études cherchent à déterminer les

différentes catégories de publicdifférentes catégories de public

Avec quels effets ?Avec quels effets ?– Détermine un vaste champ d’analyses Détermine un vaste champ d’analyses

psychosociologiquespsychosociologiques

Page 36: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

Les nouvelles technologies de Les nouvelles technologies de l’information et des l’information et des communications (NTIC) communications (NTIC) remettent en cause de remettent en cause de manière fondamentale les manière fondamentale les façons d’entrer en relation les façons d’entrer en relation les uns avec les autres.uns avec les autres.

Page 37: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• L’ordinateur HAL (du film L’odyssée L’ordinateur HAL (du film L’odyssée de l’espace 2001) comprends de l’espace 2001) comprends l’homme,dialogue avec lui dans sa l’homme,dialogue avec lui dans sa langue exécute ses commandes et langue exécute ses commandes et ressent les émotions. ressent les émotions.

• Quel bonheur !ou quel horreur !!!Quel bonheur !ou quel horreur !!!

Page 38: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• A-t-on affaire à des humains A-t-on affaire à des humains virtuels ? virtuels ?

Page 39: La théorie de linformation Claude E. SHANNON 1948: « A Mathematical Theory of Communication » -théorie de linformation Jamal Dine ESSARRAJE.

• Le test peut être présenté sous forme d’un jeu, Le test peut être présenté sous forme d’un jeu, «jeu d’imitation». Il nécessite trois joueurs, un «jeu d’imitation». Il nécessite trois joueurs, un homme (A), une femme (B), et un troisième joueur homme (A), une femme (B), et un troisième joueur qui posera les questions (C), et qui peut appartenir qui posera les questions (C), et qui peut appartenir à l’un ou l’autre sexe. Ce dernier restera dans une à l’un ou l’autre sexe. Ce dernier restera dans une pièce séparée de celle où se trouve le couple. Le pièce séparée de celle où se trouve le couple. Le but du jeu, pour ce troisième joueur, est de but du jeu, pour ce troisième joueur, est de déterminer, chez les deux autres joueurs, qui est déterminer, chez les deux autres joueurs, qui est l’homme et qui est la femme. Il les connaît sous le l’homme et qui est la femme. Il les connaît sous le nom de X et Y, et doit dire, au terme du jeu, soit «X nom de X et Y, et doit dire, au terme du jeu, soit «X est A et Y est B», soit «X est B et Y est A». Pour ce est A et Y est B», soit «X est B et Y est A». Pour ce faire, il a droit à des questions du type : «X peut-il faire, il a droit à des questions du type : «X peut-il me dire de quelle longueur sont ses cheveux ?» me dire de quelle longueur sont ses cheveux ?» Supposons que X est en fait A, c’est à X de Supposons que X est en fait A, c’est à X de répondre. La règle du jeu, pour A, c’est de tenter répondre. La règle du jeu, pour A, c’est de tenter d’induire C en erreur. Par conséquent, il pourra d’induire C en erreur. Par conséquent, il pourra répondre, par exemple : «j’ai les cheveux coupés répondre, par exemple : «j’ai les cheveux coupés au carré, les plus longues mèches atteignent au carré, les plus longues mèches atteignent environ vingt-deux centimètres.»environ vingt-deux centimètres.»