Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)

Séminaire Biblio LISC - 3/04/02

Complexité, information

D’après JP Delahaye (1999)


Logico-empirisme

Systèmes formels logiques

Divers empirique

Structurent


Langage formel

Ensemble de signes axiomes règles d’inférence qui permettent

de dériver des formules à partir des axiomes


Machine de Turing

1 1 11 0 0

Nombre d’états fini

Règles de transition de type : (étati, clu, étatf, cécrit, dpl)

On appelle M(n) le résultat en écriture


Thèse de Church-Turing

Toute fonction définissable par un algorithme est définissable par une machine de Turing

Equivalence avec les fonction récursives partielles ou les fonctions lambda-définissables.


0

Calculateur1 1 11 0 0Programme

11 1 100Travail

01 1 00Résultats

Uniquement lecture vers la droite

Uniquement écriture vers la droite


Calculateur universel

Il existe des calculateurs universels Ci tels que pour tout calculateur Ck, pour tout programme réduit pr de Ck, il existe pr’ un programme réduit de Ci tel que pour toute donnée s :Ci(pr’,s)=Ck(pr,s) etlongueur(pr’) <longueur(pr)+simul(Ck)


Complexité de Kolmogorov

Soit une chaine de caractères (binaires) s finie

K(s) est définie comme la taille du plus petit programme tel que, pour Cu calculateur universel :

Cu(pr,)=s


Complexité de Chaitin et Levin

Idem complexité de Kolmogorov, mais programmes auto-délimités

Permet de définir une probabilité de tirage au hasard d’un programme et de faire un lien avec l’entropie


Théorie de l’information de Shannon

La quantité d’information correspond à la longueur moyenne des programmes minimaux permettant de de reconstituer des chaines s de caractères ci dont les probabilités d’apparition sont pi

valeur : longueur(s)(-pilogpi)


Chaînes de caractères infinies

Chaine binaire infinie s Partie A de N :

Si sn=1 alors nA, si sn=0 alors nA

Ensemble de formules d’un système formel : on numérote les formules dans l’ordre lexicographique.


Cinq classes d’ensembles

Récursifs

Récursivement énumérables

Approximables Inapproximables

Incompressibles


Récursif Il existe une machine de Turing M telle

que pour tout entier n :M(n)=1 si nA et M(n)=0 si nA

Il existe un système formel correct et complet pour les énoncés de la forme nA et de la forme nA

Exemples : l’ensemble des entiers pairs l’ensemble des nombres premiers


Récursivement énumérable

Il existe une machine de Turing telle que M(n)=1 pour tout nA(mais ne s’arrête pas forcément pour nA)

Il existe un système formel correct et complet pour les énoncés de la forme nA

Exemple L’ensemble E tel que Mi(i) existe


E est récursivement énumérable

Soit M la machine qui, à partir de i : Reconstitue la machine Mi, en utilisant les

règles de numérotation (cette opération est récursive et se termine)

Fait tourner Mi sur i et inscrit 1 comme résulat après l’arrêt

M est telle que M(i)=1 pour tout i E


E n’est pas récursif (Turing 1936)

Soit M la machine qui donne M(i) =1 si Mi(i) s’arrête, M(i) = 0 si Mi(i) ne s’arrête pas.

alors on peut en déduire M’ telle que M’(i) n’existe pas si Mi(i) existe, et M’(i) = 0 si Mi(i) n’existe pas.

Posons M’=Mk, alors on a :Mk(k) existe => Mk(k) n’existe pas


Ensemble approximable

A est approximable si et seulement si A est fini ou contient un ensemble infini récursivement énumérable

Exemple : L’ensemble des formules vraies pour

l’arithmétique est approximable, mais pas récursivement énumérable


Arithmétique

Formules du calcul des prédicats du premier ordre utilisant ‘=‘, ‘0’, ‘s’, ‘+’ , ‘.’

On peut numéroter les formules de l’arithmétique, par exemple par taille croissante et par ordre lexicographique

Soit Arith l’ensemble des formules vraies de l’arithmétique

Arith est approximable car il contient l’ensemble des formules vraies m+n=p


Arith est non récursivement énumérable (Gödel 1931)

si c’était possible alors il existerait une machine de Turing capable de prédire si Mi(i) s’arrête (car ce sont des formules de l’arithmétique), ce qui est impossible


Ensemble inapproximable

L’ensemble des formules de l’arithmétique vraies de la forme “la suite s est de complexité n”

Cad : Tout système formel correct pour les énoncés de la forme “la suite s est complexité n” n’en produit qu’un nombre fini


Ensemble incompréssible

A est incompréssible si et seulement si : il existe une constante c telle que tout système formel S correct pour les énoncés de la forme “n est dans A” et de la forme “n n’est pas dans A” en produit au plus H(S)+c


Exemple d’ensemble incompressible

La partie de N associée au nombre réel :

=nA 2-H(n)

où A est récursivement énumérable infini est un ensemble incompressible

Un système formel ne peut donner un nombre de digits du début de qu’égal à sa propre complexité (à une constante près)


Profondeur logique de Bennett

Définition : Soit s une chaine binaire finie, P(s) est le lemps de calcul du programme minimal de s

Intérêt : donne une idée de la complexité organisée. La profondeur diminue avec l’aléatoire, alors que la complexité de Kolmogorov augmente


Problème de décision polynomial

Soit A un ensemble récursif, A est dans P s’il existe M une machine prédisant l’appartenance ou la non-appartenance de n à A, avec un temps de calcul majoré par une fonction polynomiale de la taille de n.


Problème NP

Un ensemble A est dans NP ssi il existe un ensemble B et une machine M telle que : Pour tout n tel que nA, il existe m

B, de taille polynomiale avec n, tel que M(n,m)=1 en temps polynomial

Pour tout nA, pour tout m N, M(n,m)=0 (en temps polynomial)


Problème NP complet

Un problème A de décision est dit NP complet s’il est NP, et que tout problème NP peut être transformé en A en temps polynomial.

Exemple de problème NP complet : la satisfiabilité des conjonctions de disjonctions (CNF)


Problème NP difficile

Un problème (pas forcément NP) tel que s’il était résolu, alors il permettrait de résoudre en temps polynomial un problème NP complet.


Conclusion

Importance de la machine de Turing universelle qui donne du sens aux complexités de Kolmogorov et Bennett

Pas de sens unique pour complexité ou information

Lien avec la physique (entropie) la biologie et la cognition à manipuler avec beaucoup de prudence

Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)

Documents

Transcript of Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)