L’intelligence artificielle aujourd’hui

Machine learning et réseaux de neurones

THIERRY TRANCHINA

1. Petite histoire de l’IA2. Pourquoi maintenant ?3. Réseau de neurones artificiels4. Machine learning5. L’IA au quotidien6. Les avancées technologiques7. Comment mettre en oeuvre cette technologie ?

Petite histoire de l’IA

1956conférence de Dartmouth

c’est l’acte fondateur du domaine de

l’intelligence artificielle

Marvin Lee MINSKYDocteur en science cognitive1927 - 2016

co-fondateur du MITfondateur de la discipline IAconseiller sur 2001: L’odyssée de l’espace

John Mc CARTHYInformaticien

1927 - 2011

fondateur de la discipline IAà l’origine du nom

développeur du langage LISP

“Every aspect of learningor any other feature of intelligence can be so precisely described that a machine can be made to simulate it”

“Chaque aspect de l'apprentissage ou toute autre caractéristique de l'intelligence peut être si précisément décrit qu'une machine peut être conçue pour le simuler”

C’est le moment-clé où l'IA a trouvéson nom, sa mission,

ses premières réussiteset ses acteurs principaux.

SCIENCE FICTION

“Dans dix ans, un ordinateur sera le champion du monde des échecs”

Henri A. Simon, informaticienAllen Newell, chercheur1958

Garry Kasparov perd contre Deep Blue (IBM)1997

29 ans!

“Dans dix ans, un ordinateur découvrira et prouvera un nouveau théorème mathématique important”

Henri A. Simon, informaticienAllen Newell, chercheur1958

“Dans trois à huit ans, nous aurons une machine avec l'intelligence générale d'un être humain moyen”

Marvin Minsky1970

??

deux approches se confrontent

L’approche logiciste ou symbolique

création de la penséemachine de Turing

Marvin Minsky * John McCarthy * Allen Newell * Herbert A. Simon

Alan M. TURINGMathématicien et cryptologue1912 - 1954

Déchiffre le code Enigmainventeur de la machine de Turinget du test de Turing

Computing machinery and intelligence

Alan M. Turing - 1950

“un ordinateur digital peut-il tenir la place d’un être humain dans le jeu

de l’imitation ?”

Blade RunnerRidley Scott1982

Test de Voight-KampffPhilip K. Dick “Do Androids Dream of Electric Sheep ?”

CAPTCHACompletely Automated Public Turing test to tell Computers

and Humans Apart

L’approche neuronale

imitation des processus biologiques cérébrauxbiomimétisme

Frank Rosenblatt * Geoffrey Hinton * Paul Werbos

Frank RosenblattPsychologue & informaticien1928 - 1971

fondateur du “courant neuronal”créateur du Perceptron

Le perceptron de Rosenblatt - 1957

PerceptronsMarvin Minsky, Seymour Papert - 1969

Financement de l’ARPA(Agence pour les projets de recherche avancée)

* M.I.TMinsky & McCarthy$ 3 millions / an

* Carnegie-MellonNewel & Simon$ 3 millions / an

* Stanford IAMcCarthy$ 3 millions / an

* Université d’EdimbourgDonald Michie

50 60 70 80 90 00 10

1974 - 1980 1987 - 1993

Investissements dans le domaine de l’IA

1956

50 60 70 80 90 00 10

1974 - 1980 1987 - 1993

Investissements dans le domaine de l’IA

*1956

Premier hiver de l’IA (1974 - 1980)Les immenses attentes suscitées ne débouchent que sur ces résultats très limités

50 60 70 80 90 00 10

1974 - 1980 1987 - 1993

Investissements dans le domaine de l’IA

*

1956

Les systèmes expertsMontrent des résultats intéressants

50 60 70 80 90 00 10

1974 - 1980 1987 - 1993

Investissements dans le domaine de l’IA

*1956

Second hiver de l’IA (1987 - 1993)La limitation du hardware limite les progressions possibles

50 60 70 80 90 00 10

1974 - 1980 1987 - 1993

Investissements dans le domaine de l’IA

*1956

Internet!

50 60 70 80 90 00 10

1974 - 1980 1987 - 1993

Investissements dans le domaine de l’IA

*1956

Révolution GPULes puces graphiques combinées aux réseaux de neurones permettent une progression majeure

et depuis 2011 ?

140sociétés travaillant dans le domaine de l’intelligence artificielle ont été

rachetées depuis 2011

40pour l’année 2016 (28.5%)

$ 600 millionsDemis Hassabis

Pourquoi maintenant ?

3 facteurs sont réunis

1 - Les puces graphiques ont aujourd’hui l’architecture et la puissance requise

x100

2 - Les technologies d’apprentissage sont matures

3 - Les entreprises ont les données pour entraîner les algorithmes de machine learning

BIG DATA

Artificial Neural NetworkLes réseaux de neurones artificiels

biomimétisme

Représentation d’un neurone

Représentation d’un neurone

Représentation d’un neurone

Représentation d’un neurone

Structure d’un neurone

Perceptron de Rosenblatt

fonction d’activation

OUTPUT (0/1)

p

p

p

p

p

i

i

i

i

i

>+

Mark 1 Perceptron1957

IBM 704

classification binaire

c’est un chien ou un chat ?

TAILLE DOMESTIQUE

5

4

3

1

2

4

1

5

2

2

commençons l'entraînementdu perceptron

TAILLE

DOMESTIQUE CHIEN ?

Perceptron

TAILLE

DOMESTIQUE CHIEN ?

l'entraînement vise à déterminer ces données

TAILLE

DOMESTIQUE

5

4

?

CHIEN ? OUI

>10??

1

l'entraînement vise à déterminer ces données

TAILLE

DOMESTIQUE

5

4

1.2

CHIEN ? OUI

10.8 1>101.2

TAILLE

DOMESTIQUE

2

2

1.2

CHIEN ? NON

4.8 0>101.2

5

TAILLE

DOMESTIQUE

5

10

10

(2,2)

(5,4)

8,4

8,4

TAILLE

DOMESTIQUE

4

1 CHIEN ? OUI

1>101.2

1.2

5.4

TAILLE

DOMESTIQUE

4

1 CHIEN ? OUI

1>102.3

1.2

ajustement des poids : la taille est plus importante

10.4

5

TAILLE

DOMESTIQUE

5

10

108,4

4.4

(2,2)

(5,4)

5

TAILLE

DOMESTIQUE

5

10

108,4

4.4

(2,2)

(5,4)

TAILLE

DOMESTIQUE CHIEN ?

>102.3

1.2

Perceptron final(entraîné à répondre à la question)

évolutions

Perceptron multicouches (MLP)

TAILLE

DOMESTIQUE CHIEN ?

Ces données peuvent être également le fruit du training

Fonction d’activation

bias

Le réseau de neurones

INPUTLAYER

OUTPUTLAYER

HIDDENLAYER

INPUTLAYER

OUTPUTLAYER

HIDDENLAYER

7

1.5

1.8

0.2

0.5

2.1

0.1

Feedforward

INPUTLAYER

OUTPUTLAYER

HIDDENLAYERS

INPUTLAYER

OUTPUTLAYER

HIDDENLAYERS

Deep network

On considère qu’un réseau de neurone est profond (deep) quand il possède plus de 3 couches de neurones cachés

Machine learningl’apprentissage automatique

“Donner la possibilité à un ordinateur d’apprendre une expertise sans qu’on est explicitement programmé cette expertise”

Arthur Samuel, informaticien1959

Les algorithmes utilisés permettent d'adapter leurs analyses et leurs comportements en se fondant sur l'apprentissage à partir d’une grande quantité de données

il existe 3 types d’apprentissage

L’apprentissage supervisésupervised learning

TAILLE DOMESTIQUE

5

4

3

1

2

4

1

5

2

2

données Réseau de neurones

apprentissage par backpropagation

Domaines

classificationreconnaissance d’image

imagerie médicaleanalyse du langage naturel

reconnaissance vocalereconnaissance de caractères

recommandation...

How we teach computers to understand picturesFei Fei Li - Stanford AI14:00

L’apprentissage par renforcementreinforcement learning

L’algorithmes va apprendre et évoluer par tâtonnement en ayant comme unique but l’amélioration des critères d’évaluation.

Deepmind again Atari gamesDemis Hassabis - Google Deepmind 3:00

L’apprentissage non-superviséunsupervised learning

AlphaGoDemis Hassabis - Google Deepmind 11:17

L’IA au quotidien

Assistants vocaux

Assistants vocaux

Assistants vocaux

reconnaissance vocaleanalyse textuelle

text to speech

Les avancées technologiques

3 exemples

Identification de toute la numéro des rues en France

données : Street View House Numbers (SVHN)200 000 numéro de Google street viewStanford

apprentissage : 6 jourstranscription : 1 heure

réussite : 98%

Traduction automatique par lecture sur les lèvresDeepmind et l’Université d’Oxford

données : emissions TV BBC Breakfast, Question Time et Newsnight5000 heures de vidéo118 000 sentences

apprentissage : 01.2010 - 12.2015réussite : 46.8%humains : 12.4%

Réduction de 40% de la facture énergétique pour le refroidissement des data centers

Identification des cancers du sein à partir d’imagerie médicaleBIDMC

Moteur : GoggLeNet (27 layers)réussite : 92%IA + médecin : 99.5%

Identification des cancers du sein à partir d’imagerie médicale

Voitures autonomes

Voitures autonomes

Voitures autonomes

Comment une voiture autonome perçoit son environnement ?Chris Urmson - Google

6:00

Comment mettre en oeuvre cette technologie ?

Des services prêts à l’emploi

Machine learning serviceVision API

Speech APINatural Language API

Translate API

Computer Vision APIContent Moderator

Emotion APIFace APIVideo API

Bing Speech APICustom Recognition Intelligent Service

Speaker Recognition APIBing Spell Check API

Linguistic Analysis API

Cognitive Services

Text Analytics APITranslator API

Web Language Model APIAcademic Knowledge API

Entity Linking Intelligence ServiceKnowledge Exploration Service

Recommendations API

AlchemyLanguageLanguage Translator

ConversationDialog

Natural Language ClassifierPersonality InsightsRetrieve and Rank

Visual RecognitionTone AnalyzerSpeech to TextText to Speech

Des librairies open source

MerciThierry TranchinaL’Ecole Multimédia - 2016

https://twitter.com/rdadressources : https://goo.gl/uGdv7D

https://www.youtube.com/watch?v=BsSmBPmPeYQ&index=18&list=PLKnl-yzEqBXXyhf-QucY7ZzrEjjjOm3Rt

https://www.youtube.com/watch?v=WHmp26bh0tI

Arthur SAMUELInformaticien1901 - 1990

pionnier du machine learningprogramme du jeu de dameprojet TeX