Note relative à l’Intelligence artificielle au regard de ...

Ministère du travail

Note relative à l’Intelligence artificielle au regard de la directive « machines »

Cette étude a été menée dans le cadre d’un groupe de travail mandaté par la CS3 du COCT, avec la

participation des représentants désignés par les partenaires sociaux, des représentants des entreprises

de la métallurgie et de l’industrie mécanique et l’appui techniques d’experts sur le sujet (Institut

national de recherche et de sécurité INRS, laboratoire national d’essai LNE, l’association robAgri qui

travaille en partenariat avec l’institut de recherche et technique agricole (IRSTEA) dans le domaine de

la robotique, Eurogip qui est en charge de la coordination des organismes notifiés et la COPREC qui

représente les organismes d’inspection dans le domaine des machines). La liste de participants est

disponible en annexe II.

Introduction

Le ministère du travail en relation avec le ministère de l’agriculture a lancé un groupe de travail relatif

au suivi de la révision de la directive 2006/42/CE relative à la conception des machines. Cette étude

tente de répondre à une question, pointée comme prioritaire par la commission européenne (DG

croissance), dans le cadre de son projet de révision, qui porte sur l’évaluation de l’efficacité de la

directive machines à encadrer les risques liés à l’utilisation des techniques de l’intelligence artificielle

utilisées dans les machines.

En effet, bien que ces technologies émergentes soient encore peu présentes dans les entreprises, elles

font l’objet de nombreuses discussions au sein des instances nationales et européennes en charge de la

sécurité des machines. L’enjeu est important, car il s’agit d’apprécier les impacts de ces techniques de

l’intelligence artificielles sur la sécurité des utilisateurs, lorsqu’elles sont utilisées dans un

environnement de travail.

Le groupe de travail a travaillé à partir de cas pratiques proposés par l’association RobAgri et l’INRS.

Ces exemples sont présentés succinctement dans le texte sous forme d’encadrés.

A la suite d’un exposé introductif sur la robotique agricole présenté par l'Institut national de recherche

en sciences et technologies pour l'environnement et l'agriculture (Irstea) et le laboratoire national de

métrologie et d’essais (LNE), tous deux membres de l’association de développement de la robotique

agricole robAgri, deux industriels / équipementiers ont été invités à présenter leurs expériences

concrètes de mises en œuvre des techniques de l’IA dans leurs applications.

Ces différents exemples d’applications permettent d’illustrer et d’étayer la présente étude qui porte à la

fois sur des questions juridiques et techniques liées à l’utilisation de l’IA. Ils ont également permis de

conduire une analyse des principaux risques. Les risques répertoriés pour chaque exemple

d’applications sont présentés de manière synthétique sous la forme d’un tableau.

Enfin, ce travail permet de vérifier la solidité de l’annexe I de la directive machines pour encadrer de

manière efficace ces technologies.

Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 sur 18

1 Recherche d’une définition

Informations liminaires concernant la méthodologie adoptée dans la présente étude.

Cette étude cherche à définir et à caractériser l’intelligence artificielle (IA), implémentée dans les

machines, afin de mettre au jour d’éventuelles questions de prévention qui ne seraient pas traitées ou

traitées de manière imparfaite dans l’annexe I de la directive 2006-42-CE relative à la conception des

machines.

Pour être utile à notre démarche, la définition d’IA doit être précise et exempte de tout

anthropomorphisme dans le choix des termes utilisés. L’IA est avant tout une technologie basée sur

des algorithmes dont le fonctionnement est limité et dépourvu de toute intention et pensée réflexive.

Ses capacités partielles ne peuvent pas être assimilées à la complexité et à la richesse des capacités

cognitives et sensibles humaines. Les performances des machines apprenantes, basées sur des

systèmes de supervision ou des systèmes de récompense en boucle fermée, permettant à l’algorithme

de s’améliorer, peuvent parfois être meilleures que celles des humains. Pour autant, ces machines sont

entièrement limitées à la tâche particulière, pour laquelle elles ont été conçues.

La définition d’IA retenue dans le champ de notre réflexion opère une distinction entre cette

technologie basée sur l’apprentissage et d’autres algorithmes déterministes, comme ceux issus de

règles expertes.

La définition d’IA n’a pas vocation à priori à figurer dans la réglementation. En effet, celle-ci définit

des objectifs généraux de sécurité s’appliquant aux machines qui ne doivent pas être confondus avec

ceux de la normalisation :

- la réglementation fixe des règles de prévention en déclinant des exigences de sécurité applicables

à l’ensemble des machines, de façon à assurer un niveau élevé et homogène de sécurité aux

produits mis sur le marché ;

- les normes sont des outils techniques utilisables par les fabricants. Elles donnent des

recommandations techniques afin de faciliter la mise en œuvre des exigences réglementaires. Elles

peuvent viser des équipements particuliers, des parties de machine, des dispositifs techniques ou

des technologies utilisées dans la conception des machines.

Nous mettrons donc l’accent sur « l’Apprentissage machine » qui repose sur certaines capacités de

« décision » et de « prédiction » basées en particulier sur la reconnaissance, la « mémorisation » et

l’optimisation.

Dans le cadre des machines, l’intelligence artificielle est définie comme un système basé sur

l’apprentissage automatique (supervisé ou non) capable de « percevoir », « mémoriser et

s’ajuster », « traiter et agir ». Aujourd’hui, ces capacités s’appuient sur l’apprentissage

automatique, quand, dans les années 1980, elles étaient principalement issues des systèmes

experts conçus à partir de règles explicites


2 « L‘apprentissage automatique « machine Learning »

Dans le cas des machines, l’apprentissage automatique permet au système de commande d’apprendre

par l’exemple. Il s’agit de lui donner des indications particulières, comme les caractéristiques d’une

image, afin qu’il ajuste ses paramètres pour répondre à une performance souhaitée.

2.1 La fiabilité des données

Un modèle d’apprentissage automatique est créé à l’aide de données permettant au système

d’apprendre par lui-même ; il est donc important de s’assurer que les données soient appropriées au

résultat recherché et à l’environnement de la machine. Cela pose la question de leur source, de leur

format et de leur utilisation sans risque.

Les données peuvent être de deux natures :

- Provenant d’un environnement fermé, connu et maîtrisé par le fabricant de la machine,

- Provenant de sources extérieures non maîtrisées par le fabricant de la machine.

Dans le cas d’utilisation de données provenant de sources extérieures, il devrait être attendu par le

fabricant qu’il respecte les exigences de la directive 96-9-CE du 11 mars 1996 concernant la

protection juridique des bases de données et le règlement (UE) 2016-679 du 27 avril 2016 relatif à la

protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la

libre circulation de ces données. L’opérateur devrait en être informé a minima dans le manuel

d’instruction.

Dans le cas d’utilisation de données provenant d’un environnement fermé, connu et maîtrisé par le

fabricant de la machine, il doit préciser les conditions d’usage de ces données dans le manuel

d’instructions.


2.2 L’explicabilité

L’explicabilité des algorithmes d’IA est une problématique jugée cruciale pour la vérification et la

validation de ces algorithmes. En effet, un système capable de fournir certaines informations sur son

domaine de fonctionnement ou sur l’étendue des décisions qu’il peut prendre permettrait de

s’affranchir de la problématique dite de « boîte noire », dans le contexte duquel l’inspection ne peut

être opérée qu’en aveugle. A l’heure actuelle, des solutions techniques existent pour permettre à un

système d’expliciter certains aspects de son fonctionnement. Il n’existe cependant aucun référentiel

précisant les types d’informations nécessaires à l’inspection, dans le cadre de la sécurité des machines

dirigé par l’IA.

L’inspection des algorithmes concerne deux cas :

- Tout d’abord, lorsque l’IA est implémentée dans le cadre d’une fonctionnalité motrice de la

machine (déplacer un bras articulé, sélectionner une trajectoire, etc.). Dans ce cas, « l’action de

l’IA » peut entraîner une situation dangereuse qu’il faut évaluer, supprimer ou réduire ;

- D’autre part, lorsque l’IA est implémentée dans un composant de sécurité, afin d’assurer tout ou

partie des fonctions de sécurité (par exemple, dans le cas d’un capteur intelligent) il est nécessaire

d’être en mesure d’évaluer l’algorithme afin de certifier ce composant conforme aux exigences de

sécurité.

La maîtrise des risques liés à l’IA présente à l’heure actuelle deux fortes limitations :

- L’implémentation de dispositifs permettant de limiter l’action de l’IA en cas de défaillance : qu’il

s’agisse de garde-fous techniques (bloquer l’IA si elle sélectionne certains types de sorties) ou de

sécurité par conception (l’IA ne peut en aucun cas sélectionner des sorties « à risque »). Si de

nombreuses solutions ont déjà émergé, il s’agit toujours de problématiques de recherche non

entièrement résolues.

- L’évaluation de la performance fonctionnelle des algorithmes (hors performance de sécurité) :

estimer le niveau de performance d’un algorithme d’IA peut être réalisé par essais (soumettre des

données représentatives de l’environnement de fonctionnement), ou par méthode formelle (vérifier

les comportements d’un algorithme, notamment par simulation). Il n’existe à l’heure actuelle

aucune méthode et seuils de référence pour l’estimation de la performance de l’IA, et la

problématique de la calculabilité d’un algorithme d’IA nécessite encore des avancées

scientifiques.

Pour une utilisation opérationnelle sécurisée de la machine utilisant l’IA, dans un environnement de

travail, l’obligation de prévention pour le fabricant repose sur la maîtrise des risques liés à l’ensemble

des fonctions de la machine, y compris les fonctions commandées par l’IA, en prévoyant des moyens

de prévention classiques liés aux systèmes de commandes (butées électroniques, capteurs…) et en

s’assurant que la fiabilité requise de ces lois de commande soit bien atteinte (par exemple en suivant

les prescriptions de la norme harmonisée NF EN ISO 13849-1 relative à la sécurité des commandes).

3 Complexité de la chaîne de valeurs et responsabilité juridique des opérateurs

économiques

Plusieurs cas de figure doivent être distingués dans la mise en œuvre de l’IA pour une machine :

l’IA est intégrée à la machine dès la conception :

- « l’apprentissage automatique » est réalisé et achevé lors de la mise sur le

marché de la machine ;


- « une partie de « l’apprentissage automatique » est réalisée dans l’entreprise.

Dans ce cas la machine apprenante mise en service dans l’entreprise doit être apte à fonctionner en

sécurité et conformément à son application définie. Selon les commentaires du guide d’application

de la directive machines (voir commentaire §35 du guide d’application de la directive machines

révisé version 2.1 juillet 2017), l’application définie doit être comprise comme le fonctionnement

de base de de la machine, sans tenir compte de l’usage déterminé par le fabricant. Par exemple, il

peut s’agir d’une fonction de tri sans aucune définition des caractéristiques du tri.

- « L’apprentissage automatique » est réalisé tout au long de la vie de la

machine.

l’IA est ajoutée à une machine utilisée dans l’entreprise sur demande l’employeur : il s’agit

d’une modification de la machine qui est traitée par le fabricant de l’IA dans une relation de

prestation avec l’employeur ; elle ne modifie pas le statut de la machine en service.

3.1 Qualification juridique :

Ces différentes modalités de mise en œuvre de l’IA posent, d’une part, la question de la responsabilité

juridique des opérateurs économiques dans la chaîne de valeurs et, d’autre part, la question du statut

juridique des produits mis sur le marché et mise en service dans l’entreprise.

Plusieurs notions juridiques présentes dans la directive 2006-42-CE relative aux machines sont

mobilisables pour répondre à ces questions.

a) Le principe de la « sécurité intégrée »

Selon ce premier principe « la machine doit être conçue et construite pour être apte à assurer sa

fonction et pour qu’on puisse la faire fonctionner, la régler et l’entretenir sans exposer quiconque à

un risque lorsque ces opérations sont effectuées dans les conditions prévues par le fabricant, mais tout

en tenant également compte de tout mauvais usage raisonnablement prévisible.

Les mesures prises doivent avoir pour objectif de supprimer tout risque durant la durée d’existence

prévisible de la machine, y compris durant les phases de transport, de montage, de démontage, de

mise hors service ».

b) La notion d’usage normal et de mauvais usage prévisible

Conformément à cette notion, « la machine doit être conçue et construite de manière à éviter qu’elle

soit utilisée de façon anormale. La notice d’instructions doit attirer l’attention de l’utilisateur sur les

contre-indications d’emploi de la machine qui, d’après l’expérience, pourraient se présenter ».

Selon ce principe, le fabricant doit par conséquent, d’une part, définir l’usage normal de la machine en

donnant toute information utile dans la notice d’instructions (usage normal et contre-indications) et,

d’autre part, prendre en considération tout mauvais usage de la machine susceptible de découler d’un

comportement humain inapproprié. La notion d’usage normal permet au fabricant de décrire les

différentes phases d’utilisation de la machine, notamment la phase d’apprentissage, surtout si celle-ci

se déroule au moment de l’installation, voire en phase de production.

c) La notion de mise en service

La mise sur le marché s’entend comme la mise à disposition d’une machine en vue de sa distribution

ou de son utilisation.


La notion de mise service est définie comme la première utilisation dans l’union européenne. La

machine peut donc être mise sur le marché avant sa mise en service, notamment lorsqu’elle est vendue

à un distributeur. Ce dernier peut modifier la machine à la demande d’un futur utilisateur avant sa mise

en service. Si les modifications étaient prévues ou convenues par le fabricant et couvertes par

l’évaluation des risques, la déclaration CE du fabricant reste valable (Cf. guide d’interprétation de la

directive machines révisé version 2.1 juillet 2017 chapitre 82).

Dans le cas de la mise sur le marché d’une « machine apprenante », la notion de mise en service

permet de prendre en compte le temps nécessaire pour que la machine acquière pleinement les

capacités d’exécuter les tâches pour lesquelles elle a été conçue et construite, conformément à son

application définie. (Dans la pratique, le vendeur et l’utilisateur peuvent prévoir contractuellement une

période de réception permettant à la machine de devenir pleinement opérationnelle).

La phase d’apprentissage de la machine doit donc être considérée comme une phase de mise au point

de la machine lors de sa mise en service. Cette phase engage la responsabilité du fabricant au regard

des règles prévues à l’article 5 de la directive machines et qui sont applicables avant la mise sur le

marché et la mise en service d’une machine.

Selon le premier principe d’intégration de la sécurité, la mise sur le marché d’une machine est donc

conditionnée par son aptitude à assurer sa fonction sans occasionner de risque pour l’utilisateur. Plus

que de réelles performances, il s’agit ici d’une capacité de la machine à fonctionner correctement sans

entraîner de situations dangereuses ou induire un mauvais usage (Juridiquement ce fonctionnement

que l’on peut qualifier de basique de la machine renvoie à la notion d’application définie telle que

précisée dans le commentaire 35 du guide d’interprétation de la directive machines révisé version 2.1

juillet 2017).

S’agissant d’une « machine apprenante » :

Le fabricant s’engage donc à mettre sur le marché ou en service une machine dont le fonctionnement

ne présente pas de risque, y compris en phase d’apprentissage, cette dernière devant être considérée

comme une phase à part entière de fonctionnement de la machine.

Il s’agit d’une obligation de conception :

a) la machine est apte à accomplir pleinement sa fonction sans générer de risque dès sa mise sur

le marché (l’apprentissage est finalisé) ;

b) la machine n’est pas apte à accomplir sa fonction sans une phase d’apprentissage chez

l’utilisateur (la conception n’est pas finalisée). Cette phase de mise au point de la machine

peut être contractualisée dans la relation commerciale entre le fabricant et l’utilisateur ;

c) la machine est apte à accomplir sa fonction mais cette fonction comprend une adaptation et/

ou optimisation en continu.

Dans les deux premiers cas la responsabilité du fabricant est engagée au regard des règles prévues à

l’article 5 de la directive machines applicables à la mise sur le marché ou à la mise en service d’une

machine.

Dans le troisième cas, la responsabilité du fabricant est engagée en tant que concepteur du cadre

permettant l’auto évolution dans le temps de la fonction de la machine.


Conformément à la notion de mauvais usage prévisible, le risque causé par une mauvaise utilisation

prévisible est évaluée par le fabricant. Dans le cas où elle ne peut pas être maitrisée dès la conception,

l’auto-évolution de la machine durant l’utilisation doit être évitée.

3.2 Les cas de modification

- Cas de figure où une machine en service est modifiée par l’ajout d’IA ; dans cette situation

l’utilisateur est responsable de la modification opérée et élabore un cahier des charges avec le

prestataire de l’opération comme pour n’importe quelle modification ;

- Hypothèse dans laquelle l’utilisateur introduirait de nouvelles données sans concertation avec le

fabricant d’origine, ou modifierait l’algorithme ou l’architecture de l’IA pour son propre compte.

La Commission européenne pointe dans son document la question de l’utilisation d’un logiciel

autonome non prévu par le fabricant qui serait téléchargé après la mise sur le marché de la

machine (il s’agit d’une modification de la machine qui engage la responsabilité de l’utilisateur.

Ce cas ne doit pas être confondu avec un mauvais usage prévisible).

4 Articulation de la réglementation et des normes

La question de la performance de la réglementation concernant l’utilisation de l’IA dans les machines

doit faire l’objet d’une analyse globale, en s’appuyant sur une démarche d’évaluation des risques.

Il est sans doute utile pour répondre à cette question de rappeler également quel est le statut juridique

des normes par rapport à la réglementation. Selon le décret n°2009-697 du 1er juin 2009 relatif à la

normalisation, la norme est un document de référence établi par les parties intéressées de manière

consensuelle. Concernant les machines, ces documents qui s’adressent aux fabricants, recommandent

des solutions techniques afin notamment de faciliter et fiabiliser leur process de fabrication et

d’assurer la sécurité des produits.

Selon l’esprit des directives « nouvelle approche », dont la directive 2006 -42-CE relative aux

machines, les normes harmonisées adoptées dans le cadre d’un mandat donné par la Commission

européenne et publiées au JOUE, après validation par cette dernière, ont un rôle complémentaire avec

la réglementation mais ne se substituent pas à celle-ci : les spécifications normatives doivent veiller au

respect des exigences essentielles fixées par dans l’annexe I de la directive. D’application volontaire,

les normes harmonisées ne s’imposent pas aux fabricants pour attester de la conformité d’une machine

aux exigences essentielles de santé et de sécurité de l’annexe I. Selon l’alinéa 1 de l’article 7 de la

directive machines et le principe d’auto certification, les machines qui disposent du marquage « CE »

accompagné de la déclaration CE de conformité satisfont aux dispositions réglementaires (il s’agit

d’une présomption légale purement formelle).

Lorsque la norme est lacunaire ou en deçà de l’état de l’art, les fabricants ont la faculté de choisir des

moyens et des solutions technologies plus adaptés pour atteindre les objectifs de prévention énoncés

par l’annexe I de la directive machines.

Dans le cadre de notre analyse, il convient donc de vérifier que les exigences essentielles de santé et

de sécurité de l’annexe I de la directive machines, formant un corpus de règles (obligatoires),

permettent de couvrir l’ensemble des risques liés au fonctionnement de la machine utilisant l’IA,

indépendamment de l’utilisation des spécifications techniques issues des normes harmonisées qui ne

peuvent pas remplacer la réglementation. A l’inverse, les exigences essentielles de santé et de sécurité

(EESS) de l’annexe I de la directive doivent conserver leur caractère général et être formulées sous la

forme d’objectifs de sécurité.


Il convient par ailleurs de se demander quelles sont les modalités de supervision par le fabricant de la

phase d’apprentissage de la machine selon que celle-ci a lieu avant la mise en service ou après la mise

en service de la machine.

5 Analyse des risques

L’IA permet d’augmenter le degré d’automatisation d’une machine. Cependant, aujourd’hui, il ne

s’agit que d’une nouvelle étape dans l’automatisation, et en l’état, l’IA n’apporte aucun nouveau

phénomène dangereux.

Rappelons ici qu’un phénomène dangereux s’appuie sur une libération d’énergie (chaleur, électricité,

…) ou de substance (acide, gaz, …) mais pas sur une technologie de l’information.

5.1 IA et analyse des risques – la question de l’autonomie

Le degré d’autonomie accordé à la machine utilisant l’IA peut avoir un impact sur l’émergence de

situations à risques (perte de contrôle, mouvements erratiques, etc.) que le fabricant doit prendre en

compte lors de la conception.

L’autonomie peut être définie comme la capacité d’un système (perception - décision - action) à

décider de ses propres actions.

Aujourd’hui, la principale application de l’IA dans les machines est le traitement d’images ; ou plutôt

la classification de formes à partir d’images (plantes, objets ou situations). Ces classifications

permettent aux machines concernées d’avoir une perception plus fine et d’améliorer leur décision aux

fins de classement. Pour autant, le système n’accroit pas forcément l’autonomie d’action de la

machine. L’action reste basée sur un comportement déterministe réalisée par des programmes

conventionnels.

. Le système n’intervient pas sur la partie commande/ contrôle des mouvements de la machine.

5.2 IA et analyse des risques : la question de la prévisibilité

Cette question se pose notamment dans l’interface opérateur /machine.

Dans le cas d’un système dont l’action est dirigée par l’IA, l’opérateur aura plus de difficulté à

anticiper le fonctionnement de la machine et à interagir avec celle-ci. La possibilité de reprendre le

contrôle de la machine autonome à tout moment, notamment par l’actionnement aisé d’un arrêt

d’urgence est indispensable.

La machine doit également présenter une capacité d’adaptation à la présence de l’opérateur en auto-

modulant ses propres paramètres comme la vitesse, la mise à l’arrêt, changement de trajectoire

(robotique).

5.3 Relecture de l’annexe I de la directive machines selon quatre variables


- l’IA augmente les performances fonctionnelles de la machine sans effet sur le système de

contrôle/commande de la machine ;

- l’IA augmente l’autonomie de fonctionnement de la machine, comme la régulation de paramètres

de production ou d’une fonction de sécurité (vitesse de fonctionnement, cycles, mise en veille,

démarrage…) ;

- l’IA entraîne une autonomie de l’action (mobilité par exemple) ;

- l’IA utilisé comme composant de sécurité (fonction de détection).

Il convient de préciser que toutes les IA présentées sont encadrées par des dispositifs de protection et

des fonctions de sécurité. A aucun moment ces IA ne se substituent à ces éléments pour gérer la

sécurité. Elles agissent principalement sur des fonctionnalités de détection d’objets à des fins

d’optimisation de process ou de gain en autonomie (déplacement dans un environnement de nature

changeante). Les fonctionnalités liées à la sécurité ne font pas intervenir l’IA et sont gérées de façon

classique. A l’heure actuelle, il n’a pas été identifié de machine ayant une IA utilisée pour assurer la

sécurité.

Remarque : L’exemple d’application n°1 n’est pas retenue dans le cadre de ce travail d’évaluation car

il s’agit d’une cellule de détection non associée à d’autres fonctionnalités.


Exemple IA pour régulation de pulvérisation de pesticide (Exemple 2 de l’annexe I)

situation dangereuse défaillance IA

Impact défaillance IA

EESS associées

Mauvaise détection : détection erronée de la plante à traiter (plante saine détectée)

pulvérisation de produit sur plante saine (impact de rendement uniquement)

non applicable

Mauvaise détection : détection erronée de la plante à traiter (humain pris pour une plante)

pulvérisation de produit sur humain (impact sécurité risque chimique). -> Nécessite supervision humaine dans conduite de l'engin -> Nécessite un mode de fonctionnement spécial IA pour éviter tout déclenchement intempestif.

EESS 1.1.7 EESS 1.2.3 EESS 1.2.5

Déclenchement intempestif de la pulvérisation

pulvérisation de produit sur humain (impact sécurité risque chimique). -> Nécessite un mode de fonctionnement spécial IA pour éviter tout déclenchement intempestif

EESS 1.2.3 EESS 1.2.5

Déclenchement intempestif de la pulvérisation (pendant exploitation)

pulvérisation de produit sur plante non nécessaire (impact uniquement le rendement)

non applicable

Mauvaise détection : problème lié à l'apprentissage avant l'exploitation

pulvérisation de produit sur plante saine (impact de rendement uniquement) pulvérisation de produit sur humain (impact sécurité risque chimique).

Non applicable Apprentissage Pas d’EESS dédiée

Mauvaise détection : problème lié à l'apprentissage pendant l'exploitation

pulvérisation de produit sur plante saine (impact de rendement uniquement) pulvérisation de produit sur humain (impact sécurité risque chimique).

Non applicable Apprentissage Pas d’EESS dédiée


Exemple IA pour régulation de pulvérisation de pesticide (Exemple 2 de l’annexe I)



EESS associées

Mauvaise utilisation : vérification du fonctionnement de l'IA par l'opérateur (fonctionnement de la pulvérisation)

pulvérisation de produit sur humain (impact sécurité risque chimique). -> Nécessite supervision par système caméra de contrôle ou informations tableau de bord (nombre de plantes à traiter détectées) -> procédures de contrôle à fournir dans la notice d'instruction -> Nécessite de fournir les moyens de test (simulation, jeu de données de test, etc…) A RAJOUTER EN EESS

EESS 1.7.1.1 EESS 1.7.1.2 EESS 1.7.4 Test et vérifiation IA pas d’EESS dédiée

Exemple IA pour détection de corps étrangers (Exemple 3 de l’annexe I)



EESS associées

Mauvaise détection : détection erronée du corps étranger (détection intempestive)

alertes fournies à l'opérateur, mais aucun impact sur la commande de la machine qui n'est pas gérée par l'IA (impact rendement uniquement)

EESS 1.7.1.2

Mauvaise détection : détection erronée du corps étranger (non détection)

impact exploitation uniquement

Non applicable


Exemple IA pour machine de tri des déchets sur bande transporteuse (Exemple 4 de l’annexe I)


impact défaillance IA

EESS associées

Mauvaise détection : détection erronée du déchet (non détection)


non applicable

Erreur de coordonnées envoyées au bras de préhension par l'IA

Nécessite que la zone d'opération du robot soit encadrée par des fonctions de sécurité et paramètres de sécurité

EESS 1.4

Erreur de destination envoyée par l'IA


Non applicable

Maintenance : observation comportement de la machine dans la zone dangereuse (phase réglage, vérification de la détection des types de déchets)

test de l'IA sur la partie détection -> Nécessite d'avoir un mode de fonctionnement dédié -> Nécessite de fournir les informations de décision de l'IA via interface spécifique -> Nécessite de pouvoir effectuer les observations hors zone dangereuse -> Nécessite fournir procédure dans la notice d'instruction

EESS 1.2.3 EESS 1.2.5 EESS 1.7.4

Maintenance : observation comportement de la machine (réparation anomalie de fonctionnement, mauvaises coordonnées fournies, mauvaise destination fournie)

test de l'IA sur les communications avec les actionneurs -> Nécessite d'avoir un mode de fonctionnement dédié -> Nécessite de fournir les moyens de test (simulation, jeu de données de test, etc. ...) -> Nécessite fournir procédure dans la notice d'instruction

EESS 1.7.1.1 EESS 1.7.1.2 EESS 1.7.4 Test et vérifiation IA pas d’EESS dédiéeI


Apprentissage Pas d’EESS dédiée


Exemple IA pour chariot motorisé autonome (Exemple 5 de l’annexe I)


impact défaillance IA

EESS associées

Opérateur sur le trajet du chariot non pris en compte (pour le recalcule de la trajectoire)

Contact opérateur -> Nécessite des dispositifs de protection assurant les fonctions de détection de sécurité

EESS 1.4

Opérateur sur le trajet du chariot non reconnu par l'IA

Contact opérateur -> Nécessite des dispositifs de protection assurant les fonctions de détection de sécurité

EESS 1.4

Commande de déplacement manuel non pris en compte par l'IA

Contact opérateur / contact obstacle -> Nécessite des dispositifs de protection assurant les fonctions de détection de sécurité

EESS 1.4

Perte de stabilité de la charge suite problème de détection des obstacles

chute sur opérateur et écrasement risques dangereux liés aux chocs subis par la charge (explosion, écoulement de matière dangereuse, etc. …)

Changement de trajectoire non prévisible / prédictible par l'opérateur

risque de contact avec opérateur. Risque de stress opérateur (crainte ou acceptation du système pour l'humain) -> Nécessite des dispositifs de protection assurant les fonctions de détection de sécurité -> Nécessite indications visuelles sur la machine permettant d'identifier les mouvements de la machine

EESS 1.4 EESS 1.6


Apprentissage Pas d’EESS dédiée


Résultats de l’analyse

Pour chacun des exemples concrets présentés dans la présente note, une analyse de risque centrée sur

l’IA a été réalisée et synthétisée dans un tableau présenté ci-dessus. Dans le cadre et les limites de

cette étude et des exemples choisis, il est donc possible de conclure que la directive machines actuelle

est globalement adaptée pour encadrer les machines utilisant l’intelligence artificielle.


Annexe I Exemples d’applications

Exemple 1 : IA utilisée pour une application de diagnostic automatisé et d’aide à la décision

phytopharmaceutique dans le domaine agricole.

Les programmations classiques ont échoué dans ce domaine car elles étaient trop rigides pour intégrer

l’ensemble des caractéristiques biologiques de la plante, les variables climatiques, la luminosité etc…

L’apprentissage automatique au contraire, permet aujourd’hui, de traiter la complexité de ces données

et obtient des résultats de performance jugés satisfaisants par les professionnels de l’agriculture.

L’apprentissage est réalisé à l’aide de photographies de végétaux où sont identifiées en rouge les

plantes invasives. Ces données d’apprentissage sont préparées et corrigées par une équipe dédiée à ce

travail d’identification graphique.

La mise au point de l’algorithme d’apprentissage passe par une vérification et une validation des

performances du système, menée selon un protocole de tests défini et piloté par le concepteur de l’IA.

L’algorithme qui permet de passer de l’exemple (taches rouges sur une image) au résultat recherché

(détection d’un adventice dans un champ de culture) prend en compte de très nombreux paramètres. Il

est par conséquent difficile d’expliciter le processus de classement et de sélection opéré par

l’algorithme et de montrer comment la machine dotée de l’IA obtient ces résultats.

Exemple 2 : Opération de modification de la machine

Rampes de pulvérisation en service qui, sur la demande de l’utilisateur, sont équipées par un fabricant

d’IA d’un système de pilotage électronique de pulvérisation avec IA capable de détecter un adventice

et de réguler la pulvérisation des rampes (la pulvérisation s’arrête sur les zones du champ non

contaminées par des adventices).

Voir guide de modification des machines (https://travail-emploi.gouv.fr/demarches-ressources-

documentaires/documentation-et-publications-officielles/guides/article/guide-operations-de-

modification-des-machines).

Exemple 3 : IA évolutive en phase d’utilisation

Application d’aide à la gestion agroalimentaire dans une opération de tri pour la confection de sachets

de salade.

La machine de tri installée chez l’utilisateur est équipée d’un système d’IA permettant la détection de

corps étrangers. A la suite d’une détection la machine donne un signal sonore pour avertir l’opérateur

en charge d’effectuer le tri. Les défauts de détection constatés requièrent une action corrective de

l’opérateur sur le procédé de production, ce qui renseigne le système au fur et à mesure de la

production.

https://travail-emploi.gouv.fr/demarches-ressources-documentaires/documentation-et-publications-officielles/guides/article/guide-operations-de-modification-des-machines




Exemple 4 : machine de tri de déchets sur une bande transporteuse utilisant l’IA. Cas où l’IA

augmente les performances fonctionnelles de la machine en affinant la perception et l’identification

des déchets compactés.

La bande du convoyeur qui transporte les déchets est filmée par une caméra. Un système de traitement

de l’information utilisant l’IA identifie le type de déchet et fournit au robot les coordonnées de prise à

l’aide d’une ventouse et une information sur sa destination. Le programme qui agit sur la fonction

contrôle / commande de la machine n’augmente pas son autonomie au niveau de l’action (prise et

dépose).

La fonctionnalité proposée par MaxAI n’est pas réalisable sans « apprentissage automatique ». La

machine apprend à distinguer les déchets grâce aux entrainements répétés des utilisateurs. En effet, il

s’agit de déterminer, depuis une simple image, s’il s’agit de PET (recyclable), de PVC (non

recyclable). Les algorithmes conventionnels de vision utilisent des fonctions de traitement d’images

trop rigides, basées sur la détection de contour, couleur, dimension, hors, dans le cas de déchets

compactés, ces critères ne permettent pas de les trier.

Exemple 5 : chariot motorisé autonome.

Chariot capable de suivre un opérateur dans un entrepôt afin de transporter des charges. L’IA

augmente les performances fonctionnelles de la machine mobile par le calcul de chemins, basé sur des

éléments de perception à l’aide de capteurs intelligents et d’une mémorisation et actualisation des

éléments perçus. Cette « capacité de décision » donne un degré d’autonomie à l’action de déplacement

de la machine. Cette action de déplacement reste toutefois contrôlable par l’opérateur à l’aide d’un

pupitre de commandes sur lequel celui-ci peut intervenir ; mais la machine peut se déplacer sans ordre

préalable de l’opérateur ? Elle peut changer de direction, s’arrêter, redémarrer, accélérer.

Exemple 6 : un avertisseur sonore utilisant l’IA comme aide à la détection

L’IA capable de différencier un objet d’une personne. L’action consiste à prévenir le conducteur de la

survenue d’un danger potentiel par la présence d’une personne


Annexe II : Liste des participants

NOM

Organisme

Mr AUFFRERE DAVID

DEKRA /COPREC

Mr BELINGARD Pierre

EUROGIP

Mr BERDUCAT Michel

IRSTEA

Mr BISSON Bruno CGC

Mr BONNIER Vincent Force Ouvrière

Mr BOY Stephano ETUI

Mr CHAREILLE Pascal

SOCOTEC

Mr CLEVELAND Richard

CISMA

Mme DELABORDE Agnès

Mr Madaschi David

LNE

Mr DUQUESNE Jean Pierre

CFDT

Mr FRUGIER Benjamin

FIME

Mr GAMBELLI Franck

UIMM

Mme HUBERT CORINNE Mme JAROSZ Catherine

FNTP

Mr INACIO David

Bureau Veritas

Mr JOUANNE François

Carsat Normandie CGT

Mme LE GAZIOU

CAPEB


Mr SARREY Michael Mr Blaise Jean Christophe

INRS

Mme Maillard Isabelle

Ministère du travail Direction générale du travail

Mme MARTIN Leila Mr DUMINY Christophe Mr GARROUSTE Laurent

Ministère de l’agriculture

Mme PANOZZO Carole

FFB

Mr. MARGOT Gilles

Mme REPELLIN Clémence OPPBTP

Mr SEVERAC Gaetan NAIO TECHNOLOGIES

Mr VERDIER Florient

CNMCCA/FNSEA

COOP de France Coopération agricole

Note relative à l’Intelligence artificielle au regard de ...

Documents

Transcript of Note relative à l’Intelligence artificielle au regard de ...