Ethics by Design 2018(Saint-Denis, 2 Octobre 2018)

Marc-Antoine PencoléProfesseur agrégé de philosophie, doctorant

(Sophiapol – Université Paris-Nanterre)

De quoi les algorithmes nous dépossèdent-ils ?

(Et comment s’en ressaisir?)

Introduction

« Algorithmes »…

De quoi parle-t-on ?

Introduction

« Algorithmes »…

● Un procédé technique

formalisable

Phil

! G

old

- B

Y-S

A

Lit

tle

Che

rub

- B

Y-S

A

Introduction

« Algorithmes »…

● Un procédé technique

formalisable

● Une procédure de traitement de données automatisée

(codée sous forme de programme, mise en oeuvre par une machine computationnelle).

Phil

! G

old

- B

Y-S

A

Introduction

« Algorithmes »…

● Un procédé technique

formalisable

● Une procédure de traitement de

données automatisée

● Un dispositif informatique de

régulation de la vie sociale

Phil

! G

old

- B

Y-S

A

Introduction

Un dispositif informatique de

régulation de la vie sociale

Lois et décrets

Introduction

Un dispositif informatique de

régulation de la vie sociale

Lois et décrets

Normativité immanente

Introduction

Un dispositif informatique de

régulation de la vie sociale

Lois et décrets

Normativité immanente Dispositifs techniques

(architecture, urbanisme, infrastructures)

Introduction

Un dispositif informatique de

régulation de la vie sociale

Lois et décrets

Normativité immanente

Dispositifs techniques(traitement de données

automatisé)

De quoi les algorithmes nous dépossèdent-ils ?

De quoi les algorithmes nous dépossèdent-ils ?

● La question éthique :perte de l’autonomie morale

● La question politique :l’activité rendue étrangère à elle-même

● La question éthique :perte de l’autonomie morale

être à l’origine des décisions morales, relatives à la vie

bonne ou à la justice

● La question éthique :perte de l’autonomie morale

être à l’origine des décisions morales, relatives à la vie

bonne ou à la justice

Nous déresponsabilise moralement...

… au profit d’une machine amorale ?

→ délégation à des algorithmes

De quoi les algorithmes nous dépossèdent-ils ?

● La question éthique :perte de l’autonomie morale

Apparence d’objectivité et opacité = force le jugement humain

Sujets à de nombreux biais

Insensibilité aux « cas singuliers »

De quoi les algorithmes nous dépossèdent-ils ?

● La question éthique :perte de l’autonomie morale

Apparence d’objectivité

et opacité = force le

jugement humain

Exemple : de l’arbre décisionnel simple au réseau de neurones à plusieurs couches → perte d’interprétabilité

gbhr

ea –

CC

BY

-SA

Exemple : de l’arbre décisionnel simple au réseau de neurones à plusieurs couches → perte d’interprétabilité

De quoi les algorithmes nous dépossèdent-ils ?

● La question éthique :perte de l’autonomie morale

Apparence d’objectivité et opacité = force le jugement humain

Sujets à de nombreux biais

● Biais en amont, dans le cahier des charges

● Biais technique dans le choix de l’échantillon d’entraînement (apprentissage automatique)

● Biais social réel reproduit et confirmé, malgré la neutralité des concepteurs

Exemple : COMPAS (algorithme judiciaire de prédiction de la récidive)

???

→ Enquête de ProPublica : l’algorithme est biaisé contre les Noirs.

→ Réponse des concepteurs : non ! Il prédit la récidive avec la même précision (61%) pour les Blancs et les Noirs.

Deux conceptions de

l’équité très différentes

→ Enquête de ProPublica : l’algorithme est biaisé contre les Noirs.

→ Réponse des concepteurs : non ! Il prédit la récidive avec la même précision (61%) pour les Blancs et les Noirs.

Fonction de coût mal définie en amont

Prédiction du risque égale selon la race

Risque d’être incarcéré à tort égal selon la race≠

Exemple : étiquetage injurieux de personnes noires (Google Image)

Echantillon d’entraînement biaisé en faveur des Blancs

Exemple : GloVe

Exemple : GloVe

Caliskan Aylin, Joanna J. Bryson et Arvind Narayanan, « Semantics derived automatically from language corpora contain human-like biases », Science, vol. 356, no 6334, 14 avril 2017, p. 183-186.

prénom afro-am / prénom euro→

plaisant/déplaisant

homme /femme→

plaisant/déplaisant

Exemple : GloVe prénom afro-am / prénom euro→

plaisant/déplaisant

homme /femme→

plaisant/déplaisant

Biais des rapports sociaux eux-mêmes

→ reproduits et renforcés, même par des dispositifs

neutres et bien conçus

De quoi les algorithmes nous dépossèdent-ils ?

● La question éthique :perte de l’autonomie morale

Apparence d’objectivité et opacité = force le jugement humain

Sujets à de nombreux biais

Insensibilité aux « cas singuliers »

Exemple : automatisation de la FSSA dans l’Indiana en 2006

AVANT

- Suivi de chaque cas par un travailleur social

- Pouvoir discrétionnaire des travailleurs sociaux, passe-droits

APRES

- Traitement automatique et impersonnel des cas

→ insensibilité, rigidité, pas d’empathie

→ aucun passe-droit pour les demandeurs atypiques, qui méritent une seconde chance, etc…

→ incompétence morale

Eubanks Virginia, Automating inequality: how high-tech tools profile, police and punish the poor, First Edition, New York, NY, St. Martin’s Press, 2018.

De quoi les algorithmes nous dépossèdent-ils ?

● La question éthique :perte de l’autonomie morale

● La question politique :l’activité rendue étrangère à elle-même

● La question politique :l’activité rendue étrangère à elle-même

Changer de focale...

● La question politique :l’activité rendue étrangère à elle-même

structures

matter

● La question politique :l’activité rendue étrangère à elle-même

?

● La question politique :l’activité rendue étrangère à elle-même

Surveillance

Exploitation du travail

Société de marché

??

?

1) La société de surveillance

Traitement de données → capture de données

= inscription dans un système de surveillance

numérique(ou « dataveillance »)

1) La société de surveillance

Un nouveau Panoptique ?

1) La société de surveillance

Panopticisme :

● Transparence,

● Pouvoir qui se cache,

→ Intériorisation du regard,

→ Automatisation du pouvoir

1) La société de surveillance

De la prison… … à la société entière.

→ Automatisation du pouvoir

Digitale Gesellschaft, “Yes we scan - Demo am Checkpoint Charlie “ – CC BY-SA

2) L’exploitation du travail

Nos activités numériques = produisent des données = génèrent de la valeur

Nos activités numériques = produisent des données = génèrent de la valeur

→ Travail gratuit ?“ Digital labour ”

● fragmenté

● subtilement contraint

● hors du lieu/temps de travail

● non-rémunéré

→ Exercice d’un pouvoir économique sur l’activité (sollicitée, canalisée, formatée pour produire plus de

données)

Travail gratuit “ Digital labour ”

2) L’exploitation du travail

→ Exercice d’un pouvoir économique sur l’activité (sollicitée, canalisée, formatée pour produire plus de

données)

Travail gratuit “ Digital labour ”

3) La forme marchandise

= K1 x

3) La forme marchandise

= K1 x

= K2 x

3) La forme marchandise

→ mise sur le marché = mise en commensurabilité

→ réduction de la chose concrète à une abstraction

quantitative, sa valeur

= K1 x

= K2 x

→ mise sur le marché = mise en commensurabilité

→ réduction de la chose concrète à une abstraction

quantitative, sa valeur

= K1 x

= K2 x

Quantité A Quantité B

Quantité C

Données = quantités abstraites de leurs

référents réels

= forme analogue à celle de la

marchandise ?

Rapport à soi mesuré en nombre d’amis, de followers, de likes,

de vues, en nombre de pas ou de kilomètres parcourus, scores

divers, etc...

→ propice à un rapport réifié et instrumental à soi et aux autres

→ rationalité économique qui pénètre aussi loin que les dispositifs numériques

De quoi les algorithmes nous dépossèdent-ils ?

● La question éthique :perte de l’autonomie morale

● La question politique :l’activité rendue étrangère à elle-même • surveillée

• exploitée

• réifiée

Comment s’en ressaisir ?

Comment s’en ressaisir ?

Pim

van

ten

d -

CC

BY

-SA

… ou bien l’appropriation communautaire :

● moralité, autonomie = propriété des sujets… mais pas incompatible avec la factualité !

● factualité de la médiation algorithmique = peut être le moyen de réaliser l’autonomie,

● dépossession / réalisation = dépend de son inscription sociale

être à l’origine des décisions morales, relatives à la vie

bonne ou à la justice

régler notre activité sur ces normes et s’y

reconnaître

= exigence inouïe

Le

Gu

erc

hin

, Atla

s p

orta

nt

le g

lob

e c

éle

ste

, 1

64

6,

mu

sée

Ba

rdin

i

Triple charge

organisationnelle

motivationnelle

cognitive

Habermas, Droit et démocratie. Entre faits et normes, Gallimard, Paris, 1997.

Triple charge

organisationnelle

motivationnelle

cognitive

● appliquer un principe général à des cas concrets

Triple charge

organisationnelle

motivationnelle

● vouloir le juste, même contre notre intérêt

cognitive

● savoir ce qui est juste dans chaque cas concrets

Triple charge

organisationnelle

● qui est responsible de quoi ?

● où s’arrête la responsabilité de chacun ?

motivationnelle

● vouloir le juste, même contre notre intérêt

cognitive

● savoir ce qui est juste dans chaque cas concrets

Peut être déchargée dans la factualité...

des dispositifs techniques

des institutions

des lois

dispositifs techniques

institutions

lois

si contrôlés par la communauté (démocratie)

réalise nos principes de justice

dispositifs techniques

institutions

lois

sinon dépossession

Peut être déchargée dans la factualité...

… d’un algorithme ?

Le cas des communautés d’échange via protocole BitTorrent :

Cohen Bram, « Incentives build robustness in BitTorrent », workshop on economics of Peer-to-Peer Systems, Berkeley, Californie. 2003.

Dagiral Eric et Florian Dauphin, « P2P: From File Sharing to Meta-information Pooling », Communications & Stratégies, vol. 59, n 3, 2005.ᵒ 3, 2005.

Pencolé Marc-Antoine, « Nos algorithmes peuvent-ils être plus justes que nous ? », Revue Française d’Ethique Appliquée, n°5, 2017.

Délégation

organisationnelle

● demande peu d’effort individuel,

● infrastructures peu coûteuses

motivationnelle

● incite à partager (protocole, ratio, économie de l’estime)

cognitive

● appliquer une norme de justice à des milliers de connexions

● savoir quel fichier télécharger ou éviter (malwares)

Le cas des communautés d’échange via protocole BitTorrent :

→ dépossession ou réalisation

de la moralité et de l’activité autonome ?

→ très aisément adaptable, modifiable,

reproductible ailleurs, etc…

→ dispositif souvent peu horizontal

→ mais îlot relativement protégé de la

pression du capital de l’industrie culturelle

Protocole BitTorrent + plate-forme

→ dispositif très ouvert à

l’appropriation communautaire

Protocole BitTorrent + plate-forme

Le cas de Wikipédia :

Geiger R Stuart, « Beyond opening up the black box: Investigating the role of algorithmic systems in Wikipedian organizational culture », Big Data & Society, vol. 4, n 2, 2017.ᵒ 3, 2005.

Halfaker Aaron et John Riedl, « Bots and Cyborgs: Wikipedia’s Immune System », Computer, vol. 45, n 3, mars 2012.ᵒ 3, 2005.

Auray Nicolas, « De linux à Wikipedia : Régulation des collectifs de travail massivement distribués », dans L’évolution des usages et des pratiques numériques, FYP Editions, 2009.

Le cas de Wikipédia :

des milliers de bots (~2100 anglophones),

des millions d’éditions pour certains

=

→ détection du vandalisme, de problèmes de copyright

→ structuration des données

→ nettoyage

Délégation

organisationnelle

● épargne beaucoup de travail humain

● standardisation

motivationnelle

● non-respect des règles sanctionné

● économie de l’estime

cognitive

● manifeste les critères de conformité (nombreux et complexes)

Le cas de Wikipédia :

→ structure très horizontale et délibérative

→ îlot non-marchand (communauté de donateurs)

Bots Wikipédia

→ susceptibles d’être remis en question ou modifiés à tout

moment par la communauté

→ et même, localement, par les individus !

Conclusion

●Risque de dépossession de la décision et de l’activité autonome

●Mais aussi puissance objective capable de réaliser nos principes éthiques subjectifs

● Condition technique =

réappropriation communautairecodée dans le dispositif

● Condition structurelle =

s’inscrire contre

- la société de surveillance,- la logique de l’exploitation,- et la réification marchande

Possible dans quelques rares îlots hors accumulation du capital, hors marché ?

→ à l’inverse, c’est peut-être en partie grâce à ces algorithmes que de tels territoires ont pu renforcer leurs

communautés et maintenir leur indépendance