Journée déchange autour de lexpérimentation sociale ORLEANS jeudi 17 novembre 2011.

Journée d’échange autour de

l’expérimentation sociale

ORLEANS jeudi 17 novembre 2011

© Agence nouvelle des solidarités actives – Toute reproduction interdite sans autorisation préalable 2

Territoires et projets de Solidarités Actives

Certains projets de Solidarités actives ont un rayonnement national, c’est notamment le cas du réseau TIC’Actives,de son intervention auprès du CNFPT et des ses Ateliers.


Sommaire

Limites et biais

Questions d’éthique

Expérimentation cadre législatif

Expérimentation sociale définition

Pourquoi expérimenter?

Conclusions provisoires


ExpérimentationDéfinitionSens commun :

◗ Une micro-initiative locale ou une mesure mise en œuvre pour une durée de vie

limitée. Par exemple, des lois initialement prévues à titre temporaire, se sont dîtes «

expérimentales » : la loi instituant le RMI (1988).

Selon le Littré :

◗ « Dans les sciences expérimentales, solliciter la production des faits qu’on veut

observer afin de pouvoir parvenir à en assigner la loi, à en délimiter les causes, à

reconnaître la manière dont les causes existent »


Qu’est ce que l’expérimentation sociale?

◗ Définition de l’appel à projet d’expérimentation sociale, HCSA, 2008 :

◗ Quatre composantes

◗ Une innovation de politique sociale

◗ Initiée à petite échelle

◗ Mise en œuvre dans des conditions qui permettent

d’en mesurer les effets

◗ Dans l’optique d’une généralisationL’expérimentation sociale cherche à isoler l’effet d’un programme par une analyse

contrefactuelle (ce qui se serait passé en l’absence du programme) faisant abstraction de facteurs extérieurs.


Pourquoi expérimenter?

◗ Une démarche expérimentale peut aider à concevoir des politiques plus efficaces, en connaître l’impact réel, en évaluer les conditions de réussite, avant une éventuelle généralisation. (Etienne Grass)

◗ Bien des dépenses auraient été évitées, des souffrances épargnées et du temps aurait été gagné en comparant différentes stratégies sociales à petite échelle, pour sélectionner la meilleure avant de la généraliser. (Martin Hirsch)

◗ Un an pour élaborer une loi ; un an pour élaborer les décrets ; un an pour mettre en œuvre : c’est en général le temps pour déclarer qu’une réforme ne marche pas et en mettre en chantier une autre, sans même avoir correctement évalué les effets de la précédente. (La nouvelle équation sociale, résolution n°13)


Cadre législatif français

◗ Cadre jurisprudentiel précédant la réforme constitutionnelle de 2003 :

◗ Le Conseil constitutionnel admet l’expérimentation sous réserve de son caractère explicite, de la réalisation d’un bilan et de sa limitation dans le temps.

◗ Le Conseil d’État exige essentiellement que l’expérimentation ait une durée limitée.

◗ Quelques exemples d’expérimentation avant 2003 : ◗ De 1962 à 1964, l’Etat expérimente la réorganisation des services

déconcentrés de l’État dans le but de renforcer l’autorité du préfet. ◗ En 1986, le Conseil général d’Ille-et-Vilaine met en place un complément

local de ressources préfigurant le RMI.◗ La loi du 4 février 1995 autorise des expérimentations dans le domaine

de la régionalisation des transports ferroviaires.


Cadre législatif français 2 types d’expérimentation issus de la loi constitutionnelle du 28 mars 2003 :

◗ Les dérogations mises en œuvre par l’Etat (article 37-1 de la Constitution) : Article 37-1 de la constitution : La loi et le règlement peuvent comporter, pour un objet et une durée limités, des dispositions à caractère expérimental.◗ Un dispositif nouveau peut être expérimenté dans le cadre des compétences de la

collectivité.◗ Les collectivités locales disposent néanmoins d’un pouvoir d’initiative limité : la

dérogation doit être introduite par des dispositions législatives. Seules les collectivités désignées par le législateur ou par l'Etat sont autorisées à expérimenter.

◗ Les conditions de ces expérimentations sont définies par l’avis du Conseil constitutionnel du 28 juillet 1993 : ◗ la durée, la nature et la portée de l’expérimentation doivent être strictement définies ◗ l’expérimentation doit être de nature à permettre, au vu de ses résultats, une généralisation ◗ le législateur doit définir les conditions dans lesquelles l’expérimentation fait l'objet d'une évaluation.

◗ .

◗



Les dérogations à la loi mises en œuvre par les collectivités locales (article 72 alinéa 4 de la constitution) : « Dans les conditions prévues par la loi organique, et sauf lorsque sont en cause les conditions essentielles d'exercice d'une liberté publique ou d'un droit constitutionnellement garanti, les collectivités territoriales ou leurs groupements peuvent, lorsque, selon le cas, la loi ou le règlement l'a prévu, déroger, à titre expérimental et pour un objet et une durée limités, aux dispositions législatives ou réglementaires qui régissent l'exercice de leurs compétences. »

◗ Il est possible de transférer une compétence nouvelle à une collectivité locale sans modifier les textes. Une collectivité (ou une intercommunalité) peut ainsi être autorisée à déroger à la loi. ◗ Toutes les collectivités demandant à expérimenter et remplissant les conditions

légales sont habilitées. ◗ L’expérimentation ne peut porter sur les normes qui définissent les conditions

essentielles d’exercice d’une liberté publique ou d’un droit constitutionnellement garanti.

◗



◗ Les conditions de ces expérimentations sont régies par la loi organique du 1er août 2003 :◗ L’objet, la durée et les conditions à remplir par les collectivités territoriales sont fixés

par une loi d’habilitation.◗ La durée d’une expérimentation ne peut excéder 5 ans◗ La liste des collectivités autorisées à participer est établie par décret. Les

collectivités doivent auparavant faire connaître au représentant de l’Etat leur décision de participer à l’expérimentation (délibération motivée).

◗ le législateur peut décider, au vu de l’évaluation de l’expérimentation, soit de mettre fin à celle-ci, soit de la prolonger (en modifiant, le cas échéant, les modalités), soit de généraliser les mesures prises à titre expérimental.

◗ des modalités d’évaluation doivent être prévues

◗


◗ Rupture du principe d’égalité

◗ La remise en cause du principe d’égalité est admise à condition qu’ « elle trouve sa justification dans certaines nécessités d'intérêt général ». (Conseil d’Etat, avis sur la tarification du TGV Nord, 1993). La nécessité d’évaluer les politiques publiques de la façon la plus

objective possible peut être reconnue comme une « nécessité d’intérêt général ».

◗ Rupture dans l'application du principe d'uniformité

◗ Les collectivités d'une même catégorie (régions, départements, communes) doivent en principe disposer des mêmes compétences, des mêmes modes d'organisation et de fonctionnement. Dans les faits, ce principe est déjà remis en cause par des transferts de

responsabilités dans des domaines aussi marquants que le logement, l’urbanisme, le développement, l’emploi, l’insertion et la formation.

◗

Ethique et rupture du principe d’égalité


◗ Questions éthiques

◗ L’expérimentation n’est pas acceptable si elle empêche une personne d’accéder à un service ou à une ressource déterminante.

◗ Ces réticences disparaissent lorsqu’il s’agit de tester les effets d’un surcroît de service, ou d’un supplément au droit commun.

Ethique et rupture du principe d’égalité


◗ Les droits des participants à une expérimentation doivent encore être définis.

◗ La transposition des droits existants dans le champ des essais cliniques, laisse notamment entrevoir les deux enjeux suivants :◗ Droit à l’information sur les conditions de

l’expérimentation : durée, signification, contenu,…◗ Principe de consentement à l’entrée dans

l’expérimentation ou, en cas de consentement fixé par la loi, droit de sortir à tout moment de l’expérimentation (« op out »).

Droits des bénéficiaires et des membres du groupe témoin


Evaluation: le matching

Consiste à créer un contrefact au groupe test en recherchant un groupe de contrôle disposant de caractéristiques similaires.

Le protocole :

◗ Le protocole consiste à appareiller des groupes traitement et témoin ayant certaines caractéristiques identifiables comparables (ex : taux de chômage, âge moyen...). Les caractéristiques retenues sont celles pouvant avoir une influence positive ou négative sur le résultat de l’expérimentation.

Intérêt de la méthode :

◗ Cette solution est plus facile à mettre en place en cas d’obstacles éthiques ou techniques (risque de biais basés sur les interactions possibles entre les individus des deux groupes).

Contraintes de la méthode :

◗ Certaines caractéristiques non observées ne sont pas prises en compte et constituent autant de biais dans l'analyse.

◗ Illustration : RSA expérimental


Evaluation assignation aléatoire « randomisée »

◗ Vise à isoler l’impact pur du dispositif pour réaliser une évaluation coûts/bénéfices en comparant les résultats de l’expérimentation avec un contrefactuel (ce qui se passe dans le groupe témoin).

Le protocole :

◗ Tirer au sort les personnes qui vont rentrer dans le dispositif et à constituer un groupe témoin avec les personnes non retenues lors du tirage ou alors à utiliser le tirage aléatoire pour définir à la fois le groupe test et le groupe témoin.

Intérêt de la méthode :

◗ Simple à comprendre et donc de faire facilement force de preuve. Elle est particulièrement adaptée en cas d’impossibilité de généraliser immédiatement du fait de ressources budgétaires limitées.

Contraintes de la méthode :

◗ L’évaluation avec tirage aléatoire induit naturellement des problèmes éthiques et des questions d’inégalités d’accès à un service.


Limites et biais

Expérimentations non envisageables

◗ Face à des situations d’urgence financière ou sociale ;

◗ Quand les éléments pour la décision sont suffisants

◗ Quand un dispositif ne peut pas être mis en œuvre et évalué à petite échelle,

(population des bénéficiaires mobile ; situation du territoire d’expé très

évolutive) ;

◗ Quand le débat est insuffisant sur le sens des mesures à expérimenter et

que les clivages existants sur les résultats à attendre de ces mesures ne

sont pas clarifiés.


Limites et biais

◗ biais de participation

◗ biais d’attrition : abandon de l’expérimentation

◗ biais de non-réponse :

◗ biais de traitement :

◗ effet d’Hawthorne(10) (effet placebo) : les membres du groupe de traitement sont motivés par le fait même d’être traités

Externes

Internes

obiais d’échantillonnage

ophénomène de file d’attente

obiais de durée limitée

oeffet d’interaction sociale

oCoûts


Conclusions provisoiresPoints d’amélioration

◗ Rapprocher en amont les porteurs et les évaluateurs

◗ Mettre en œuvre en gardant à l’esprit le changement d’échelle, l déploiement

◗ Associer les personnes concernées (acteurs destinataires…)

◗ Croiser les différentes méthodes d’évaluation

◗ Accepter l’erreur, comme la réussite

◗ Améliorer la transmission des enseignements

◗ Mieux distinguer ce qui relève de l’expé, de l’expérience, du projet pilote, de

l’innovation

◗ Améliorer la définition éthique du cadre


Conclusions provisoires

◗ Dans le champ social, il est difficile de réunir toutes les conditions nécessaires pour que cette “rigueur scientifique” puisse produire ses effets. L’expérimentation apporte sans aucun doute de la rigueur dans la possibilité d’articuler innovation sociale et évaluation. Une réponse à la demande de résultats objectivés.

◗ l’expérimentation sociale reste un outil, une méthode d’aide à la construction des politiques publiques.

◗ Les objectifs poursuivis par le dispositif à tester, relèvent, eux, de véritables choix politiques ou de société.


Merci de votre attention

Journée déchange autour de lexpérimentation sociale ORLEANS jeudi 17 novembre 2011.

Documents

Transcript of Journée déchange autour de lexpérimentation sociale ORLEANS jeudi 17 novembre 2011.