Tableau de Bord DSI

Guide Pratique Qualité Tableau de bord SI (diffusé).docx sur 26

Guide pratique qualité

Tableau de Bord DSI

Guide pratique issu de retours d’expériences

académiques et nationales à destination des DSIA

pour l’établissement et le maintien

d’un tableau de bord DSI

Avril 2018


OBJET DU DOCUMENT

Ce document est un recueil de conseils et de préconisations pour accompagner les DSI

académiques dans leur démarche de déploiement d’un tableau de bord pour la DSI.

Il est le résultat d’un groupe de travail regroupant des volontaires issus d’académie et qui ont

apporté le retour d’expérience de leur académie.

Le processus du groupe de travail a été basé sur le mode du « projet flash ». Démarré en juin

2017 et initialement cadré à trois journées de réflexion, le groupe s’est réuni une quatrième et

dernière fois le 18/01/2018.

Le projet a été piloté par Sylvaine Gobard, chargée de mission qualité de l’académie d’Aix

Marseille, par délégation du bureau DNE B2-3 avec l’assistance d’une prestation externe pour

l’animation des réunions et la production des livrables.

Les participants au groupe de travail sont des volontaires et respectent les engagements :

Participer activement aux réunions

Collecter de l’information pour les réunions

Apporter des corrections à ce document Les modifications se font librement. La seule condition est d’avoir copié le fichier

avant de le modifier. Les modifications sont faites en mode « Révision » pour faire

connaître qui est à l’origine.

Le calendrier du groupe est :

J1 : 19/06/2017 à Paris, rue Dutot

J2 : 06/07/2017 en classe virtuelle



Le groupe de travail a réuni :

• Patrick Benazet, DSI de l’académie de Bordeaux

• Philippe Bochut, correspondant qualité de l’académie de Créteil

• Mohamed Mezrag, correspondant qualité de l’académie de Lyon

• Eric Duret, correspondant qualité de l’académie de Nantes

• Nathalie Lhardy, correspondante qualité de l’académie de Paris

• Cheistine Leberre, correspondante qualité de l’académie d’Orléans-Tours

• Marie-Joseph Fabre, correspondante qualité de l’académie de Strasbourg.

Les préconisations et recommandations décrites dans ce document sont une

synthèse des principales recommandations proposées par ces académies.


SOMMAIRE

1. Avant-propos ................................................................................... 6

1.1. Convention de notation ............................................................................................................ 6

1.2. Structuration du document ...................................................................................................... 6

2. Enjeux du tableau de bord du DSI académique ............................ 7

2.1. Définition ...................................................................................................................................... 7

2.2. Usage ............................................................................................................................................. 7

2.3. Destination ................................................................................................................................ 10

2.4. Fréquence .................................................................................................................................. 10

2.5. Communication ....................................................................................................................... 10

2.6. Composition du tableau de bord ......................................................................................... 11

Définition d’un indicateur .............................................................................................................................. 11

Caractéristiques des indicateurs .................................................................................................................. 11

Qualités d’un indicateur ................................................................................................................................. 11

2.7. Risques en cas d’absence de tableau de bord ................................................................... 12

3. Retours d’expérience d’académies .............................................. 13

3.1. Positionnement du tableau de bord .................................................................................... 13

3.2. Quelques exemples ................................................................................................................. 15

3.3. Indicateurs candidats pour la composition d’un tableau de bord DSI ......................... 15

3.4. Conseils et bonnes pratiques ................................................................................................ 18

4. Annexes .......................................................................................... 21

4.1. Indicateur de disponibilité (Versailles) ................................................................................ 21

4.2. Taux de rendement synthétique du Service Desk (Versailles) ..................................... 23

4.3. Qualité du code (Versailles) .................................................................................................. 25


TABLE DES FIGURES

Figure 1. Le processus opérationnel est gouverné par un processus de pilotage ..................... 7

Figure 2. L’indicateur facilite la prise de décision ...................................................................... 7

Figure 3. La construction de l'indicateur suppose le fait de maîtriser la collecte et le stockage des données ............................................................................................................................... 8

Figure 4. Collecte et stockage des données ............................................................................... 8

Figure 5. Régulation de l'opérationnel par la gouvernance au moyen du tableau de bord ...... 9

TABLE DES PRECONISATIONS

Préconisation 2. Indicateurs types catégorie sécurité ............................................................. 15

Préconisation 3. Indicateurs types catégorie opération/production ...................................... 15

Préconisation 4. Indicateurs types catégorie projet ................................................................ 16

Préconisation 5. Indicateurs types catégorie support ............................................................. 16

Préconisation 6. Indicateurs types catégorie transverse (RH/budget) .................................... 17

Préconisation 7. Avoir un sponsoring fort ............................................................................... 18

Préconisation 8. Définir précisément l’objectif ....................................................................... 18

Préconisation 9. Voir grand mais faire simple ......................................................................... 18

Préconisation 10. S’assurer d’avoir les moyens de mesurer ................................................... 18

Préconisation 11. Se dire qu’après l’analyse, on doit mettre un plan d’action ....................... 19

Préconisation 12. Faire une revue du livrable « tableau de bord » ......................................... 19

Préconisation 13. Intégrer le plan de communication ............................................................. 19

Préconisation 14. Outiller et tester l’outillage ......................................................................... 19


TABLE DES BONNES PRATIQUES

Bonne pratique 1. Démarche GQ(I)M ...................................................................................... 10

Bonne pratique 2. Procédure d’analyse ................................................................................... 12

TABLE DES EXEMPLES

Exemple 1. Point de vue d’un DSI (Bordeaux) .......................................................................... 13

Exemple 1. Point de vue de correspondant qualité (X) ........................................................... 14

Exemple 1. Disponibilité des environnements ......................................................................... 15

Exemple 2. Taux de rendement synthétique ........................................................................... 15

Exemple 3. Qualité du code ..................................................................................................... 15


1. Avant-propos

1.1. Convention de notation

Dans ce document, il est fait la distinction entre les informations suivantes :

Bonne pratique 1 : Bonne pratique issue de référence méthodologique

Le texte est encadré sur trois côtés avec une marge gauche et le pictogramme « manuel ».

Préconisation 1 : Préconisation issue du retour d’expérience des académies

Le texte est encadré sur trois côtés avec une marge gauche et le pictogramme « poteau indicateur ».

Exemple 1 : Académie - Exemple de mise en œuvre dans une académie

Le texte est encadré sur trois côtés avec une marge gauche et le pictogramme « clé anglaise ».

1.2. Structuration du document

Chapitre « Enjeux du tableau de bord du DSI académique »

Ce chapitre est une approche méthodologique du tableau destinée à fournir des points

clés pour mener un projet de définition et de maintien d’un tableau de bord.

Chapitre « Retour d’expérience »

Ce chapitre contient la synthèse des échanges du groupe de travail. On y trouvera une

liste d’indicateurs candidats pour l’établissement d’un tableau de bord et une liste de

conseils de mise en œuvre.

Chapitre « Annexes »


2. Enjeux du tableau de bord du DSI académique

2.1. Définition

Le tableau de bord est un outil de pilotage et d’aide à la décision regroupant une sélection

d’indicateurs.

Dans cette définition, on note qu’il y a de façon sous-jacente une notion de mesure « en vue

de pilotage et d’aide à la décision »

2.2. Usage

Le pilotage est un processus régulateur d’un ou éventuellement plusieurs processus

opérationnels

Figure 1. Le processus opérationnel est gouverné par un processus de pilotage

La notion d’indicateur est toujours associée avec celle de pilotage ou de gouvernance.

Ainsi, tout processus opérationnel est régulé par un processus de pilotage. Ce dernier, entre

autres attributions, effectue une régulation de l’opérationnel en prenant des décisions

d’actions correctives.

Figure 2. L’indicateur facilite la prise de décision

Cette prise de décision se fait au moyen d’une analyse supportée par un indicateur.

La nature de la décision est donc, vu par le processus de mesures un « besoin opérationnel »,

auquel on associe un « objectif de mesure » qui n’est autre que l’indicateur.


Figure 3. La construction de l'indicateur suppose le fait de maîtriser la collecte et le

stockage des données

L’indicateur est construit à partir de données qui sont soit des mesures directement issues

d’une base de mesures, soit des données obtenues par calcul à partir de ces mêmes mesures.

Dans tous les cas, la première action à respecter est un contrôle qualité opéré sur les mesures

pour vérifier qu’elles sont bien cohérentes et qu’elles remplissent les prérequis avant de

construire l’indicateur. Par exemple, les données d’un stock de tickets non à jour ne peuvent

être utilisées pour construire un indicateur de suivi des tickets.

Figure 4. Collecte et stockage des données

Enfin, les mesures auront été au préalable elles-mêmes collectées à partir du processus

opérationnel et dûment stockées.


Figure 5. Régulation de l'opérationnel par la gouvernance au moyen du tableau de bord

On voit que le montage d’un tableau de bord participe au cycle de régulation d’un processus

opérationnel,

Notion

En vue de répondre à des objectifs de

pilotage.

Besoins opérationnels

Objectifs de mesure

De ces objectifs de pilotage, on en déduit

des procédures d’analyse

Procédure d’analyse

Des règles de construction d’indicateurs Définition des indicateurs

Ces indicateurs sont construits à partir

de bases de mesures

Identification des mesures collectées :

origine, nature, collecte, stockage

Ces mesures font l’objet de contrôles

qualité

Règles de cohérence


Bonne pratique 1. Démarche GQ(I)M

La démarche consiste à définir les indicateurs selon les étapes suivantes :

Identification des objectifs Les objectifs sont à définir sous l’angle de vue du besoin de régulation de l’opérationnel par la gouvernance. Ces objectifs se déclinent ensuite en objectifs de mesure.

Questionnement À partir des objectifs opérationnels, on prépare le questionnement qui permet de réguler, c’est-à-dire identifier l’écart et conduire vers la prise de décision. Le questionnement permet de spécifier la procédure d’analyse.

(Indicateur) Cette étape est souvent ajoutée à la démarche et consiste à mettre en forme l’indicateur.

Métriques Chaque indicateur se construit à partir de métriques issues du processus opérationnel directement ou indirectement. Chaque métrique fait l’objet d’une procédure de collecte et stockage. Des règles de cohérence permettent de spécifier le contrôle qualité des données.

2.3. Destination

Le tableau de bord est destiné en premier lieu aux membres de l’instance de gouvernance où

il sera utilisé.

Ensuite, il peut faire l’objet d’une communication inscrit dans le cadre du plan de

communication de la DSI.

De façon alternative, certains indicateurs peuvent être communiqués isolément en fonction

des besoins.

2.4. Fréquence

La fréquence de mise à jour du tableau de bord est au moins égale à celle des instances de

gouvernance ou de la communication auxquelles il est destiné. Bien sûr, on peut le mettre à

jour plus souvent ou pour le moins mettre à jour les indicateurs au fur et à mesure de

l’arrivée de leurs données d’entrée. Cette façon de faire a l’avantage de disposer d’un tableau

de bord à jour à volonté.

2.5. Communication

Une question légitime concernant le tableau de bord est « à quoi sert-il ? ».

Selon la finalité choisie par la DSI, les réponses peuvent être une ou plusieurs parmi celles-

ci :

Pour la gouvernance interne,

Pour remonter des informations appelant la hiérarchie à prendre des décisions

impactantes, comme par exemple l’engagement de travaux ou la mobilisation de

ressources ou encore tout arbitrage de quelque nature que ce soit,


Pour communiquer de l’information synthétique à des parties prenantes, et

lesquelles,

Pour servir d’élément de comparaison pour la DSI dans le temps (les progrès

accomplis) ou entre DSI au même moment (comparaison concurrente),

Ou autre usage car cette liste ne prétend pas être exhaustive.

Il fait sens pour la DSI de balayer cette question et d’identifier les réponses qui sont les mieux

adaptées. Selon la ou les réponses, le Tableau de Bord de la DSI ou éventuellement une partie

de ce Tableau de Bord peuvent faire l’objet d’une communication.

Dans ce cas, les bonnes pratiques consistent à traiter la communication du Tableau de Bord

dans les plans ou les procédures qui régissent la DSI comme par exemple un Plan de

Communication ou autre document faisant fonction.

On trouvera alors des informations de cadrage comme :

Finalité

Destinataire

Format de communication

Démarche de construction et de validation

Parties prenantes

Fréquence

Etc.

2.6. Composition du tableau de bord

Le tableau de bord est composé d’indicateurs.

Il est donc nécessaire de définir les caractéristiques d’un indicateur.

Définition d’un indicateur

Un indicateur est une information choisie, associée à un phénomène, destinée à en observer

périodiquement les évolutions au regard d’objectifs périodiquement définis. (Réf. ISO 8402)

Un indicateur est une information choisie, associée à un critère, destinée à en observer les

évolutions à intervalles définis. (Réf. Norme FDX 50-171)

Caractéristiques des indicateurs

Les indicateurs doivent être :

Simples et acceptables

Représentatifs et/ou significatifs

Mesurables et durables

Choisis collectivement

Cohérents, utiles et pertinents

Ils ont un objectif

Les résultats sont présentés de façon claire

Ils sont en nombre limité

Qualités d’un indicateur

Les chiffres ne parlent pas d’eux-mêmes. Ce n’est pas seulement le résultat qui est important,

c’est ce que l’on en fait.


Un indicateur n’a de sens qu’accompagné de ses éléments d’interprétation, notamment les

critères précis de sa définition et le contexte de sa mise en œuvre.

Les informations produites doivent être stabilisées et reproductibles au cours du temps.

Bonne pratique 2. Procédure d’analyse

La procédure d’analyse d’un indicateur doit être définie.

2.7. Risques en cas d’absence de tableau de bord

L’absence d’un tableau de bord peut avoir pour conséquences :

Prises de décision effectuées au cas par cas et selon les informations présentes

Comparaison malaisée ou impossible entre deux situations (comparaison temporelle)

ou avec d'autres organisations (comparaison "concurrentielle")


3. Retours d’expérience d’académies

3.1. Positionnement du tableau de bord

Exemple 1. Point de vue d’un DSI (Bordeaux)

Le tableau de bord de la DSI doit permettre de répondre aux objectifs managériaux (ITSM, démarche qualité) communicationnels (reporting vers la hiérarchie académique) et marketing (communication sur l'activité). Il doit certainement s'inscrire dans une logique visant la région académique.

Les axes d'observation et de progression semblent correspondre aux préoccupations fondamentales d'un centre de service : disponibilité, performance et satisfaction

Les secteurs à observer pour lesquels les mesures d'amélioration sont à attendre correspondent aux 5 secteurs d'activité majeurs de la DSI académique : opérations/production, réalisation, support, sécurité et relation partenaires

Le tableau de bord n'est pas un rapport d'activité, il intègre les indicateurs destinés à informer voire alerter le management IT. Il a vocation à argumenter le rapport d'activité mais sa fonction première est de permettre la prise de décision. Sa structure est granulaire, avec des niveaux de pertinence des indicateurs qui s'incorporent au regard des niveaux de préoccupation des acteurs (forme hiérarchique vs matricielle)

Le tableau de bord doit permettre le benchmarking interacadémique. Pour cela, sa structure doit être partagée. Les indicateurs font l'objet d'une agrégation sous forme d'un indice synthétique

La mise en place du tableau de bord ne peut pas se concevoir intrinsèquement, elle est fortement liée à la démarche d'ITSM et donc en totale adhérence avec le catalogue de service et les accords de niveaux de service qui constituent le référentiel pour la production des indicateurs. La démarche mérite un sponsoring au niveau du STSI pour réellement prendre corps dans les académies, sous la forme d'un kit comprenant des éléments de communication en direction des secrétaires généraux d'académie.


Exemple 2. Point de vue de correspondant qualité (Nantes)

En tant que membre du groupe, et n'ayant pas d'expérience dans la production d'un tableau de bord pour le DSI, je peux simplement faire état des échanges que j'ai eu avec mon directeur des SI qui commente la contribution de Patrick Benazet.

Si globalement les préoccupations sont partagées, certains points de détail sont à noter :

Les secteurs à observer mentionnent les "relations avec les partenaires" ce qui ne semble pas être du domaine du pilotage par des indicateurs évoluant sur un rythme rapide (quotidien, hebdomadaire, mensuel, ...). Ce secteur serait plutôt à rapprocher d'indicateurs RH ou budgétaire à suivre sur un rythme annuel.

Le sponsoring du STSI : si la démarche est académique, il n'est pas besoin d'avoir un sponsor au niveau supérieur, sauf éventuellement pour fédérer des initiatives (groupes de travail, mutualisation par exemple).

La possibilité de benchmarking interacadémique, qui existe déjà dans d'autres domaines, n'est pas choquante en soi car elle permet de valoriser le travail accompli. En revanche sa mise en œuvre risque de retarder la sortie d'un tableau de bord académique.


3.2. Quelques exemples

L’académie de Versailles a fait remonter quelques exemples d’indicateurs.

Exemple 3. Disponibilité des environnements

Cf. document en annexe p21.

Exemple 4. Taux de rendement synthétique


Exemple 5. Qualité du code


3.3. Indicateurs candidats pour la composition d’un

tableau de bord DSI Tableau 1. Indicateurs candidats pour la composition d'un tableau de bord

Préconisation 1. Indicateurs types catégorie sécurité Indicateur Commentaire

Nombre d’audits de sécurité

Nombre d’incidents de sécurité remontés

Taux de conformité à la PSSI

Indicateur lié à la cartographie des risques

Préconisation 2. Indicateurs types catégorie opération/production Indicateur Commentaire

Disponibilité des applications En regard du calendrier métier


Indicateur Commentaire

Disponibilité de la messagerie Implique aussi les services

associés :intranet au sens large

Disponibilité de l’accès internet A fusionner avec le taux d’occupation de

la bande passante

Obsolescence du parc informatique

A répartir entre typologie de machines :

serveur, postes bureautiques, postes de

développement, etc.

Préconisation 3. Indicateurs types catégorie projet Indicateur Commentaire

Pourcentage de demandes en attente, en pré-étude, à l’étude, satisfaites

Au nveau du traitement des dossiers de

demandes

A rapprocher du pourcentage d’applications

locales mutualisées

Respect du calendrier de mise en production

Avancement A rapprocher du suivi des coûts :

consommations, ressources, acteurs, etc.

Nombre d’incidents dans le 1er mois

En tant qu’indicateur de qualité

Préconisation 4. Indicateurs types catégorie support Indicateur Commentaire

Délais de temps de réponse A répartir entre

Délai de prise en compte

Délai de résolution

Délai moyen

Charge à chaque académie de préciser si la mesure est moyennée, minimale ou maximale.

Taux de résolution N1

Taux d’appels satisfaits En cas de plate-forme de téléphonie



Répartition de l’effort Plusieurs dimensions à prendre en

compte :

Par application

Par profil appelant

Dans le temps

Satisfaction Plusieurs dimensions à prendre en

compte :

Par application

Par profil appelant

Dans le temps

Préconisation 5. Indicateurs types catégorie transverse (RH/budget)


Respect des SLA Applicable à tous les services inscrits au

catalogue

Incidents majeurs Applicable à tous les services inscrits au

catalogue, exemple problème de paie

Taux de consommation (ou de sollicitation) des services du catalogue

Avec en perspective la décision sur

certains services peu ou pas sollicités

Taux de satisfaction des services du catalogue

Taux global ou analysé par famille de

service

Répartition des budgets et des coûts par domaine

Indicateur universel

Répartition des effectifs par domaine

Indicateur universel

Etat des ressources (âge, évolution, répartition)

A rapprocher avec la cartographie des

ressources

Nombre de jours de formation par agent

Indicateur nécessaire pour

communication hors de la DSI

Effort (ou charge) de maintien du parc applicatif

Nombre de demandes de mutation

Turn-over

Etat des dépenses Avec ventilation selon besoin : thème,

projets, domaines, etc.

Maturité du processus Cf. ITIL

Indicateur représentatif du fonctionnement de chaque service

A définir


3.4. Conseils et bonnes pratiques

Préconisation 6. Avoir un sponsoring fort

Le sponsoring est un classique des projets de transformation. Le sponsoring permet d’allouer de la ressource, d’apporter le support et l’appui de la hiérarchie lorsque cela s’avère utile ou nécessaire. Tout cela contribue à assurer la pérennité du projet

Préconisation 7. Définir précisément l’objectif

Le point de départ est l’ensemble des activités de la DSI qui doit se retrouver dans son catalogue de services. Cela donne des éléments structurants pour la définition des indicateurs.

Si ce n’est pas le cas, alors il faut se fixer des objectifs en termes de périmètre impacté, à défaut, clarifier la demande du DSI. Un arbitrage sur les indicateurs les plus pertinents peut donner des éléments de jalonnement du projet.

Préconisation 8. Voir grand mais faire simple

La meilleure tactique est d’itérer sur quelques indicateurs et ensuite augmenter le périmètre.

On évitera le piège qui consiste à suivre une démarche en phases successives : bien définir le cahier des charges, puis bien spécifier les indicateurs, puis bien faire la conception, ensuite bien définir les procédures de collecte puis fabriquer le tableau de bord.

Ces phases doivent être suivies mais par cycles itératifs successifs. Cela permet au projet de valider sa propre démarche complètement à chaque itération et à prendre en compte les remarques des utilisateurs (c’est-à-dire ici le DSI !!) à chaque itération. En outre, cela permet d’avoir un tableau de bord certes incomplet mais utilisable.

Préconisation 9. S’assurer d’avoir les moyens de mesurer

La collecte des données peut s’avérer fastidieuse (cas des données nombreuses ou saisies à la main) ou impossible. Il est important de définir les procédures de collecte


et stockage. En outre, il faut s’assurer de la qualité des données avant de construire l’indicateur afin d’éviter un biais dans son interprétation et en conséquence une erreur de décision.

Préconisation 10. Se dire qu’après l’analyse, on doit mettre un plan d’action

Le tableau de bord sert à orienter et guider les décisions du DSI. En soi, l’indicateur donne une information mais la qualification de cette information est du ressort de l’analyste. D’une façon générale, la procédure d’analyse doit être documentée afin d’éviter les biais de décision (l’interprétation de l’indicateur ne doit pas être fonction de l’analyste).

Une bonne pratique consiste à documenter l’analyse et l’explication de la décision. Au minimum, si l’on doit revenir sur les éléments qui ont mené à la décision, cette information sera alors précieuse.

Préconisation 11. Faire une revue du livrable « tableau de bord »

La revue permet d’améliorer la qualité du produit. Ici, la revue peut être menée en interne ou avec d’autres académies. D’autres académies ayant mis en place un tableau de bord, autant profiter de leur expérience.

Préconisation 12. Intégrer le plan de communication

Le tableau de bord est composé d’indicateurs potentiellement utilisables pour une communication. Il faut intégrer le plan de communication dans la conception du tableau de bord. Une bonne pratique peut consister à identifier des indicateurs destinés à être communiqués et à leur associer d’autres indicateurs permettant d’affiner ou de compléter l’analyse afin de servir la communication.

Préconisation 13. Outiller et tester l’outillage

L’analyse des indicateurs suppose que les données soient collectées et de bonne qualité. Dans certains cas, le contrôle peut être fastidieux en raison du nombre de données collectées. D’une façon générale, on a intérêt à automatiser la chaine de collecte de données.


Attention toutefois à bien se concentrer sur les données pertinentes. Par exemple, certaines données sont à temporalité lente (cas des paramètres liées aux ressources humaines) et dans ce cas, l’automatisation apporte peu de bénéfice. En revanche, les données issues des demandes liées au catalogue de service gagneront à être automatisées.

Le test de la chaine : outils participant à la chaine, procédures, compétences, doit figurer dans les activités du projet. Un sous-indicateur de qualité des données sera le bienvenu.


4. Annexes

4.1. Indicateur de disponibilité (Versailles)

Indicateur de Disponibilité n°2

« Disponibilité des environnements »

Description de

l’indicateur

Mesurer le taux de disponibilité des environnements, obtenu en divisant la

durée durant laquelle l’environnement est opérationnel par la durée totale

durant laquelle on a exprimé un souhait qu'il le soit. (hors plage de

maintenance convenue au préalable)

Unité de mesure Pourcentage

Objectif à

atteindre

Objectif principal : Atteindre 100% de taux de disponibilité des environnements.

Objectifs secondaires :

- Améliorer le MTBF (Mean Time Between Failures) Indice de fiabilité

MTBF = Somme des temps de bon fonctionnement / nombre de

défaillance

MTBF désigne le temps moyen entre défaillances consécutives.

- Diminuer le MTTR(Mean Time To Repair) Indice de maintenabilité

MTTR = Temps d’arrêt Total / nombres d’arrêts

MTTR Temps moyen pour réparer.

Par Christophe Dang Ngoc Chan (Cdang (talk)) — Travail personnel, CC0,

https://commons.wikimedia.org/w/index.php?curid=30629070

Collecte des

données

nécessaires et

construction de

la mesure

2 préalables :

- définir le périmètre : les types d’environnement sur lesquels la mesure est à porter Dév, Recette, Preprod, Prod…

- définir les ressources sur ces environnements : base de données, serveur d’application (Tomcat, jboss, websphere…), frontal (Apache)…

- convenir des plages de disponibilité des ressources (hors plage de maintenance convenue) pour chaque environnement

https://commons.wikimedia.org/w/index.php?curid=30629070


Indicateur de Disponibilité n°2

« Disponibilité des environnements »

NB : l’environnement de travail du développement est à inclure (postes de

travail des développeurs mais surtout forges du Dev (PIC, serveur de gestion

de configuration SVN-GIT et les outils de gestion de projet et travaux du type

Redmine etc.).

Il est conseillé de définir également des points de pondération par type

d’environnement.

Etape n°1 : Identifier les données à collecter.

- Identifier les ressources par environnement - Collecter les temps de bon fonctionnement des ressources - Collecter les temps d’arrêt des ressources (MTTR)

Ces données sont généralement extraites des outils de supervision

d’infrastructure (Nagios par exemple) qui collecte de manière automatique ces

informations.

Etape n° 2 : Réaliser les mesures.

Taux total des arrêts = durée totale des arrêts de chaque ressource/

durée totale apportée par chaque ressource sur la plage de disponibilité

convenue

Taux de disponibilité = 100 – taux total d’arrêt de fonctionnement

Etape n°3 : Publier l’indicateur.

Représentation

graphique

Périodicité de

mesure Mensuelle

Mode de

validation de la

mesure

Mesure validée par le chargé de mesure en concertation avec les demandeurs.

Chargé de

collecte /

mesure

Voir si existe un Module d’Analyse BAM (Business Activity Monitoring) en lien

avec les outils de supervision pour une production et une publication

automatique de cet indicateur ?

https://labs.nagios.com/tag/business-activity-monitoring/

https://labs.nagios.com/tag/business-activity-monitoring/


4.2. Taux de rendement synthétique du Service Desk

(Versailles)

Taux de Rendement Synthétique (TRS)

du Service Desk

Description de

l’indicateur

Unité de mesure taux

Calcul de la

mesure

Calcul de la disponibilité : (taux des appels décrochés + taux de disponibilité

des infrastructures de l’outil de Help Desk + taux de disponibilité de

l’infrastructure de téléphonie) / 3

Performance = Taux de traitement des demandes dans les délais (respect des

SLA)

Qualité = Taux d’incidents résolus en niveau 1

TRS = disponibilité * performance * qualité

Objectif

Observer la tendance de la courbe du TRS par rapport aux mois précédents,

Identifier les gaspillages sur les courbes descendantes de chaque critère

Qualité, Disponibilité, Performance

Mettre en place les axes de progression.

Cause des gaspillages possibles : ressources RH, Planning de prise d’appel,

infrastructure, gestion de la connaissance, formation

Comparer la perception des utilisateurs (enquête de satisfaction à froid et à

chaud à la clôture du ticket avec le TRS


Taux de Rendement Synthétique (TRS)

du Service Desk

Collecte des

données

nécessaires et

construction de

la mesure

Etape n°1 : automatisation mensuelle des indicateurs de téléphonie sur le taux

des appels aboutis sur la base des appels reçus, des appels aboutis en 1er

instance, des appels pris en mode dégradé (appels présentés plusieurs fois

sur les files d’attentes)

Etape n°2 : analytics mensuel sur la disponibilité de l’infrastructure EasyVista

Etape n°3 : semi automatisation du calcul du TRS depuis un fichier Excel avec

récupération manuelle des étapes 1 et 2 et récupération automatique du taux

de tickets résolus en niveau

Représentation

graphique

Périodicité de

mesure Mensuelle

Mise à

disposition de

l’indicateur

Mise en ligne sur une APPS du portail EasyVista accès restreint :

- Direction

- Delivery Manager

Chargé de

collecte /

mesure

La responsable du Service Relation clients, relation partenaires de la DSI


4.3. Qualité du code (Versailles)

Indicateur de Qualité n°1

« Qualité du code »

Description de

l’indicateur

Evaluer la qualité du code pour mesurer la dette technique (le non-respect de la

conception induit des coûts supplémentaires dans le futur)

Unité de mesure Pourcentage

Objectif à

atteindre 100% - dette technique cible

Collecte des

données

nécessaires et

construction de

la mesure

Etape 1 : Définir les métriques de mesure du respect des exigences non

fonctionnelles liées au codage (tests, documentation…)

Celles définies dans la méthode SQALE et mesurées avec des outils d’analyse

de code comme SONARQUBE (ex SONAR) sont :

● Maintenabilité : documentation et lisibilité du code, présence d’ambigüités ou d’éléments redondants, etc.

● Fiabilité : respect de règles et conventions garantissant un certain niveau de fiabilité du code et une diminution du risque d’erreurs

● Testabilité : taux de couverture des lignes de codes par les tests unitaires, et respect de conventions pour la réalisation de tests dans de bonnes conditions

● Changeabilité : capacité de l’application et de ses composants à évoluer, en particulier au niveau de son architecture

● Sécurité : prise en compte de certaines règles limitant les failles de sécurité potentielles (validation de formulaires et de sessions, gestion des erreurs, prévention contre certains types d’attaques, etc.)

● Réutilisabilité : capacité des composants de l’application à être réutilisables ● Portabilité : capacité de l’application à être portée d’une plateforme (logicielle ou matérielle)

à une autre ● Utilisabilité : respect des normes d’accessibilité et d’ergonomie ● Efficacité »: règles limitant les problèmes de performance de l’application (temps

processeur, consommation mémoire, utilisation du réseau, etc.). Source : https://fr.wikipedia.org/wiki/SQALE

Etape 2 : Agréger les valeurs normalisées en indices pour calculer le ratio de la

dette technique. (Dans la méthode SQALE l'agrégation des indices se fait par

addition). Le ratio de dette technique se calcule en divisant le nombre de jours de

dette technique par le coût de développement. Ce dernier est une estimation,

proportionnelle au nombre de lignes de code de l’application analysée. (Cf.

http://docs.sonarqube.org/display/SONAR/Technical+Debt)

Etape 3 : Publier le résultat.

Représentation

graphique

https://fr.wikipedia.org/wiki/SQALE

http://docs.sonarqube.org/display/SONAR/Technical+Debt


http://nemo.sonarqube.org/dashboard?id=org.apache%3Atomcat&did=19

Périodicité de

mesure Mensuelle

Mode de

validation de la

mesure

Mesure validée par le chargé de mesure en concertation avec les demandeurs

Chargé de

collecte /

mesure

Responsable de la plate-forme d’intégration continue ou chef de projet MOE dév

---fin du document ---

Ministère de l’éducation nationale et de l’enseignement supérieur et de la recherche

Direction du numérique pour l’éducation

Services des technologies et des systèmes d’information

Bureau de la qualité, des méthodes et des outils – DNE B2-3

[email protected]

http://nemo.sonarqube.org/dashboard?id=org.apache%3Atomcat&did=19

mailto:[email protected]

Tableau de Bord DSI

Documents

Transcript of Tableau de Bord DSI