Mesure de la taille fonctionnelle avec la méthode...

12-10-25

1

S Y L V I E T R U D E L , P H . D .

C O N F É R E N C E D U L A T E C E 2 4 O C T O B R E 2 0 1 2

© Sylvie Trudel

1

Mesure de la taille fonctionnelle avec la méthode COSMIC (ISO 19761):

recherches récentes et applications industrielles

Mon parcours

© Sylvie Trudel

2

1985-1986: premier travail en informatique, avant la fin du bacc 1986-1996: développement, analyse et implantation (ERP) 1996-2001: amélioration de processus de développement logiciel 2001-2009: conseillère senior en amélioration des processus logiciels

(CRIM, nombreux mandats) + MGL à l’ÉTS et début du PhD à l’ÉTS

2009-2012: conseillère principale en amélioration des processus logiciels et transition à l’Agilité (Pyxis, nombreux mandats) + avoir complété le PhD

2011: publication du livre “Choisir l’Agilité” avec Mathieu Boisvert

2012-…: Professeure de génie logiciel à l’UQAM

Séminaire du LATECE

12-10-25

2

Mes créneaux professionnels

© Sylvie Trudel

3

Génie logiciel

Meilleures pratiques

Agilité

Gestion du logiciel

Qualité du logiciel

Mesures et estimation


H I S T O R I Q U E , C O N C E P T S E T U S A G E S

© Sylvie Trudel La taille fonctionnelle

4

La mesure de la taille fonctionnelle

12-10-25

3

Historique de la taille fonctionnelle 5

1980 1985 1990 1995 2000 20081979

SLOC

IFPUG: International Function Point Users Group COSMIC: Common Software Measurement International Consortium

Avant 1979, mesure de

la taille physique

Source: © Alain Abran, Notes de cours COSMIC – ISO 19761

Albrecht FPA

IFPUG 4.0

IFPUG 4.1

IFPUG 4.2

NESMA 2.1

Mark II FPA

Full FP v1.1

Mark II FPA 1.3

Feature Points

Use Case Points

User Story Points

3-D FP’s

COSMIC ISO 19761

ISO ‘FSM’ Standards

V3.0

© Sylvie Trudel

Productivité de projet logiciel 6

�  Forte corrélation entre: ¡  Taille et effort ¡  Taille et temps écoulé

�  Coût unitaire = Effort / Taille à heures/point �  Productivité = Taille / Effort à points/mois-personne �  Taux de livraison = Taille / Temps à points/mois

Effort

Taille

Temps

Taille

© Sylvie Trudel Séminaire du LATECE

12-10-25

4

Normes ISO liées à la mesure

© Sylvie Trudel

7

Cadre normatif de base des mesures de taille fonctionnelle

14143-1 Définition des

concepts

14143-2 Évaluation de la conformité avec

14143-1

14143-3 Vérification des

méthodes

14143-4 Modèles de référence

14143-5 Détermination des

domaines fonctionnels

14143-6 Guide de sélection

de méthode

Processus de mesure 15939

Processus de mesure en génie logiciel

Méthodes de mesure de taille fonctionnelles

19761

COSMIC

20926 IFPUG

4.1

20968

Mark II

24570

NESMA

29881

FiSMA

Légende: 1ère génération 2ème génération


Définition de « taille fonctionnelle » 8

�  Selon ISO 14143-1, Taille fonctionnelle = ¡  Taille du logiciel dérivée en quantifiant les

Fonctionnalités Utilisateur Requises (FUR)* ÷ *Exigences fonctionnelles des utilisateurs

�  Mesure de la quantité d’information traitée [ou à être traitée] par le logiciel ¡  Ce que l’utilisateur veut que le logiciel fasse

÷ quoi vs comment

�  Se mesure tôt dans le cycle logiciel ¡  Mais peut aussi se mesurer dans n’importe

laquelle des phases


12-10-25

5

Indicateurs usuels de performance 9

Date de livraison

Coûts/effort

Coût unitaire

Contenu de qualité

La taille du contenu se

mesure!


Pourquoi mesurer la taille d’un projet logiciel? 10

Quatre besoins usuels: 1.  Productivité du processus 2.  Estimation de projets 3.  Étalonnage (benchmarking) 4.  Gouvernance

§  Besoin d’objectivité, de répétitivité et de reproductibilité

§  Comment mesurer une taille indépendante de la technologie?

à  Solution:

mesurer la taille fonctionnelle avec la norme ISO 19761

Combien est-ce gros?

© Sylvie Trudel

12-10-25

6

La méthode COSMIC

© Sylvie Trudel

11

�  2ème génération de mesure de taille fonctionnelle ¡  Permet de mesurer des logiciels MIS, services et composantes SOA,

embarqués, temps-réel, entrepôts de données, projets agiles

�  Cofondée par des québécois (UQÀM et ÉTS) ¡  Initiative internationale dont le noyau de l’équipe est composée de 12

experts originaires de 6 pays d’Europe, d’Amérique et d’Asie-Pacifique

�  Norme nationale du Japon depuis 2003 �  Traduit ou en voie de l’être dans 12 langues �  Guide de mesure gratuit en français (v3.0)

http://www.cosmicon.com/ �  Unité de mesure: pfc (point de fonction COSMIC)

Méthode COSMIC: un aperçu

Soutenance de thèse © Sylvie Trudel

12

Adapté de (Abran et al. 2003)

Autres systèmes

Données

Processus fonctionnel 1

Logiciel à mesurer Matériel de stockage

Écritures (W)

Lectures (R)

Processus fonctionnel 2

Processus fonctionnel n

…

Utilisateurs ou

Matériel d’entrée/

sortie

Entrées (E)

Sorties (X)

Entrées (E)

Fron

tière

‘Interfaces’ ‘Infrastructure’

ou

Utilisateurs fonctionnels

Sorties (X) ou

12-10-25

7

Mesurons ce processus fonctionnel, pas à pas

Un utilisateur fait une requête dans une base de données des RH pour extraire une liste de noms de tous les salariés âgés de plus de 35 ans.

Critères de recherche (E)

Départements (S)

Résultats de recherche

(S)

Messages [d’erreur]

(S)

13

4 Lectures

(L)

Déclencheur (E)

Statut d’emploi (S)

SOUTENANCE DE THÈSE DE SYLVIE TRUDEL VENDREDI 24 FÉVRIER 2012

14

Utilisation de la méthode de mesure de la taille fonctionnelle COSMIC

comme mécanisme d’amélioration de la qualité des exigences fonctionnelles des logiciels

12-10-25

8

Plan de la présentation


15

1.  Qualité et taille des exigences fonctionnelles 2.  Problématique et objectifs de recherche 3.  Phase 1: Méthodologie de recherche 4.  Phase 2: Comparer COSMIC et inspections 5.  Phases 3 et 4: Influence des défauts sur la taille

fonctionnelle 6.  Discussion 7.  Recommandations et impacts pour l’industrie

R E V U E D E L I T T É R A T U R E

© Sylvie Trudel Soutenance de thèse

16

Qualité et taille des exigences fonctionnelles

12-10-25

9

Usage des exigences de logiciels


17

Concept opérationnel Exigences

Architecture

Conception

Programmation

Tests

Documentation de l’utilisateur

Gestion de projet

Fonctionnelles

Non-Fonctionnelles

Mécanismes de rédaction des exigences


18

�  Langage naturel (Weigers, 2003)

�  Cas d’utilisation (Jacobson, Booch and Rumbaugh, 1999)

�  Scénarios utilisateurs (User stories) (Beck, 2000)

�  Interfaces graphiques personne-machine et prototypes de rapports (Ducharme and Trudel, 2004)

�  Diagrammes d’états (aussi appelés ‘finite state machines’) (Leffingwell and Widrig, 2003)

�  Diagrammes d’entités-relations (Chen, 1977)

12-10-25

10

Normes de documentation et attributs de qualité


19

�  Normes de documentation ¡  IEEE Std 1362: Concepts opérationnels ¡  IEEE Std 830: Spécification des exigences de logiciels

�  Attributs de qualité (extraits de IEEE Std-830): ¡  “An SRS should be:

a) Correct; b) Unambiguous; c) Complete; d) Consistent; e) Ranked for importance and/or stability; f) Verifiable; g) Modifiable; h) Traceable.”

Synthèse de l’état de l’art


20

�  Intégration de FPA (IFPUG) et du processus de description des exigences fonctionnelles (Nishiyama & Furuyama, 1994)

�  Contexte empirique où COSMIC est utilisé en sus des revues

par les pairs sur des cas d’utilisation (Baraby, 2006)

�  Aspect cognitif de l’expertise du mesureur traitant de la cohérence des résultats de la mesure entre divers mesureurs (Desharnais, 2003)

�  Utilisation de COSMIC pour améliorer le modèle d’analyse issu des spécifications (Nagano & Ajisaka, 2005)

12-10-25

11

R É S U M É D E L A P R O B L É M A T I Q U E H Y P O T H È S E S E T O B J E C T I F S


21

Problématique et objectifs de recherche

Résumé de la problématique


22

�  Qualité inconnue des exigences fonctionnelles au départ ¡  Jusqu’à ce que qu’une ou plusieurs revues soient appliquées

�  Efficience et efficacité inégales et instables des revues appliquées aux exigences ¡  Résultats dépendants de la compétence des réviseurs

�  Effort et qualité de la mesure de taille fonctionnelle dépendantes de la qualité des exigences ¡  On doit poser des questions pour clarifier quand les exigences

sont ambiguës ou incomplètes �  Efficacité et efficience inconnues de la méthode COSMIC

pour améliorer la qualité des exigences ¡  La revue de littérature n’a pas trouvé de références soutenues par des

données

12-10-25

12

But de la recherche


23

Contribuer à améliorer la qualité des exigences fonctionnelles en investiguant l’efficacité et

l’efficience d’appliquer la méthode COSMIC comme moyen pour identifier les défauts et de comparer les résultats avec l’application d’une approche de revue

par les pairs.

Objectifs de recherche


24

1.  Déterminer expérimentalement l’efficience (coût unitaire) d’appliquer la méthode COSMIC dans l’amélioration de la qualité des exigences fonctionnelles au regard d’une approche de revue par les pairs, dans un délai limité

2.  Déterminer expérimentalement l’efficacité d’appliquer la méthode COSMIC dans l’amélioration de la qualité des exigences fonctionnelles au regard d’une approche de revue par les pairs

3.  Déterminer s'il est avantageux d'inclure un rôle de mesureur dans une méthode de revue par les pairs

4.  Déterminer l’influence des défauts sur la taille fonctionnelle

12-10-25

13

Mesures dérivées des revues par les pairs


25

�  Efficience (coût unitaire) = Effort (en minutes/défaut) nb défauts trouvés

�  Efficacité = nb défauts trouvés (exprimé en pourcentage) nb total de défauts

�  Ne considérer que les défauts critiques et mineurs ¡  Laisser tomber les fautes d’orthographe et de syntaxe et les autres

points (améliorations et questions)

(Weigers 2002)

26

Aperçu de la méthodologie de recherche


Phase 1: Refine research methodology

Select and prepare experimental material

Phase 2: Compare efficiency and effectiveness (unit cost) of COSMIC

and an inspection approach

Experiments with experts and practitioners with limited

experience

Process/Phases

(3.3)

Phase 3: Prepare next phase experimental material

Update uObserve SRS from v1.0 to v2.0

(5.2)

Phase 4: Determine influence of defects on functional size

Inputs Outputs

·∙ COSMIC method·∙ Inspection approach·∙ uObserve SRS v1.0

·∙ Experimental material:- uObserve SRS v1.0- Inspection approach- COSMIC method

(3.4)(3.5)(1.4)

·∙ Collected and verified data:- List of defects and issues- Effort (measurement and inspection) - SRS v1.0 functional size

·∙ Efficiency and effectiveness analysis of measurers as part of inspection teams

·∙ Defect analysis

·∙ uObserve SRS v1.0·∙ List of defects from participants

List of defects and issues

·∙ COSMIC method·∙ uObserve SRS v2.0

·∙ uObserve SRS v2.0·∙ Defects list (status updated)

·∙ Collected and verified data:- List of defects and issues- SRS v2.0 functional size- Effort (measurement)

·∙ Influence of defects on functional size·∙ COSMIC training improvement

opportunities

(4.2 & 4.3)

(4.5)

(5.3.5 & 5.4.5)

(App.I)

(App.III to VIII)

(App.II)

(4.4)

Pilot project experiment

·∙ Pilot project data·∙ Lessons learned from pilot project·∙ Refined research methodology·∙ Selected inspection approach·∙ List of inspection approaches

·∙ List of FSM methods (3.2.4)

(3.1)

(5.1)

Experiments with experts and measurers with limited experience

(5.3 & 5.4)

App.IX

(3.1.5)

(4.6)

(5.5)

(6.4)

12-10-25

14

P H A S E D E R A F F I N E M E N T D E L A M É T H O D O L O G I E D E R E C H E R C H E


27

Phase 1: Méthodologie de recherche

Projet pilote : leçons apprises et besoins

1.  Indépendance du chercheur sur les données 2.  Assurer la qualité des données saisies pour

analyse par un tiers indépendant 3.  Limiter le nombre de documents comme

intrants aux expérimentations 4.  Nombre de participants le plus grand

possible 5.  Atelier sur les inspections pour tous les

participants

28


SONIA SRS

SONIA SRS

SONIA SRS

SONIA SRS

10 doc. Chercheur

Professeur

Inspection

Mesure et identification des défauts

Analyse des données

Leçons apprises

20 Étudiants

12-10-25

15

uObserve SRS L’approche d’inspection CRIM


29

Sélection du matériel expérimental

1. Plan the inspection

2. Open the inspection

3. Inspect the product

4. Explain issues (logging meeting)

5. Update the inspected product

6. Re-‐check with issues

7. Close the inspection

[Document ready for inspection]

[Commitment obtained from participants]

[Defects found]

[Defects understood by author]

[Defects corrected]

[No new defect introduced]

[Defects corrected and inspection data collected]

La méthode COSMIC E X W

R FPs

F.U.

Data Storage

Sélection et préparation des exigences


30

uObserve SRS v0.1

1.  Revue par les pairs 2.  Défauts corrigés 3.  Logiciel développé avec

succès 4.  Révision par un expert de

l’industrie 5.  Défauts corrigés

uObserve SRS v1.0

2900 mots 10 cas

d’utilisation décrits

Conforme IEEE Std 830

Conforme UML 2.0

2 frontières de logiciels

Système piloté par

événements

App. I

12-10-25

16

E X P É R I M E N T A T I O N S E T R É S U L T A T S


31

Phase 2: Comparer COSMIC et inspections

Aperçu des expérimentations de la phase 2


32

Phase 2: Compare efficiency and effectiveness (unit cost) of COSMIC and an

inspection approach

Expert practitioners experiment

Practitioners with limited experience experiments

Research objectives

18 Measurers

17 Inspectors

1) Determine experimentally the effectiveness (unit cost) of applying the COSMIC method in improving the quality of functional requirements compared to a peer review approach, when allotted limited effort as applied in the industry 2) Determine experimentally the efficiency of applying the COSMIC method in improving the quality of functional requirements compared to a peer review approach 3) Determine whether it is advantageous to include a measurer role in a peer review

12-10-25

17

Protocole expérimental


33

2. Former les participants sur l’approche d’inspection

1. Préparer l’expérimentation uObserve

SRS v1.0

20 Étudiants

3. Appliquer l’approche d’inspection 4. Mesurer la taille fonctionnelle

Participants

20 ÉtudiantsInspecteurs 20 ÉtudiantsMesureurs 5. Compiler les données •  Taille fonctionnelle •  Défauts et autres

points •  Effort

•  Défauts et autres points

•  Effort

6. Réviser les données compilées avec les participants ou un leader d’inspection

7. Analyser les données

Défauts et autres points: données brutes


34

154

39

272

49

0

50

100

150

200

250

300

350

400

450

Défauts Autres points

Mesureurs Inspecteurs

Défauts uniques fonctionnels, critiques et mineurs

426

88

514 commentaires

Défauts 426 -153 Duplicata -30 Rejets -58 Défauts non fonctionnels -31 Défauts de syntaxe ou

orthographe

154

= 100% pour le calcul de l’efficacité

12-10-25

18

Analyse des défauts


35

�  Les inspecteurs et les mesureurs trouvent des défauts de nature différente

�  Les mesureurs trouvent plus de défauts de plus haut niveau que les inspecteurs

�  Défauts affectant la taille fonctionnelle: ¡  Descriptions fonctionnelles ambiguës ¡  Processus fonctionnels manquants ¡  Traitement d’erreur manquant ¡  Groupes de données ambigus ¡  Ambiguïtés liées aux occurrences multiples

Simulation d’équipes de 2, 3 et 4 inspecteurs


36

Inspecteur C M C+M L 0 0 0 E 1 0 1 J 0 2 2 F 0 3 3 D 3 1 4 K 2 3 5 G 2 3 5 I 5 1 6 P 6 1 7 C 3 5 8 H 5 3 8 B 3 7 10 A 4 6 10 N 6 14 20 M 12 9 21 Q 12 11 23 O 9 18 27

Worst-2

Median-2

Best-2

Worst-3

Median-3

Best-3

Worst-4

Median-4

Best-4

12-10-25

19

Efficacité

Objectif 2:

Déterminer expérimentalement l’efficacité d’appliquer la méthode COSMIC dans l’amélioration de la qualité des exigences fonctionnelles au regard d’une approche de revue par les pairs

Efficacité = nb défauts trouvés nb total de défauts è 100% = 154

37


Équipe d’inspecteurs Efficacité

Worst-2 0.6% Worst-3 1.9% Worst-4 3.9%

Median-2 9.7% Median-3 13.0% Median-4 16.9%

Best-2 31.2% Best-3 42.9% Best-4 52.6%

Moyenne 19.2% Écart-type 17.7%

23,6% à +4,4%

22,4% à +3,2%

Avec le prochain

inspecteur

-1,2% (perte)

En moyenne, avec un

mesureur

Efficacité moyenne d’un mesureur: 3,5%

Efficience ou coût unitaire Objectif 1:

Déterminer expérimentalement l’efficience (coût unitaire) d’appliquer la méthode COSMIC dans l’amélioration de la qualité des exigences fonctionnelles au regard d’une approche de revue par les pairs, dans un délai limité

Efficience (coût unitaire) = Effort (en minutes/défaut) nb défauts trouvés

38


Équipe d’inspecteurs

Coût unitaire

Worst-2 213.0 Worst-3 97.3 Worst-4 67.2

Median-2 16.5 Median-3 16.6 Median-4 15.8

Best-2 6.4 Best-3 6.8 Best-4 7.0

Moyenne 49.6 Écart-type 65.1

32,4 à +8,7%

28,0 à +9,5%

Avec le prochain

inspecteur

gain moyen 4,4 min/

défaut ou +3,1%

En moyenne, avec un

mesureur

Efficience moyenne d’un mesureur: 29,4 min/défaut

12-10-25

20

Mesureurs et inspection

Objectif 3:

Déterminer s'il est avantageux d'inclure un rôle de mesureur dans une méthode de revue par les pairs

�  Lorsqu’un mesureur remplace un inspecteur supplémentaire ¡  Perte moyenne d’efficacité de -1,2% ¡  Amélioration moyenne du coût unitaire de

4,4 min/défaut ÷  Équipes Worst: gain entre 6,2 et 25,6 ÷  Autres équipes: différences de ± 1,5 min/

défaut

�  Pour un effort comparable, les mesureurs fournissent ¡  Une mesure de la taille fonctionnelle ¡  Une liste de défauts

÷  Plus grande proportion de défauts de haut niveau que les inspecteurs

�  Transfert du coût de la mesure ¡  Coût de gestion à coût direct

39


E X P É R I M E N T A T I O N S E T R É S U L T A T S


40

Phase 3 et 4: Influence des défauts sur la taille

fonctionnelle

12-10-25

21

Aperçu des phases 3 et 4


41

Research objective

4) Determine the influence of defects on functional size

Phase 4: Determine the influence of defects on functional size

Expert measurers

experimental session

Measurers with limited experience


5 expert measurers

5 measurers with limited experience


Update uObserve SRS from v1.0 to

v2.0 uObserve SRS v1.0

uObserve SRS v2.0

Defects from the 1st and 2nd experimental sessions

Taille fonctionnelle: experts et inexpérimentés


42

62

77

55

37

58 58,6

30

40

50

60

70

80

Experts Inexpérimentés

Taille fonctionnelle (en PFC)

Max

Min

Moyenne

Exigences fonctionnelles

avec 154 défauts trouvés (C+M)

12-10-25

22

Défis des mesureurs inexpérimentés


43

1.  Identification incorrecte des PF et des mouvements d’entrée déclencheurs

2.  Identification incorrecte des groupes de données 3.  Groupes de données manquants 4.  Mouvements de données erronés 5.  Mouvements de données manquants 6.  Mouvements de données dupliqués ou superflus

Sommaire des données brutes de la phase 2

44


uObserve SRS v1.0

5 experts COSMIC

13 inspecteurs (3 expérimentés)

Taille: 58.0 ± 3.0 CFP Nb PF: 11.8 ± 1.8 FP

Mesureurs: 57,8 ± 10,5 minutes Inspecteurs: 62,3 ± 11,4 minutes

Défauts trouvés par Fonct. Non-

fonct. Total

Inspecteurs 74 34 108

Inspecteurs + mesureurs 8 10 18

Mesureurs 46 22 68

Total 128 66 194

Autres points trouvés par Fonct. Non-

fonct. Total

Inspecteurs 11 12 23

Mesureurs 8 3 11

Total 19 15 34

86

12-10-25

23

Correction des défauts et autres points

© Sylvie Trudel

45

uObserve SRS v1.0

84%

16%

194 Défauts Ouverts

Fermés ou Résolus

34 Autres points

12% 88%

uObserve SRS v2.0

15 cas d’utilisation

10 cas d’utilisation

Ouverts

Fermés ou Résolus

Soutenance de thèse

App. I App. II

Résultats comparatifs: Défauts et autres points 46


86

11

11

5

0

20

0

20

40

60

80

100

120

v1.0 v2.0

Hypothèses

Autres points

Défauts

Diminution du nombre de défauts et autres points trouvés

Hypothèses de mesure documentées

12-10-25

24

Résultats comparatifs: Taille fonctionnelle


47

62

97

77

130

55

68

37

81

58

79,3

58,6

114,3

30

40

50

60

70

80

90

100

110

120

130

v1.0 v2.0 v1.0 v2.0

Tai

lle

fon

ctio

nn

elle

(en

PF

C)

Experts Inexpérimentés

Max

Min

Moyenne

Augmentation de 36.6%

Les écarts s’expliquent tous par

des hypothèses de mesure

Sommaire des analyses de données

Objectif 4:

Déterminer l’influence des défauts sur la taille fonctionnelle

�  Les défauts ont eu un impact important sur la taille fonctionnelle: +39%

�  Le nombre de défauts identifiés a été réduit de façon importante: -86% ¡  Certains mesureurs ont rapporté qu’ils

auraient pu trouver plus de défauts s’ils avaient eu plus de temps

�  Toutes les différences parmi les résultats individuels s’expliquent par des hypothèses de mesure (20 hypothèses soulevées) ¡  Niveau de décomposition ¡  Frontières identifiées ¡  Utilisateurs fonctionnels identifiés ¡  Processus fonctionnels identifiés ¡  Modèle de données (absent)

48


12-10-25

25

E T T R A V A U X F U T U R S


49

Discussion

Discussion

�  Exploration de la participation d’un mesureur au sein d’une équipe d’inspection

�  Relation entre les défauts et la taille fonctionnelle �  Formation pratique de l’application de la méthode

COSMIC �  Le coût de la mesure de la taille fonctionnelle

50


12-10-25

26

Travaux futurs

�  Traiter les défauts et autres points résiduels et publier le document uObserve SRS v3.0 ¡  Incluant une mesure fonctionnelle vérifiée en tant que cas

d’étude

�  Quantifier plus abondamment l’impact des défauts dans les exigences fonctionnelles sur la mesure de la taille

51


C O N T R I B U T I O N S D E L A R E C H E R C H E


52

Recommandations et impacts pour l’industrie

12-10-25

27

53

Ce qui ressort de la recherche (outcomes)


Phase 1: Refine research methodology

Select and prepare experimental material

Phase 2: Compare efficiency and effectiveness (unit cost) of COSMIC

and an inspection approach

Experiments with experts and practitioners with limited

experience

Process/Phases

(3.3)


Update uObserve SRS from v1.0 to v2.0

(5.2)

Phase 4: Determine influence of defects on functional size

(4.2 & 4.3)

Pilot project experiment(3.1)

Experiments with experts and measurers with limited experience

(5.3 & 5.4)

Outcomes

Improving quality of functional requirements by measuring their functional size

IWSM 2008Best paper award

Functional size measurement quality challenges for inexperienced measurers

IWSM 2009

Functional requirement improvements through size measurement: a case study with inexperienced

measurers

SERA 2010

The contribution of functional size measurers in defects identification: a case study with inexperienced

measurers

Published in IJCIS

Inpu

ts to

Gui

delin

e fo

r as

surin

g th

e ac

cura

cy o

f m

easu

rem

ents

Usage of uObserve SRS v1.0 in Zayed University Competition in IT where students had to find the highest number of defects

App.X

App.XI

App.XII

App.XIII

App.XIV

Improvement suggestion to the COSMIC method

To COSMIC MPC

App.XV

Proposed improvement to COSMIC training materialTo COSMIC MPC

(7.1)

(7.2 & 7.3)

Bidirectional influence of defects and functional size

IWSM 2011

Bidirectional Influence of Defects and Functional Size: A Comparative Study Based on Measurers’ Experience

To be published in IEICE (Japan)

Améliorations proposées à la norme COSMIC


54

Version 4.0 Version 3.0

1.  Processus de mesure 2.  Règle d’étiquetage du

résultat de la mesure 3.  Règle de reddition de la

mesure •  Liste des défauts identifiés •  Liste des hypothèses de

mesure 4.  Enregistrement des défauts

et hypothèses de mesure

12-10-25

28

Nouvelle utilisation de la méthode COSMIC


55

Ajout d’un rôle de mesureur lors d’une inspection

Équipe d’inspection

Mesureur

Améliorer la formation des nouveaux mesureurs


56

Plus d’exercices pratiques

12-10-25

29

Liste de vérification COSMIC 1-Pager

57


Contribution au “COSMIC Guideline to ensure measurement verification”


58

Liste des erreurs fréquentes de

mesure

12-10-25

30

Évaluer les compétences


59

uObserve SRS v1.0

uObserve SRS v2.0

Mesureur expert

uObserve SRS v3.0

Mesureur intermédiaire

Mesureur débutant

Inspecteur


60

12-10-25

31

S U C C È S , D É F I S E T A N E C D O T E S

61

Applications industrielles de la méthode COSMIC


62

12-10-25

32

Succès

Séminaire du LATECE © Sylvie Trudel

63

�  Amélioration de productivité ¡  Principe: on ne peut pas contrôler ce qu’on ne mesure pas ¡  Plusieurs cas où la productivité a doublé, voire triplé

�  Amélioration de la qualité des exigences ¡  En mesurant la taille, plusieurs organisations ont décidé de

revoir la façon dont les exigences fonctionnelles sont documentées

�  Bons résultats d’étalonnage

Défis

Séminaire du LATECE © Sylvie Trudel

64

�  Piètres résultats d’étalonnage ¡  L’industrie québécoise est de 2 à 4 fois moins productive que

ses concurrents internationaux dans le même domaine d’affaires ÷ Modèle d’affaires en sous-traitance du développement à revoir! ÷ Processus lourd et en cascades à remplacer!

12-10-25

33

Période de questions


65

?

Modèles de bonnes pratiques


66

� CMMI : Modèle d’évolution des capacités ¡  « Requirements development » ¡  « Requirements management » ¡  « Verification »

�  ISO/IEC 12207: Processus de développement logiciel

� SWEBOK: Corpus de connaissances en génie logiciel ¡  Chapitre 2: Exigences logicielles

12-10-25

34

Assurer la qualité des exigences


67

� Revues ¡  Servent à identifier et corriger les défauts des exigences ¡  Revues d’exigences en groupe ou en comité

(MIL Std 2167A, ISO/IEC 12207) � Revues par les pairs (inspections)

¡  Introduites par Fagan en 1976 ¡  Plusieurs méthodes disponibles, dont Fagan, Gilb &

Graham, CRIM (variante de Gilb & Graham) ¡  Quelques mesures dérivées

÷ Efficience (ou coût unitaire) = effort / défaut ÷ Efficacité = # défauts trouvés et corrigés en inspection

# défauts total

Mesure de taille fonctionnelle


68

�  Historique des méthodes de mesure �  Normes ISO/IEC �  Méthode COSMIC-FFP

12-10-25

35

Motivation de la recherche


69

�  Comprendre et quantifier jusqu’à quel point la méthode COSMIC contribue à l’identification des défauts des exigences fonctionnelles ¡  Origine: observations empiriques du chercheur dans sa

pratique professionnelle

Originalité des travaux envisagés


70

�  Appliquer la méthode de mesure de taille fonctionnelle COSMIC en tant qu’activité de vérification d’exigences fonctionnelles ¡  Démontrer son efficacité et son efficience avec des données

12-10-25

36

Cadre expérimental


71

I.  Definition Motivation Object Purpose Perspective Domain Scope Verify the contribution of the COSMIC method to identify defects in functional requirements

Functional requirements

Evaluate quantitatively

Requirements Inspectors

COSMIC Measurers

Requirements engineering (functional requirements) and measurement (sizing)

One requirements specification document

I.  Planning Design Criteria Measurement

Pilot project Statistical analysis methods

Defect types and categories Participant types and experience levels

Number of defects per participant Number of unique defects per team Effort Functional size

I.  Operations Preparation Execution Data analysis

Select and print material Call for participation Train participants

Collect data Verify data

Preliminary analysis: experts and practitioners with limited experience separately Formal analysis: •  combined data from Phase 2 experiments •  data from Phase 4 experiments

I.  Interpretation Interpretation context Extrapolation Impact

Within one inspection approach, one set of SRS document, multiple inspectors and multiple measurers and one functional sizing method

Identification of defects while measuring

Application of the COSMIC method as a means to identify defects

Basé sur (Basili, Selby et Hutchens, 1986)

Séquence temporelle des expérimentations


72

Time

Phase 2

Phase 3 Phase 4

1st


2nd


3rd


Measurers with limited experience


Update uObserve

SRS

Expert measurers experimental session

12-10-25

37

Résultats comparatifs: Effort

Effort relatif moyen: 1,5 min/PFC à Était 1,0 min/PFC

73


58

117 86,5

0

20

40

60

80

100

120

140

v1.0 v2.0 (tous)

v2.0 (sans le point

extrême)

Eff

ort

(min

ute

s)

Augmentation de l’effort de 49%

Menaces à la validité

� Évolutions de la méthode COSMIC pendant la recherche

� Barrière linguistique du SRS � Document SRS provenant d’un seul système

74


12-10-25

38

Amélioration du processus de mesure


75

The Measurement Process

Chapter 2 Measurement

strategy

Chapter 3 Mapping Phase

Chapter 4 Measurement

Phase

Functional size interval of the software in units of CFP: •  Basic size + •  Assumption size

• FUR in the form of the Generic Software Model

• Defect list and related assumptions

• Purpose of the measurement

• Scope of each piece of software to be measured

Goals

Software Context Model

•  FUR in the artefacts of the software to be measured

•  Generic Software Model

Amélioration à la phase de mesure


76

COSMIC Measurement Phase

Identify Data Movements

Section 4.1 Apply

Measurement Function

Section 4.2

All functional processes measured

?

No

Yes

Aggregate Measurement

Results

Section 4.3

Verify Measurement Assumptions and Results

Section 4.4

• FUR in the form of the Generic Software Model

• Defect list and related assumptions

Functional size interval of the software in units of CFP: •  Basic size + •  Assumption size (if any)

recorded information

12-10-25

39

Avant, v3.0.1 de COSMIC Proposé


�  A COSMIC measurement result shall be noted as “x CFP (v.y)”, where: ¡  “x” represents the numerical value of

the functional size, ¡  “v.y” represents the identification of

the standard version of the COSMIC method used to obtain the numerical functional size value “x”.

�  A COSMIC measurement result shall be noted as “[x - z] CFP (v.y)”, where: ¡  “x” represents the numerical value of

the base functional size, ¡  “z” represents the numerical value of

the assumptions size plus “x”, ¡  “v.y” represents the identification of

the standard version of the COSMIC method used to obtain the numerical functional size value “x”.

EXAMPLE: A result obtained using the rules of this Measurement Manual provides a base functional size of 200 CFP while the size of remaining assumptions is 30. The result is recorded as “[200‑230] CFP (v3.0)”.

77

Amélioration à la règle d’étiquetage

Ce qui ressort de la recherche (outcomes)


78

�  Publication des résultats intermédiaires 1.  Improving quality of functional requirements by measuring their functional size

International Workshop on Software Measurement (IWSM) 2008, Munich (Allemagne) à Best Paper Award

2.  Functional size measurement quality challenges for inexperienced measurers, IWSM 2009, Amsterdam (Pays-Bas)

3.  Functional Requirement Improvements through Size Measurement: A Case Study with Inexperienced Measurers, Software Engineering Research, Management & Applications (SERA) 2010, Montréal (Canada)

4.  The Contribution of Functional Size Measurers in Defects Identification: A Case Study with Inexperienced Measurers, dans le International Journal of Computer and Information System (IJCIS)

5.  Bidirectional Influence of Defects and Functional Size, IWSM 2011, Nara (Japon) 6.  Bidirectional Influence of Defects and Functional Size: A Comparative Study Based on

Measurers’ Experience, à paraître dans un numéro spécial sur la fiabilité du journal Information & Systems de The Institute of Electronics, Information and Communication Engineers (IEICE) (Japon)

App. X

App. XI

App. XII

App. XIII

App.

XIV

À

paraître

Mesure de la taille fonctionnelle avec la méthode...

Documents

Transcript of Mesure de la taille fonctionnelle avec la méthode...