INCREMENT Une approche pour modéliser et analyser dans le large les exigences réglementaires de...

INCREMENT Une approche pour modéliser et analyser dans le large les exigences réglementaires de sûreté

Nicolas Sannier1, 2

Sous la direction de Benoit Baudry 2, Thuy Nguyen1, Laurence Picci1

1 EDF R&D - STEP P1A2 Inria Rennes Bretagne Atlantique – Triskell

Triskell Team

A propos …Du contrôle-commande et de ses exigences

• Le contrôle-commande nucléaire :

• Permet de mesurer et de piloter l’activité de la centrale

• Va des capteurs aux interfaces Homme-Système

• Doit répondre à différentes exigences

• Les exigences fonctionnelles et de performance

2

A propos …Des systèmes classés de sûreté

• Systèmes importants pour la sûreté

• Systèmes dont la défaillance (erreurs, perte) entraînerait la perte ou des dommages importants aux personnes, installations, à l’environnement

• Exigences de sûreté

3

A propos …des exigences de sûreté de fonctionnement

• Les exigences de sûreté de fonctionnement au regard de la raison d’être du système

• Déterminées par le maître d’ouvrage

• Risques , fiabilité, disponibilité, maintenabilité, …

• Les exigences réglementaires de sûreté

• Imposées au maître d’ouvrage par les pouvoirs publics

• Pour la protection des personnes et de l’environnement

• Sont ambigües, non vérifiables, non atomiques, …

• Hétérogénéité des sources,

• Domaine en forte évolution et complexe

4

A propos …Les différentes sources d’exigences réglementaires

• Les textes réglementaires

• de haut niveau, fixent des objectifs globaux

• Les guides réglementaires

• pratiques jugées acceptables par une autorité réglementaire

• Les normes nationales et internationales

• Sont parfois imposées, sinon d’application volontaire

• Les pratiques

• Pratiques acceptées sur des projets « récents »

5

A propos …Dimensions des évolutions récentes des exigences réglementaires

• Une dimension temporelle

• Multiplication des normes avec l’arrivée de nouvelles technologies

• Aspects logiciels pour les systèmes de CC en France :

• 1 norme à appliquer en 1986

• 100+ en 2013

• Une dimension « internationale »

• différentes cultures de sûreté

6[4] Sannier, Baudry & Nguyen – MODRE’ 2011

A propos …de l’organisation du domaine et de la traçabilité des exigences

7[*] Sannier & Baudry – RELAW' 2012

Quelles sont les exigencesRelatives à … ?

Questions de recherche

• Objectifs industriels

• Formaliser et organiser dans le large et à haut niveau la connaissance métier d’une façon pertinente du point de vue d’un ingénieur nucléaire

• Acquisition, navigation, manipulation dans le modèle

• Verrous scientifiques

1. Adéquation des techniques de modélisation et de traçabilité de l’état de l’art pour ces objectifs et ce domaine ?

2. Comment analyser de tels modèles, comment aider la traçabilité de ces exigences réglementaires ?

8

“There are known knowns. These are things we know that we know. There are known unknowns. That is to say, there are things that we know we don’t know.

But there are also unknown unknowns. There are things we don’t know we don’t know.”Donald Rumsfeld, cited in Sawyer et al., RE’ 2011

Etat de l’art

9

Etat de l’artUne problématique multi-domaines

• 3 domaines

• Ingénierie des exigences

• Ingénierie dirigée par les modèles

• Recherche d’information

• 4 préoccupations

• La définition / formalisation d’exigences

• La prise en compte des exigences réglementaires

• La traçabilité

• Dans le large

10

Etat de l’artUne problématique multi-domaines

11

Ingénierie des exigences

Ingénierie (des exigences) dirigée

par les modèles

Techniques de recherche d’information

Traçabilité des exigences

Spécification des exigences

exigences légales et réglementationUML, SysML

Traçabilité des exigences recherche d’information

KAOS, i*

GRLCresco

SafetyMet…

Etat de l’artSynthèse et limites courantes

12

Patrons UML SysML KAOS i*Concepts manipulés

Exigences Élts. diagramme

Exigences Buts, attentes, exigences

Buts, attentes, exigences

Exigences réglementaires

Non Non Non Non Non

Traçabilité Non Associations Associations Associations Associations

Dans le large … Non Non Non Modules Modules

Anton et al.

Amyot et al.

Briand et al.

Cleland et al. Travaux RI

Concepts manipulés

Droits et devoirs

Exigences Exigences Exigences Documents

Exigences réglementaires

HIPAA Transports Normes de sûreté

Non Non

Traçabilité Non Non Associations Candidats Candidats

Dans le large … Non Non Norme Modules Corpora

INCREMENT : une approche hybride pour modéliser et analyser dans le large les exigences réglementaires de sûreté

13

Contributions de la thèse

• Comment formaliser et organiser la connaissance métier d’une façon pertinente du point de vue d’un ingénieur nucléaire ?

• Un métamodèle du domaine (Connexion)

• Une fois les concepts formalisés, comment acquérir, naviguer et manipuler des modèles ?

• Une base outillée pour l’acquisition, la manipulation et la navigation (IncrementParser, IncrementGUI)

• Comment analyser de tels modèles, comment aider la traçabilité de ces exigences réglementaires ?

• Des outils d’indexation et de recherche d’information branchés sur les modèles (IncrementTools, IncrementIndex)

14

INCREMENTUne approche hybride pour un problème hybride

15

Ingénierie des exigences

Ingénierie (des exigences) dirigée

par les modèles

Techniques de recherche d’information

Traçabilité des exigences

Spécification des exigences

exigences légales et réglementationUML, SysML

Traçabilité des exigences recherche d’information

KAOS, i*

GRLCresco

SafetyMet….

INCREMENTINCREMENT

INCREMENTUne approche hybride pour un problème hybride

• Instrumentation aNd Control REquirements Modeling environmENT

• INCREMENT-MDE

• IDM pour formaliser et capitaliser sur le domaine

• INCREMENT-IR

• Recherche d’information (RI) pour l’analyse des contenus textuels

• INCREMENT-Hybrid

• Hybridation IDM/RI dans un même environnement

16[*] Sannier & Baudry - submitted to REFSQ' 2014

INCREMENT-MDE : une approche d’Ingénierie Dirigée par les Modèles

17

INCREMENT-MDE : une approche d’IDMConstruction d’un métamodèle

18* Plus de détails dans la thèse ou sur htpp://nicolassannier.wordpress.com

Etat de l’art académique

Experts métier

IncrementParser

Métamodèles Données métier

IncrementTools

IncrementGUI

INCREMENT-MDE : une approche d’IDMConcepts du métamodèle

19

INCREMENT-MDE : une approche d’IDM3- Un environnement support à la modélisation : IncrementGUI

20

Liste des regroupementsCorpora, topics, projets, Règles de design, interactions …

Liste des éléments et verbatims propriétés

INCREMENT-MDE : une approche d’IDMDes briques supports à l’acquisition, la manipulation et l’analyse

• Un ensemble de briques pour l’acquisition et l’analyse des modèles

• IncrementParser : un analyseur configurable pour l’acquisition

• IncrementGUI : un environnement de modélisation

• IncrementTools : ensemble de règles et de méthodes sur les modèles

• Acquisition automatique de 8 normes CEI, plus de 8000 éléments

• + normes IEEE, AIEA

• Un extracteur depuis la base de données CONNEXION (800 exi.)

• Génération de collections génériques éditables

21

INCREMENTLimites d’une approche IDM

22

10CFR50: RegulatoryDocument10CFR50: RegulatoryDocument

name: 10CFR50 title: 10CFR50 - Appendix A


10CFR50–A.3:Section10CFR50–A.3:Section

name: 10CFR50–A.3title: III. Protection and Reactivity Control Systemsverbatim: III. Protection and Reactivity Control Systems \nCriterion 20—Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable …

name: 10CFR50–A.3title: III. Protection and Reactivity Control Systemsverbatim: III. Protection and Reactivity Control Systems \nCriterion 20—Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable …tf22:TextFragmenttf22:TextFragment

name: tf22id: 10CFR50 – Appendix A III - Criterion 22verbatim: Criterion 22-Protection system independence The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on redundant channels do not result in loss of the protection function ...


fragments

fragments

10CFR50-A3.22:RegulatoryRequirement10CFR50-A3.22:RegulatoryRequirement

id: 10CFR50-A3.22name: 10CFR50-A3.22verbatim: Protection system independence. The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on …classification: IEEE 1E IEEE non-1EinputAuthor: AREVAdate: 2013systemTarget: Protection system: RTS, ESFAS, DCS


: TypedElementCorpus: TypedElementCorpus elements

fromDocuments

analyzedAs

corpus

corpus: Corpuscorpus: Corpusname: corpusname: corpus

fragments


23




10CFR50–A.3: Section10CFR50–A.3: Section


name: 10CFR50–A.3title: III. Protection and Reactivity Control Systemsverbatim: III. Protection and Reactivity Control Systems \nCriterion 20—Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable …tf22: TextFragmenttf22: TextFragment



fragments

fragments

10CFR50-A3.22: RegulatoryRequirement10CFR50-A3.22: RegulatoryRequirement




fromDocuments

analyzedAs

corpus


fragments


24









fragments

fragments





fromDocuments

analyzedAs

corpus


fragments


25









fragments

fragments





fromDocuments

analyzedAs

corpus


fragments

INCREMENTVers une approche de recherche d’information

• Un modèle d’exigences :

• De taille importante (plusieurs milliers d’éléments)

• Contenu est essentiellement textuel, de haut niveau et ambigu

• Limitations du nombre d’opérations sur les modèles

• Définition de plusieurs types de lien de traçabilité

• Pas d’éléments pour calculer et mettre en œuvre la traçabilité

• Traçabilité des exigences avec la recherche d’information

26

INCREMENTIndexation et de recherche d’information (TF-IDF)

• Indexation pour stocker, trier les informations d’un document (unité de traitement) dans des champs

• Un document est un fragment de texte (taille et forme indifférente)

• Un calcul de similarité entre une requête portant sur un ou plusieurs champs des documents de l’index

• Term frequency (TF) : plus le ou les termes apparaissent dans le document, plus le score est haut

• Inverse document frequency (IDF) : Plus le terme apparait dans les documents, plus il est commun, moins il est important

• Score TF-IDF : plus les documents contiennent les termes de la requête plus le score est haut

27

INCREMENTLimites d’une approche recherche d’information

• Forte génération de faux positif avec les scores TF-IDF

• Traçabilité = favorisation du rappel au détriment de la précision

• D’autant plus forte que tout le contenu des documents est conservé

• Maîtriser la génération de faux-positif dans l’état de l’art

• Valeur de coupure arbitraire

• Regroupements entre « bonnes » et « mauvaises » exigences

28

INCREMENT-Hybrid : une hybridation IDM / Recherche d’information

29

INCREMENT-HybridHybrider l’IDM et la recherche d’information

• Un modèle d’exigences

• Acquis de manière semi-automatique

• Riche en informations

• peu exploitable pour des analyses automatiques sur les verbatims

• Un index

• Acquis manuellement

• De taille raisonnable (> 8000 documents pour 8 normes) :

• à plat, sans typologie, avec peu d’informations sinon les textes

• Mettre à disposition automatiquement et prendre en compte les informations du modèle pour l’indexation et la recherche d’information

30

INCREMENT-HybridQuestions de recherche

• Comment indexer les propriétés d’un modèle d’exigences ?

• Une analyse de la synchronisation modèle – index sur le patron CRUD

• Un mécanisme d’indexation automatique des éléments de modèle

• Quelle efficacité de l’utilisation des propriétés du modèle pour la maîtrise des faux positifs ?

• Une étude sur l’impact de l’utilisation du typage pour améliorer la recherche d’information

31

INCREMENT-HybridIndexer les propriétés d’un modèle ?

32[2] Sannier & Baudry – MODRE’ 2012

INCREMENT-HybridMécanisme de synchronisation

• Un mécanisme de synchronisation modèle - index

• Un sens de synchronisation : modèle index

• Deux modes de synchronisation

• À la demande (chargement/sauvegarde du modèle dans l’outil)

• Implémenté dans l’outil

• À la volée : à chaque modification du modèle

33[2] Sannier & Baudry – MODRE’ 2012

INCREMENT-HybridEfficacité de l’hybridation

• Maîtriser la génération de faux positifs

• MISC : Modeling - Indexing - Searching - Comparing

34

Standards

{documents} Standard Index

Model

{related documents}

automatic extraction with reading rules

conforms to

Connexion Metamodel

Candidate links

Plain text standards

Preprocessing documents

indexing

INCREMENT querying

Model-based Index

{related documents}

Candidate links

Relative Comparison

Determining reading rules

Document specific reading rules

indexing

Standard queryingManual extraction

[*] Sannier & Baudry - submitted to REFSQ' 2014

INCREMENT-HybridBénéfices de l’hybridation


querycandidate links

(above the cut-off value)

retrieved requirements and recommendations

above the threshold

retrieved links in the model-based index

straightforward reduction of the

research space (%)

Loss of requirements and recommendations

configuration management 221 72 106 52,04 34

common cause failure CCF 154 17 115 25,32 98

specification 576 216 216 62,50 0

independence 64 14 14 78,13 0

validation 347 96 96 72,33 0

verification 445 169 171 61,57 2

quality assurance 259 84 106 59,07 22

defence in depth 81 8 14 82,72 6

integration 237 65 65 72,57 0

self supervision 92 25 25 72,83 0

modification 214 70 70 67,29 0

diversity 103 16 16 84,47 0

isolation 38 8 8 78,95 0

INCREMENT-HybridBénéfices de l’hybridation

• Réduction des espaces de candidats en moyenne de 65%

• Sans avoir besoin d’une valeur de coupure

• Ensembles plus petits et plus pertinents pour l’analyse

• Contribution en traçabilité des exigences :

• Recherche d’information fort rappel, très faible précision

• Amélioration par construction de la précision

• Hypothèse : Maintien du rappel (aucune « exigence » perdue)


3. Conclusion et perspectives

37

INCREMENTSynthèse

• Instrumentation aNd Control REquirements Modeling environmENT

• IDM pour formaliser et capitaliser sur le domaine

• Recherche d’information (RI) pour l’analyse des contenus textuels

• Hybridation IDM/RI dans un même environnement


RR Index

IncrementParser

Connexion Metamodel

IncrementIndex

RR Model

Documents du domaine

INCREMENT Une approche pour modéliser et analyser dans le large les exigences réglementaires de...

Documents

Transcript of INCREMENT Une approche pour modéliser et analyser dans le large les exigences réglementaires de...