Améliorer la qualité des statistiques du commerce

de distribution

Atelier régional pour les pays africains sur la mise en oeuvre des Recommandations internationales sur les statistiques du commerce de

distribution 17-20 juin 2008, Bamako, Mali

Alain GAUGRISDivision de statistique des Nations unies

1. Mesure de la qualité des statistiques du commerce de distribution (SCD)

1.1. Cadres dévaluation de la qualité des données1.2. Dimensions de la qualité

2. Indicateurs de qualité vs Mesures directes de la qualité

2.1. Indicateurs de qualité2.2. Indicateurs de qualité clés pour les SCD

3. Métadonnées3.1. Types de données statistiques3.2. Métadonnées statistiques3.3. Métadonnées sur les SCD

4. Recommandations

SOMMAIRE

1. Mesure de la qualité des statistiques du commerce de distribution

Mesure de la qualité : pour quoi faire? • Permettre à l’utilisateur de juger si les

données sont de qualité suffisante pour l’utilisation visée

“Aptitude à l’utilisation ” des données

• Les utilisateurs doivent pouvoir: Vérifier que le cadre conceptuel et les définitions des

statistiques disponibles correspondent (ou presque) à ce qu’ils attendent

Evaluer le degré de précision des données étant donné l’utilisation ou l’interprétation visée

Gestion de la qualitéLes ONS doivent prendre toutes les mesures possibles pour s’assurer de la qualité de l’information statistique

1.1. Cadres d’évaluation de la qualité des données

Les Cadres d’Evaluation de la Qualité (CEQ) regroupent (i) plusieurs dimensions (aspects) de la qualité, (ii) les définitions correspondantes et (iii) des propositions de mesures correspondantes

Objectif général des CEQ• Standardiser et systématiser au niveau des pays la

mesure de la qualité statistique• Permettre une évaluation des pratiques nationales

de mesure de la qualité au regard des approches statistiques internationalement acceptées

Utilisation des CEQ • Orienter les efforts des pays dans le renforcement

de leurs systèmes statistiques en leur fournissant un outil d’auto-évaluation et en leur proposant des pistes d’amélioration

• Etude par les organisations internationales de productions statistiques nationales particulières

• Evaluation par d’autres groupes d’utilisateurs

0. Prerequisites of quality 0.1 Legal and institutional environment 0.2 Resources 0.3 Relevance 0.4 Other quality measurement 1. Assurance of integrity 1.1 Professionalism 1.2 Transparency 1.3 Ethical standards 2. Methodological soundness 2.1 Concept and definitions 2.2 Scope 2.3Classification/Sectorization 2.4 Basis for recording 3. Accuracy and reliability 3.1 Source data 3.2 Assessment of source data 3.3 Statistical techniques 3.4 Assessment and validation of intermediate data and statistical outputs 3.5 Revision studies 4. Serviceability 4.1 Periodicity and timeliness 4.2 Consistency 4.3 Revision policy and practice 5. Accessibility 5.1 Data accessibility 5.2 Meta data accessibility 5.3 Assistance to users

Institutional and

organizational arrangements

Core statistical process

Statistical products

Relevance

Comparability across

countries

Accuracy

Timeliness and

punctuality

Coherence

Accessibility and clarity

Relationship between IMF DQAF, Eurostat Quality Definition and OECD Quality Measurement Framework

IMF DQAF (incl. elements) Eurostat OECD

Relevance

Credibility

Accuracy

Interpretability

Timeliness

Coherence

Accessibility

1.2. Dimensions de la qualité (1/4)

1.2. Dimensions de la qualité (2/4)

1. Prérequis de la qualitéCela comprend toutes les conditions institutionnelles et organisationnelles qui ont un impact sur la qualité des données de SCD (base légale; adéquation entre partage de données et coordination; assurance de la confidentialité; adéquation des ressources humaines, financières et techniques; sensibilisation à la qualité, etc.)

2. PertinenceIl s’agit du degré auquel les données de SCD répondent aux besoins réels des utilisateurs

3. CrédibilitéC’est la confiance que les utilisateurs placent dans les données (basée sur l’image de l’agence de statistiques qui produit les données)

8 principales dimensions

Mesurer la pertinence requiert l’identification des groupes d’utilisateurs et de leurs besoins

Confiance dans l’objectivité des données- Perception que les données sont produites professionnellement en respect des standards statistiques appropriés- Transparence des politiques générales et des pratiques

4. PrécisionC’est le degré avec lequel les données sont correctement estimées ou décrivent les caractéristiques qu’elles sont censées mesurer

Elle est définie en termes d’erreurs dans les estimations statistiques (erreurs systématiques, erreurs aléatoires, etc.)

5. FraîcheurDéfini comme le délai entre la fin de la période de référence à laquelle les données appartiennent et la date à laquelle les données sont publiées

Etroitement liée à l’existence d’un calendrier de publication Fréquent arbitrage entre fraîcheur et précision

6. AccessibilitéC’est la facilité avec laquelle les données peuvent être obtenues

Caractère approprié des formes et des supports de diffusion à travers desquels l’information est accessible

1.2. Dimensions de la qualité (3/4)

1.2. Dimensions de la qualité (4/4)

7. Robustesse méthodologique

8. CohérenceC’est le degré avec lequel les données sont logiquement connectées

Cohérence au sein des ensembles de données Cohérence entre les ensembles de données Cohérence au cours du temps Cohérence entre les pays

Application des directives? des bonnes pratiques? des standards internationaux? etc.

Etroitement liée à l’interprétabilité des donnéesRappel: L’interprétabilité reflète la facilité avec laquelle l’utilisateur peut comprendre et utiliser/analyser convenablement les données

2. Indicateurs de qualité vs Mesures directes de la qualité

VSMesures de la qualité

Indicateurs de qualité

Ce sont des variables qui mesurent directement un aspect particulier de la qualité (ex: décalage temporel entre la date de référence et la date de publication)

La plupart d’entre elles sont en pratique coûteuses et difficiles à calculer

Ils résument par un nombre l’information afin de fournir des indications sur le niveau de qualité des données

Ils ne mesurent pas la qualité directement mais fournissent suffisamment d’information pour l’évaluation de la qualité (ex: le taux de réponse est un indicateur de qualité [un proxy] de la mesure bu biais lié au faible niveau relatif de réponses)

2.1. Indicateurs de qualité

3 critères pour définir les indicateurs de qualité

1. Ils doivent couvrir toutes ou une partie des dimensions de la qualité

2. La méthodologie pour leur compilation doit être bien établie

3. Les indicateurs doivent être faciles à interpréter

3 types d’indicateurs de qualité1. Indicateurs-clésIndicateurs-clés (ex: coefficient de variation [précision],

retard temporel [fraîcheur])2. Indicateurs de secoursIndicateurs de secours (ex: taille moyenne des révisions

[précision])3. Indicateurs pour analyse complémentaireIndicateurs pour analyse complémentaire (ex: enquête

de satisfaction des utilisateurs [pertinence])

2.2. Indicateurs de qualité clés pour les SCD

Quality dimension Quality measures/ indicators Relevance R1. Identification of gaps between key user interests and

compiled distributive trade statistics in terms of concepts, coverage and detail R2. Conducted users’ satisfaction surveys

Accuracy A1. Sampling errors - Coefficient of variation A2. Non-sampling errors - Unit response rate - Item response rate A3. Quantity response rate (% of total sales reported) A4. Number and average size of revisions of distributive trade data

Timeliness T1. Time lag between the end of the reference period and the date of the first release (or the release of final results) of distributive trade data

Methodological soundness MS1. Number and rates of differences in concepts and measurement procedures used in the collection/compilation of distributive trade statistics from the relevant international statistical standards

Coherence CO1. Comparison and joint use of related distributive trade data from different sources

Accessibility AC1. Number and types of means used for dissemination of distributive trade statistics AC2. Distributive trade statistics datasets made available by mode of dissemination as a percentage of total DTS datasets produced

3.1. Types de données statistiques

Microdonnées – données sur les caractéristiques des unités de la population

Macrodonnées - dérivées des microdonnées par regroupement et agrégation

Métadonnées - “données sur les données”, décrivent les microdonnées, les macrodonnées ou d’autres métadonnées

3. Métadonnées

3.2. Métadonnées statistiques La finalité des métadonnées est fondamentale

Décrire ou documenter les données statistiques Faciliter le partage, la recherche et la compréhension

des données statistiques au cours de leur durée de vie

Aider les utilisateurs à comprendre, interpréter et analyser les données

Aider les producteurs de statistiques à améliorer la production et la diffusion des données

Il existe une relation réciproque entre les métadonnées et la qualité

Elles fournissent un mécanisme idéal pour comparer les pratiques nationales de compilation de SCD

Les métadonnées décrivent la qualité des statistiques

Les métadonnées sont un des composants de la qualité

3.3. Métadonnées sur les SCD

2 Niveaux des métadonnées1. Métadonnées structurelles – partie intégrante

des tableaux de données de SCD2. Métadonnées de référence – fournissent des

détails sur le contenu et la qualité des données, peuvent accompagner les tableaux ou peuvent être présentées séparément

6 Dimensions des métadonnées de SCD Couverture des données, périodicité et fraîcheur Accès par le public Intégrité des données diffusées Qualité des données Résumé méthodologique Formats de diffusion

4. Recommendations (1/2)

1. CEQLes différentes dimensions de la qualité se chevauchent et forment une relation complexe. Les ONS peuvent décider de :

Mettre en oeuvre directement l’un des CEQ existants Développer , à partir des CEQ existants, des CEQ nationaux qui

correspondent mieux aux pratiques et circonstances nationales

2. Dimensions de la qualitéToutes les dimensions de la qualité ne doivent pas nécessairement être couvertes pour toutes les données

Les pays sont encouragés à sélectionner parmi les mesures/indicateurs de qualité celles/ceux qui, conjointement, fournissent une évaluation générale des forces, des limitations et des utilisations appropriées d’un ensemble de données

3. Examen de la qualitéL’examen de la qualité des SCD devrait être entrepris tous les 4 à 5 ans, ou plus fréquemment si des changements méthodologiques significatifs surviennent, ou si de nouvelles sources de données apparaissent

4 recommandations

6. Recommendations (2/2)

4. Métadonnées

Les pays sont encouragés à:

Accorder une priorité haute au développement des métadonnées

Considérer leur diffusion comme partie intégrante de la diffusion des SCD

Adopter un système cohérent et une approche structurée des métadonnées pour l’ensemble des domaines des statistiques économiques, en se concentrant sur l’amélioration de leur volume et de leur couverture

Identifier les besoins des utilisateurs et organiser les utilisateurs en groupes de sorte qu’une approche par strate de la présentation des métadonnées puissent être adoptée

Faire paraître régulièrement des rapports de qualité comme partie des métadonnées

Merci